更新时间:2022-11-16 来源:黑马程序员 浏览量:
在类CategoryTopl0中定义main()方法，该方法是Java程序执行的入口，在main()方法中实现Spark程序，具体代码如文件1所示。
文件1 CategoryTop10.java
AI智能应用开发
AI大模型开发
AI鸿蒙开发
AI嵌入式+
AI大数据开发
AI运维
AI测试
跨境电商运营
AI设计
AI+短视频直播运营
public class CategoryTop10{
public static void main(String[] arg){
//实现热门品类Top10分析
}
}在文件1的main()方法中，创建JavaSparkContext和SparkConf对象.JavaSparkContext对象用于实现Spark
程序，SparkConf对象用于配置 Spark程序相关参数，具体代码如下。SparkConf conf =new SparkConf():
//设置Application 名称为topl0_category
conf.setAppName("top10_category"):
JavaSparkContext sc =new JavaSparkContext (conf);在文件1的main()方法中，调用JavaSparkContext对象的textFile()方法读取外部文件，将文件中的数据加载到textFileRDD，具体代码如下。JavaRDD<String> textFileRDD =sc.textFile (arg [0]);
上述代码中，通过变量arg[o]指定文件路径，目的是执行提交Spark程序到YARN集群运行的命令中，通过参数指定文件路径。
.jpg)