Spark集群搭建与测试 - 图文 下载本文

b. Spark-shell集群模式:

通过webUI的方式查看系统信息:http://master:4040 Environment信息:

Executors信息:

16. 通过spark-shell测试SPARK集群:

a. 将spark安装包下的README.md上传到hdfs:hdfsdfs -put README.md /data/

b. 通过hdfs的web控制台查看可见上传成功:

c. 在spark-shell中对上传的文件进行操作: 读取文件:val file=sc.textFile(\

对读取的文件进行count操作:val count = file.flatMap(line =>line.split(\(word,1)).reduceByKey(_+_)

用collect命令提交并执行Job:count.collect