b. Spark-shell集群模式:
通过webUI的方式查看系统信息:http://master:4040 Environment信息:
Executors信息:
16. 通过spark-shell测试SPARK集群:
a. 将spark安装包下的README.md上传到hdfs:hdfsdfs -put README.md /data/
b. 通过hdfs的web控制台查看可见上传成功:
c. 在spark-shell中对上传的文件进行操作: 读取文件:val file=sc.textFile(\
对读取的文件进行count操作:val count = file.flatMap(line =>line.split(\(word,1)).reduceByKey(_+_)
用collect命令提交并执行Job:count.collect