Java教程

【Spark】【RDD】从本地文件系统创建RDD

本文主要是介绍【Spark】【RDD】从本地文件系统创建RDD，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

练习作业

完成任务从文件创建三个RDD(math bigdata student)

cd ~
touch math
touch bigdata
touch student
pwd

启动Spark-shell

var localrdd1 = sc.textFile("file:///home/用户名/math")
var localrdd2 = sc.textFile("file:///home/用户名/bigdata")
var localrdd3 = sc.textFile("file:///home/用户名/student")
localrdd1.collect
localrdd2.collect
localrdd3.collect

这篇关于【Spark】【RDD】从本地文件系统创建RDD的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航