本文主要是介绍4.RDD操作,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、 RDD创建
1.从本地文件系统中加载数据创建RD
![](/upload/202203/30/202203300620071192.png)
2.从HDFS加载数据创建RDD
启动hdfs
![](/upload/202203/30/202203300620072931.png)
上传文件
![](/upload/202203/30/202203300620074196.png)
查看文件
![](/upload/202203/30/202203300620075299.png)
加载
![](/upload/202203/30/202203300620076398.png)
停止hdfs
![](/upload/202203/30/202203300620077506.png)
3.通过并行集合(列表)创建RDD
输入列表,字符串,numpy生成数组
![](/upload/202203/30/202203300620078600.png)
二、 RDD操作
转换操作
-
转换操作
- filter(func)
显式定义函数
![](/upload/202203/30/202203300620079723.png)
lambda函数
- map(func)
显式定义函数
lambda函数
- 字符串分词
![](/upload/202203/30/202203300620083381.png)
- 数字加100
![](/upload/202203/30/202203300620085734.png)
- 字符串加固定前缀
![](/upload/202203/30/202203300620087937.png)
- flatMap(func)
- 分词
![](/upload/202203/30/202203300620089362.png)
- 单词映射成键值对
![](/upload/202203/30/202203300620090456.png)
- reduceByKey()
- 统计词频,累加
![](/upload/202203/30/202203300620091588.png)
- 乘法规则
![](/upload/202203/30/202203300620092677.png)
- groupByKey()
- 单词分组
![](/upload/202203/30/202203300620093654.png)
- 查看分组的内容
![](/upload/202203/30/202203300620094747.png)
- 分组之后做累加 map
![](/upload/202203/30/202203300620096169.png)
- sortByKey()
- 词频统计按单词排序
![](/upload/202203/30/202203300620097277.png)
- sortBy()
- 词频统计按词频排序
2.行动操作
- foreach(print)
![](/upload/202203/30/202203300620099900.png)
foreach(lambda a:print(a.upper())
- collect()
- count()
- first()
![](/upload/202203/30/202203300620103791.png)
- take(n)
![](/upload/202203/30/202203300620104884.png)
- reduce(func)
这篇关于4.RDD操作的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!