本文主要是介绍RDD编程,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、词频统计:
1.读文本文件生成RDD lines
![](/upload/202104/18/202104182057452988.png)
2.将一行一行的文本分割成单词 words flatmap()
![](/upload/202104/18/202104182057454863.png)
3.全部转换为小写 lower()
![](/upload/202104/18/202104182057456894.png)
4.去掉长度小于3的单词 filter()
![](/upload/202104/18/202104182057458926.png)
5.去掉停用词
![](/upload/202104/18/202104182057460957.png)
6.转换成键值对 map()
![](/upload/202104/18/202104182057462832.png)
7.统计词频 reduceByKey()
![](/upload/202104/18/202104182057464707.png)
8.按字母顺序排序 sortBy(f)
![](/upload/202104/18/202104182057466582.png)
9.按词频排序 sortByKey()
![](/upload/202104/18/202104182057468613.png)
二、学生课程分数案例
- 总共有多少学生?map(), distinct(), count()
![](/upload/202104/18/202104182057470488.png)
![](/upload/202104/18/202104182057472363.png)
- 每个学生选修了多少门课?map(), countByKey()
![](/upload/202104/18/202104182057476113.png)
- 每门课程有多少个学生选?map(), countByValue()
![](/upload/202104/18/202104182057478218.png)
- Tom选修了几门课?每门课多少分?filter(), map() RDD
![](/upload/202104/18/202104182057480102.png)
- Tom选修了几门课?每门课多少分?map(),lookup() list
![](/upload/202104/18/202104182057482139.png)
- Tom的成绩按分数大小排序。filter(), map(), sortBy()
![](/upload/202104/18/202104182057484013.png)
- Tom的平均分。map(),lookup(),mean()
![](/upload/202104/18/202104182057486201.png)
这篇关于RDD编程的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!