Java教程

RDD编程初级实践

本文主要是介绍RDD编程初级实践,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

目录

  • 1、需求描述
  • 2、环境介绍
  • 3、数据来源描述
  • 4、数据上传及上传结果查看
    • 1.数据上传:
    • 2.数据读取:
  • 5、数据处理过程描述
    • 1.pyspark交互式编程
    • 2.编写独立应用程序实现数据去重
    • 3.编写独立应用程序实现求平均值问题

1、需求描述

在数据大爆炸的年代,随着数据的日益增长,数据的分析变得尤为重要。所谓数据分析就是将产品相关的数据收集整合,然后利用特定的方法去分析这些数据,从中发现规律或是得到结论。这些特定的方法可以包括专业的统计学、数学建模等,也可以从数据的维度和广度出发,数据收集或对比、总结相似数据的相同性、异常数据出现的可能原因,这类分析比较偏人文学科,可能数学难度不高,但是利用独特的数据角度,同样可以得到非常有价值的结果。在校园的日常生活学习中通常需要统计大量的学生个人数据,传统的处理数据方法中,数据的利用效率尤其得低下。这个时候就需要利用RDD编程去管理这些数据,这样既方便又迅捷。

2、环境介绍

在本设计中,主要介绍的是如何去利用RDD编程去管理大量的数据,本设计全程在Ubuntu16.04系统中实现。Ubuntu是一个以桌面应用为主的Linux操作系统,完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。ubuntu系统基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统,它可免费使用,并带有社团及专业的支持。
配置环境变量:
在这里插入图片描述

3、数据来源描述

本次的数据主要来自于日常作业中的数据,其中数据文件data.txt,该数据集包含了某大学计算机系的成绩,数据文件A.txt和B.txt包含了每门课的成绩,数据文件Algorithm.txt、Database.txt、Python.txt每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩。全部数据文件均是txt文件格式,方便上传和读取。

4、数据上传及上传结果查看

1.数据上传:

将准备好的数据通过u盘的方式分别放进usr/local/spark等目录中。

2.数据读取:

(1)读取data.txt中的数据:
在这里插入图片描述
(2)读取A.txt和B.txt中的数据
在这里插入图片描述
(3)读取Algorithm.txt、Database.txt和Python.txt中的数据
在这里插入图片描述

5、数据处理过程描述

1.pyspark交互式编程

本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据,在pyspark中通过编程来计算以下内容:
(1)该系总共有多少学生;
lines = sc.textFile(“file:///usr/local/spark/spark/data.txt”)//读取data.txt文件
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[0])//拆分该文件中第0列数据
distinct_res=res.distinct() //去除重复数据
distinct_res.count()//显示distinct_res中的数据
在这里插入图片描述
(2)该系共开设了多少门课程;
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[1])//拆分该文件中第1列数据
distinct_res = res.distinct()//去除重复命令并赋值给distinct_res
distinct_res.count()//显示distinct_res中的数据
在这里插入图片描述
(3)Tom同学的总成绩平均分是多少;
score = res.map(lambda x:int(x[2]))//将数据中的第2列数据赋值给score
num=res.count()//计算课程总数
sum_score= score.reduce(lambda x,y:x+y) //累加所有成绩
avg = sum_score/num//将总成绩除以课程总数并将值赋予avg
print(avg)//输出avg
在这里插入图片描述
(4)求每名同学的选修的课程门数;
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[0],1))//拆分该文件中第0列数据,并以(x[0],1)的格式排列
each_res = res.reduceByKey(lambda x,y:x+y)//累加所有所选课程
each_res.foreach(print)//输出打印数据
在这里插入图片描述
(5)该系DataBase课程共有多少人选修;
res = lines.map(lambda x:x.split(",")).filter(lambda x:x[1]==’DataBase’)//拆分该文件中第1列数据,过滤除了名为DataBase的数据
res.count()//输出res
在这里插入图片描述
(6)各门课程的平均分是多少;
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[1],(int(x[2]),1)))//拆分该文件中第1列数据
temp = res.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))//计算各学科的平均分
avg = temp.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))//计算各学科的平均分
avg.foreach(print)//输出avg中的数据
在这里插入图片描述
(7)使用累加器计算共有多少人选了DataBase这门课。
res = lines.map(lambda x:x.split(",")).filter(lambda x:(x[1]=’DataBase’)//拆分该文件中第1列数据,并过滤除了DataBase以外的数据
accum = sc.accumulator(0) //使用累加器并将数据写入accu
res.foreach(lambda x:accum.add(1)) //逐行统计,满足条件则往accu中加1
accum.value //输出accum.value中的值
在这里插入图片描述

2.编写独立应用程序实现数据去重

对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。本文给出门课的成绩(A.txt、B.txt)下面是输入文件和输出文件的一个样例,供参考。
输入文件A的样例如下:
20200101 x
20200102 y
20200103 x
20200104 y
20200105 z
20200106 z
输入文件B的样例如下:
20200101 y
20200102 y
20200103 x
20200104 z
20200105 y
根据输入的文件A和B合并得到的输出文件C的样例如下:
20200101 x
20200101 y
20200102 y
20200103 x
20200104 y
20200104 z
20200105 y
20200105 z
20200106 z
1.在当前目录下新建一个remdup.py文件
在这里插入图片描述
2.编写remdup.py文件
在这里插入图片描述
3.在目录/usr/local/spark/mycode/remdup/result下即可得到结果文件part-00000。
在这里插入图片描述

3.编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。本文给出门课的成绩(Algorithm.txt、Database.txt、Python.txt),下面是输入文件和输出文件的一个样例,供参考。
Algorithm成绩:
小明 92
小红 87
小新 82
小丽 90
Database成绩:
小明 95
小红 81
小新 89
小丽 85
Python成绩:
小明 82
小红 83
小新 94
小丽 91
平均成绩如下:
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)
1.在当前目录下新建一个avgscore.py
在这里插入图片描述
2.编写avgscore.py文件
在这里插入图片描述
在这里插入图片描述
3在目录/usr/local/spark/mycode/avgscore/result下即可得到结果文件part-00000
在这里插入图片描述

这篇关于RDD编程初级实践的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!