目录

• 1、需求描述
• 2、环境介绍
• 3、数据来源描述
• 4、数据上传及上传结果查看
• • 1.数据上传：
  • 2.数据读取：
• 5、数据处理过程描述
• • 1.pyspark交互式编程
  • 2.编写独立应用程序实现数据去重
  • 3.编写独立应用程序实现求平均值问题

1、需求描述

在数据大爆炸的年代，随着数据的日益增长，数据的分析变得尤为重要。所谓数据分析就是将产品相关的数据收集整合，然后利用特定的方法去分析这些数据，从中发现规律或是得到结论。这些特定的方法可以包括专业的统计学、数学建模等，也可以从数据的维度和广度出发，数据收集或对比、总结相似数据的相同性、异常数据出现的可能原因，这类分析比较偏人文学科，可能数学难度不高，但是利用独特的数据角度，同样可以得到非常有价值的结果。在校园的日常生活学习中通常需要统计大量的学生个人数据，传统的处理数据方法中，数据的利用效率尤其得低下。这个时候就需要利用RDD编程去管理这些数据，这样既方便又迅捷。

2、环境介绍

在本设计中，主要介绍的是如何去利用RDD编程去管理大量的数据，本设计全程在Ubuntu16.04系统中实现。Ubuntu是一个以桌面应用为主的Linux操作系统，完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。ubuntu系统基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统，它可免费使用，并带有社团及专业的支持。
配置环境变量：

3、数据来源描述

本次的数据主要来自于日常作业中的数据，其中数据文件data.txt，该数据集包含了某大学计算机系的成绩，数据文件A.txt和B.txt包含了每门课的成绩，数据文件Algorithm.txt、Database.txt、Python.txt每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩。全部数据文件均是txt文件格式，方便上传和读取。

4、数据上传及上传结果查看

1.数据上传：

将准备好的数据通过u盘的方式分别放进usr/local/spark等目录中。

2.数据读取：

（1）读取data.txt中的数据：

（2）读取A.txt和B.txt中的数据

（3）读取Algorithm.txt、Database.txt和Python.txt中的数据

5、数据处理过程描述

1.pyspark交互式编程

本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据，在pyspark中通过编程来计算以下内容：
（1）该系总共有多少学生；
lines = sc.textFile(“file:///usr/local/spark/spark/data.txt”)//读取data.txt文件
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[0])//拆分该文件中第0列数据
distinct_res=res.distinct() //去除重复数据
distinct_res.count()//显示distinct_res中的数据

（2）该系共开设了多少门课程；
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[1])//拆分该文件中第1列数据
distinct_res = res.distinct()//去除重复命令并赋值给distinct_res
distinct_res.count()//显示distinct_res中的数据

（3）Tom同学的总成绩平均分是多少；
score = res.map(lambda x:int(x[2]))//将数据中的第2列数据赋值给score
num=res.count()//计算课程总数
sum_score= score.reduce(lambda x,y:x+y) //累加所有成绩
avg = sum_score/num//将总成绩除以课程总数并将值赋予avg
print(avg)//输出avg

（4）求每名同学的选修的课程门数；
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[0],1))//拆分该文件中第0列数据，并以(x[0],1)的格式排列
each_res = res.reduceByKey(lambda x,y:x+y)//累加所有所选课程
each_res.foreach(print)//输出打印数据

（5）该系DataBase课程共有多少人选修；
res = lines.map(lambda x:x.split(",")).filter(lambda x:x[1]==’DataBase’)//拆分该文件中第1列数据，过滤除了名为DataBase的数据
res.count()//输出res

（6）各门课程的平均分是多少；
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[1],(int(x[2]),1)))//拆分该文件中第1列数据
temp = res.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))//计算各学科的平均分
avg = temp.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))//计算各学科的平均分
avg.foreach(print)//输出avg中的数据

（7）使用累加器计算共有多少人选了DataBase这门课。
res = lines.map(lambda x:x.split(",")).filter(lambda x:(x[1]=’DataBase’)//拆分该文件中第1列数据，并过滤除了DataBase以外的数据
accum = sc.accumulator(0) //使用累加器并将数据写入accu
res.foreach(lambda x:accum.add(1)) //逐行统计，满足条件则往accu中加1
accum.value //输出accum.value中的值

2.编写独立应用程序实现数据去重

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。本文给出门课的成绩（A.txt、B.txt）下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20200101 x
20200102 y
20200103 x
20200104 y
20200105 z
20200106 z
输入文件B的样例如下：
20200101 y
20200102 y
20200103 x
20200104 z
20200105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20200101 x
20200101 y
20200102 y
20200103 x
20200104 y
20200104 z
20200105 y
20200105 z
20200106 z
1.在当前目录下新建一个remdup.py文件

2.编写remdup.py文件

3.在目录/usr/local/spark/mycode/remdup/result下即可得到结果文件part-00000。

3.编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。本文给出门课的成绩（Algorithm.txt、Database.txt、Python.txt），下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
小明 92
小红 87
小新 82
小丽 90
Database成绩：
小明 95
小红 81
小新 89
小丽 85
Python成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67）
1.在当前目录下新建一个avgscore.py

2.编写avgscore.py文件


3在目录/usr/local/spark/mycode/avgscore/result下即可得到结果文件part-00000