一、词频统计

A. 分步骤实现 

　　1.准备文件

　　　　1.下载小说或长篇新闻稿

　　　　2.上传到hdfs上

　　2.读文件创建RDD

　　3.分词

　　4.排除大小写lower()，map()

　　   标点符号re.split(pattern,str)，flatMap(),

　　   停用词,可网盘下载stopwords.txt,filter()

          长度小于2的词filter()

　　5.统计词频

　　6.按词频排序

　　7.输出到文件

　　8.查看结果

B. 一句话实现：文件入文件出

C. 和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解并用自己话表达Spark编程的特点。

1.首先第一点就是速度快，spark使用DAG 调度器、查询优化器和物理执行引擎，能够在批处理和流数据获得很高的性能。

2. 第二就是使用简单————Spark的易用性主要体现在两个方面。一方面，我们可以用较多的编程语言来写我们的应用程序

3.第三就是通用性高，我们可以很容易地在同一个应用中将一些常用的库结合起来使用，以满足我们的实际需求。

4.第四就是它可以在很多环境上都可以运行，它可以运行在Hadoop,Mesos,Kubernetes,standalone,或者云服务器上，并且它有多种多种访问源数据的方式。

二、求Top值

网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。

　　1.丢弃不合规范的行：

　　　　空行

　　　　少数据项

　　　　缺失数据

　　2.按支付金额排序

　　3.取出Top3

资源链接：https://pan.baidu.com/s/1Hc9SxMLcsP9HVQLZ7eSVYA 提取码：tefr