配置spark的classpath
$ cd /usr/local/spark $ cp ./conf/spark-env.sh.template ./conf/spark-env.sh #拷贝配置文件
在文件中加上如下一行内容:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
保存配置文件后,就可以启动、运行Spark
了
在gedit ~/.bashrc
文件中加入
图1环境变量
source ~/.bashrc # 环境变量生效
执行如下命令启动pyspark(无参数,默认是local[*]模式)
cd /usr/local/spark ./bin/pyspark
启动pyspark,成功后在输出信息的末尾可以看到“>>>”的命令提示符
在里面输入python代码进行测试:
图2pyspark运行界面
准备英语文本 f1.txt
图三英语文本
path='/home/hadoop/wc/f1.txt' with open(path) as f: text=f.read()
text = text.lower() # 转为小写字母 for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~': text = text.replace(ch, ' ')
words = text.split()
counts={} for word in words: # 若字典中无当前词语则创建一个键值对,若有则将原有值加1 counts[word] = counts.get(word, 0) + 1 items = list(counts.items()) # 将无序的字典类型转换为有序的列表类型
items.sort(key=lambda x: x[1], reverse=True) # 按统计值从高到低排序(以第二列排序) for i in range(len(items)): word, count = items[i] print("{0:<10}{1:>5}".format(word, count)) # 格式化输出词频统计结果 open('output.txt', 'a').write(word+"\t\t\t"+str(count)+"\n") # 写入output.txt中
图四运行结果