Python教程

安装Spark与Python练习

本文主要是介绍安装Spark与Python练习,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
  1. 检查基础环境hadoop,jdk                                       
  2. 解压,文件夹重命名、权限                                              
  3.  

     更改配置文件

  4. 更改环境变量                                                                                                                                                                                                                                  
  5.           gedit ~/.bashrc
    1. export SPARK_HOME=/usr/local/spark

    2. export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:PYTHONPATH

    3. export PYSPARK_PYTHON=python3

    4. export PATH=$PATH:$SPARK_HOME/bin

  6. 试运行Python
  7.  用python编写英文文本的词频统计程序 

    1.  程序源代码                                       
    2. 运行结果                                               

       

       

这篇关于安装Spark与Python练习的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!