Java教程

启动spark

本文主要是介绍启动spark，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1.启动spark命令

1. start-dfs.sh
2. start-yarn.sh
3. start-spark-all.sh
4. start-history-server.sh
5. spark-shell --master spark://node1:7077

2. 创建RDD数据集

1. 从现有的Scala集合创建RDD数据集

  1. parallelize(Seq, numSlices):第二个参数不用传递，代表创建的RDD的分区数，如果没传递，有一个默认值
    默认分区就是spark.default.parallelism
    如果master是local[n]，那么这个值就是n，如果yarn和standalone上运行的话，spark.default.parallelism=yarn/standalone
  2. makeRDD也是从集合中创建RDD数据集
    makeRDD(Seq, numSlices) -- 底层是parallelize实现的
    makeRDD(Seq( ( T, Seq(String) ) ) ) -- 这种方式可以指定分区数据在那个节点上

2. 从外部文件系统创建RDD数据集（HDFS）

3. 从另外一个RDD使用转换算子创建RDD数据集

这篇关于启动spark的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航