Spark期末复习--SparkSQL

本文主要是介绍Spark期末复习--SparkSQL，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

Spark SQL是由DataFrame派生出来的，通过三步创建使用

使用RDD创建DataFrame

from pyspark.sql import SparkSession
sqlContext = SparkSession.builder.getOrCreate()

定义DataFrame的每一个字段名和数据类型

from pyspark.sql import Row
saleRows = salesRDD.map(lambda x:Row(
字段名=p[]))

使用sqlContext.createDataFrame创建DataFrame

sale_df = sqlContext.createDataFrame(saleRows)
sale_df.printSchema()

注册临时表

sale_df.registerTempTable('sale_table')

用Spark SQL查看项数

sqlContext.sql('select count(*) counts from sale_table').show()

查看数据

sqlContext.sql('select * from sale_table').show()

这篇关于Spark期末复习--SparkSQL的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Java教程