1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

->SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。

->SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码；由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的提升。

->SparkSQL的出现，解决了对不同数据源和不同数据的操作，例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。

 2. 简述RDD 和DataFrame的联系与区别。

Spark RDD
->RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。

Spark Dataframe
->Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。

共同点

->RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，在处理超大型数据提供便利。

->都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不担心会内存溢出。

->都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后面没有在Action中使用对应的结果，在执行时会被直接跳过。

不同点

->RDD不支持sparkSQL操作。

->RDD总是搭配spark mlib使用。

->DataFrame每一行的类型固定为Row，只有通过解析才能获取各个字段的值。

->DataFrame总是搭配spark ml使用。

->DataFrame支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然。

 3. DataFrame的创建与保存

PySpark-DataFrame创建：

spark.read.text(url)

spark.read.json(url) 

spark.read.format("text").load("people.txt")

spark.read.format("json").load("people.json")

描述从不同文件类型生成DataFrame的区别。

->

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

->

DataFrame的保存:

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)

df.write.format("json").save(dir)

 4. 选择题