Java教程

pandas dataframe 与 spark dataframe 互相转换（数据类型应该怎么转换呢？）

本文主要是介绍pandas dataframe 与 spark dataframe 互相转换（数据类型应该怎么转换呢？），对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

文章大纲

  • spark 2.x 版本
  • spark 3.2 版本及以上
  • 参考文献

spark 2.x 版本

spark 2.4.8 版本：

  • https://spark.apache.org/docs/2.4.8/api/python/_modules/pyspark/sql/dataframe.html#DataFrame.toPandas

spark 3.2 版本及以上

pyspark 如下文档给出了答案：

spark 3.2 版本：

  • http://spark.apache.org/docs/latest/api/python/user_guide/pandas_on_spark/types.html?highlight=to_pandas

参考文献

  • spark 中的数据类型
这篇关于pandas dataframe 与 spark dataframe 互相转换（数据类型应该怎么转换呢？）的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航