C/C++教程

Spark SQL 操作Apache Hudi

本文主要是介绍Spark SQL 操作Apache Hudi，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1. 添加jar包到spark的jar目录下

https://repo1.maven.org/maven2/org/apache/hudi/hudi-spark3.1.2-bundle_2.12/0.10.1/hudi-spark3.1.2-bundle_2.12-0.10.1.jar
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/3.1.2/spark-avro_2.12-3.1.2.jar

2. 重启spark集群

./stop-all.sh
./start-all.sh

3. 进入spark sql客户端

./spark-sql \
--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
--conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

4. 创建表

-- create a cow ta
这篇关于Spark SQL 操作Apache Hudi的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航