在 idea上用编写spark程序链接hive
在idea 上编写spark程序,pom文件上要包含hive依赖,网上大把,链接hive其实可以不用将hdfs,core等文件加入程序,直接在代码中声明 metastore服务的地址,和 hive在hdfs上的储存路径
def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("kks") val spark = SparkSession.builder().config(conf) .config("hive.metastore.uris", "thrift://0.0.0.0:9083") .config("spark.sql.warehouse.dir","hdfs://0.0.0.0:9000//usr/hive_remote/warehouse") .enableHiveSupport() .getOrCreate import spark.implicits._ spark.sql("show databases").show() spark.sql("use ods") spark.sql("show tables").show() spark.sql("select * from tablename").show() spark.sql("use uses") spark.sql("show tables").show() spark.sql("select * from kk").show() spark.sql("select * from us").show()