在进行spark与hive互联的时候出现的,启动spark-shell没有任何问题,但是启动hive,查询表和库,就出现这个错误,查看了配置文件,没发现有什么问题,百度下,有人出现了这种问题,是hadoop的配置文件有问题
就是图片上的lzo压缩有问题,hive支持lzo压缩,但是spark不支持 所以就有问题了
只要把hadoop的配置文件 core-site.xml中的lzo压缩注掉就行。具体我的步骤如下
1.错误演示
hive查询报错
spark查询正常
原因是有lzo压缩
现在把lzo压缩去掉
我的路径是
关闭hive 重新启动就恢复了