目录
7.1Hive的配置与安装
7.1.1安装MySQL
(1)安装MySQL
(2)配置Mysql
7.1.2安装和配置Hive
(1)安装hive
(2)配置环境变量
(3)配置hive
(4)上传jar包
(5)启动hive
7.1.3远程连接虚拟机mysql
(1)开启虚拟机mysql的远程连接
在Facebook Jeff团队所构建的信息平台中,最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。
Hive有3种Metastore的配置方式,分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例,介绍Hive的配置与安装,首先,本地模式需要Mysql作为Hive Metastore的存储数据库,因此在安装Hive之前需要先安装MySQL
mkdir /usr/local/mysql #创建mysql的目录 yum -y install wget #安装wget wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm #下载mysql安装包 rpm -ivh "包名" #解压mysql安装包 yum -y install mysql-community-server #安装mysql服务 systemctl restart mysqld #重启mysql服务 以上命令在虚拟机的根目录下进行就行
grep "password" /war/log/mysqld.log #寻找mysql的初始密码,然后复制 进入mysql mysql -u root -p #按enter 粘贴密码 set global validate_password_policy=0; #更改策略 set global validate_password_policy=LOW; #降低密码强度 set global validate_password_length=6; #设置密码长度为6位 alter user 'root'@'localhost' IDENTIFIED BY '123456'; #设置密码 exit; #退出mysql
mkdir /usr/local/hive #创建hive目录 拖拽文件至该文件夹 tar -zxvf apache-hive-1.2.2-bin.tar.gz #解压安装包 rm -rf apache-hive-1.2.2-bin.tar.gz #删除安装包
vim /etc/profile #编辑环境变量文件 添加以下代码 export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin #在path中添加最后的HIVE_HOME source /etc/profile #生效环境变量
进入apache-hive-1.2.2-bin/conf目录下 (1)新建文件hive-site.xml vim hive-site.xml #在此文件添加下面代码 <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>password to use against metastore database</description> </property> </configuration> (2)配置hive-env.sh cp hive-env.sh.template hive-env.sh #复制并更改名字 修改此文件第48行的HADOOP_HOME路径
将要用的jar包传送到hive的lib文件下(这个文件我回头上传到我的资源上)
启动一:直接在根目录下输入:hive shell
启动二:进入hive的bin目录下输入./hiveserver2,重新启动一个客户端,在bin目录下输入:./beeline -u jdbc:hive2://localhost:10000 -n root
首先进入mysql mysql -u root -p123456 进入之后输入 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; #开启远程连接 FLUSH PRIVILEGES #刷新