use anticheat; create table anticheat_blacklist( userid varchar(30) primary key , dt int, update_time timestamp, delete_flag int, operator varchar(30) );
用sqoop export全量导出hive表数据入mysql,具体命令如下:
sqoop export -D mapred.job.queue.name=datacenter --connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false --username root --password ^qn9DFYPm --table anticheat_blacklist --input-fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N' --num-mappers 10 --export-dir hdfs://dc5/user/test/hive/online/anticheat_blacklist_mysql
sqoop export -D mapred.job.queue.name=datacenter --connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false --username root --password ^qn9DFYPm --table anticheat_blacklist2 --input-fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N' --num-mappers 10 --update-key update_time --update-mode allowinsert --export-dir hdfs://dc5/user/test/hive/online/anticheat_blacklist_mysql2
创建同步mysql表的hive表
CREATE TABLE test.anticheat_blacklist_mysql( key string, dt int, update_time timestamp, delete_flag int, operator string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION 'hdfs://dc5/user/test/hive/online/anticheat_blacklist_mysql';
用sqoop import全量导出mysql表数据入hive表,具体命令如下:
sqoop import -D mapred.job.queue.name=datacenter --connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false --username root --password ^qn9DFYPm --table anticheat_blacklist --delete-target-dir --beeline "jdbc:hive2://dsrv2.heracles.sohuno.com:10000/test;principal=hive/dsrv2.heracles.sohuno.com@HERACLE.SOHUNO.COM;" --hive-import --fields-terminated-by '\t' --hive-database test --hive-table anticheat_blacklist_mysql --null-string '\\N' --null-non-string '\\N' --hive-overwrite --num-mappers 1 --outdir /home/test/data/anticheat/mysql2hive
null字符串转为NULL,添加下面两条参数可以实现:
增量导入:(根据时间来导入,如果表中没有时间属性,可以增加一列时间簇)
核心参数:
注意:上面三个参数都必须添加!
执行语句:
sqoop import -D mapred.job.queue.name=datacenter --connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false --username root --password ^qn9DFYPm --table anticheat_blacklist --delete-target-dir --hive-import --fields-terminated-by '\t' --beeline "jdbc:hive2://dsrv2.heracles.sohuno.com:10000/test;principal=hive/dsrv2.heracles.sohuno.com@HERACLE.SOHUNO.COM;" --hive-database test --hive-table anticheat_blacklist_mysql --null-string '\\N' --hive-overwrite --num-mappers 1 --check-column update_time --incremental lastmodified --last-value "2019-04-12 14:31:34" --outdir /home/test/data/anticheat/mysql2hive
以上语句使用 lastmodified 模式进行增量导入,结果报错:
错误信息:--incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified
错误原因:Sqoop 不支持 mysql转hive时使用 lastmodified 模式进行增量导入,但mysql转HDFS时可以支持该方式!
我们使用append方式导入:
sqoop import -D mapred.job.queue.name=datacenter --connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false --username root --password ^qn9DFYPm --table anticheat_blacklist --delete-target-dir --hive-import --fields-terminated-by '\t' --hive-database test --hive-table anticheat_blacklist_mysql --null-string '\\N' --null-non-string '\\N' --num-mappers 1 --check-column update_time --incremental append --last-value "2019-04-12 14:31:34" --outdir /home/test/data/anticheat/mysql2hive
增量导入成功!
转自:https://www.cnblogs.com/xiaodf/p/10712766.html