Apache Tez是构建于Apache Hadoop YARN上,基于有向无环图进行数据处理的框架。
主要设计主题:
授权终端用户
表达性数据流定义API
灵活的输入处理输出运行模型
数据类型无关
极易部署
执行性能
优于mapreduce
优化资源管理
运行时计划重新配置
动态物理数据流决策
通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务,Tez可以用来处理数据,以前需要多个MR任务,现在只需要一个Tez任务,如下所示。
https://tez.apache.org/releases/index.html
对于Tez版本0.8.3和更高,Tez需要Apache Hadoop版本2.6.0或更高。对于Tez版本0.9.0及更高版本,Tez需要Apache Hadoop版本2.7.0或更高。所以说,我们在选用tez时,是需要先确定我们的hadoop版本的。
操作系统:centos 7.6
CPU架构:x86_64
jdk8
maven3
yum install protobuf protobuf-devel
在确定我们使用的hadoop版本之后,选择合适的tez进行源码编译。这边以
tez-0.9.2
hadoop-3.2.0
为例对tez进行源码编译。
wget https://mirror.olnevhost.net/pub/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz tar zxvf apache-tez-0.9.2-src.tar.gz
cd apache-tez-0.9.2-src && mvn clean package -Dtar -Dhadoop.version=3.2.0 -DskipTests
编译完成之后,得到tez-dist/target/tez-0.9.2.tar.gz
首先确保hadoop正常安装,包括hdfs和yarn
参考:如何安装hadoop yarn
将tez-0.9.2.tar.gz上传到hdfs的/app/tez目录
hdfs dfs -put tez-0.9.2.tar.gz /app/tez/
新建tez目录,并将tez-0.9.2.tar.gz复制到tez钟
mkdir -p /data/tez/conf cp tez-0.9.2.tar.gz /data/tez cd /data/tez && tar zvf tez-0.9.2.tar.gz
新建tez-site.xml,内容如下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --> <configuration> <property> <name>tez.lib.uris</name> <value>/app/tez/tez-0.9.2.tar.gz</value> </property> </configuration>
修改/etc/profile,新增
export TEZ_CONF_DIR=/data/tez/conf export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:/data/tez/*:/data/tez/lib/*
修改mapred-site.xml,将
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
改为
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
执行测试脚本:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/ output-1
得到结果: