本文主要是介绍HIVE源码(5):HQL 转换为 MR 源码详细解读(4),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
接下来的步骤包括:
1)将 AST 转换为 QueryBlock 进一步转换为 OperatorTree;
2)对 OperatorTree 进行逻辑优化(LogicalOptimizer);
3)将 OperatorTree 转换为 TaskTree(任务树);
4)对 TaskTree 进行物理优化(PhysicalOptimizer)。
之所以将这 4 个步骤写在一起,是因为这几个步骤在源码中存在于一个方法中。
1 compile 方法(接 2.4.2 节 compile 方法继续往下)
![](/upload/202108/22/202108222006211812.png)
![](/upload/202108/22/202108222006212750.png)
2 analyze 方法
![](/upload/202108/22/202108222006213716.png)
3 analyzeInternal 方法
![](/upload/202108/22/202108222006214654.png)
此方法为“org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer”抽象类的抽象方法,
我们进入实现类“org.apache.hadoop.hive.ql.parse.SemanticAnalyzer”的 analyzeInternal 方法。
![](/upload/202108/22/202108222006216397.png)
4 继续调用重载的 analyzeInternal 方法
注意:该段源码中出现的“1,2,3,4…11”均为源码所定义步骤,该方法代码虽然很长,
但是由于存在官方提供的步骤注释,其实读懂并不难。
![](/upload/202108/22/202108222006219239.png)
![](/upload/202108/22/202108222006220191.png)
![](/upload/202108/22/202108222006221143.png)
![](/upload/202108/22/202108222006222237.png)
![](/upload/202108/22/202108222006223189.png)
![](/upload/202108/22/202108222006224283.png)
![](/upload/202108/22/202108222006225236.png)
![](/upload/202108/22/202108222006226329.png)
5 提交任务并执行(接 2.3.8 节 runInternal 方法继续往下)
此处接 2.3.8 节中的第二步:
![](/upload/202108/22/202108222006227125.png)
6 execute 方法
![](/upload/202108/22/202108222006229327.png)
7 launchTask 方法
![](/upload/202108/22/202108222006231529.png)
![](/upload/202108/22/202108222006232467.png)
8 runSequential 方法
![](/upload/202108/22/202108222006233419.png)
9 executeTask 方法
![](/upload/202108/22/202108222006234385.png)
10 execute 方法
![](/upload/202108/22/202108222006235338.png)
此时我们进入了一个抽象“org.apache.hadoop.hive.ql.exec.Task”的“execute”方法,我们 则 需 要 找 到 一 个 实 现 类 的 “ execute ” 方 法 , 此 处 我 选 择
“org.apache.hadoop.hive.ql.exec.mr.MapRedTask”这个类。
![](/upload/202108/22/202108222006237227.png)
![](/upload/202108/22/202108222006238321.png)
![](/upload/202108/22/202108222006239273.png)
这篇关于HIVE源码(5):HQL 转换为 MR 源码详细解读(4)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!