Java教程
hive的运行过程解析
本文主要是介绍hive的运行过程解析，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！
数据的底层存储是文件
hive的计算框架是mapreduce，mapreduce的原理:
- 图上是整个mapreduce的运行过程，在各自的分片中，都是把数据分割以后每个值都对应一个1得到<key,1>，再经过本地reduce（combine过程）把key一样的value=1相加，得到新的<key，values>，再经过shuffle过程，把所有分片中的<key,values>,key一致的values相加，又得到最终的<key,values>。
- combiner其实是一个本地的reduce主要就是为了减轻reduce的负担，但并不是所有的场景都会发生combiner，例如求平均数
- 不会发送combiner的操作主要体现在不带 group by 的count(distinct) 这种操作，所有的数据都会分发的一个reduce上，数据产出极慢
这篇关于hive的运行过程解析的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
-
小米11i印度快充版ROM合集：极致体验，超越期待10-06
-
【ROM下载】小米11i 5G 印度版系统， 疾速跃迁，定义新速度10-06
-
【ROM下载】小米 11 青春活力版，青春无极限，活力全开10-06
-
小米13T Pro系统合集：性能与摄影的极致融合，值得你升级的系统ROM10-05
-
基于Python+Vue开发的医院门诊预约挂号系统10-01
-
基于Python+Vue开发的旅游景区管理系统10-01
-
RestfulAPI入门指南：打造简单易懂的API接口10-01
-
初学者指南：了解和使用Server Action10-01
-
Server Component入门指南：搭建与配置详解10-01
-
React 中使用 useRequest 实现数据请求10-01
-
使用 golang 将ETH账户的资产平均分散到其他账户10-01
-
JWT用户校验课程：从入门到实践10-01
-
Server Component课程入门指南10-01
-
Dnd-Kit学习：新手快速入门指南09-30
-
ESLint学习：初学者指南09-30
栏目导航
