Java教程

一个小知识点-Hive行转列实现Pivot

本文主要是介绍一个小知识点-Hive行转列实现Pivot,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
前言

 

传统关系型数据库中,无论是Oracle(11g之后)还是SQLserver(2005之后),都自带了Pivot函数实现行转列功能,本文主要讲述在Hive中实现行转列的两种方式。

 

传统数据库方式

 

这种方式是借鉴在Oracle或者SQLserver在支持Pivot函数之前实现行转列的方式,实际上语法没有什么变化,只是换成了Hive。

 

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,
       max(case when key='k1' then value else null end) k1,
       max(case when key='k2' then value else null end) k2
  from testtable
 group by id
Map方式

这种方式的思路是把需要转列的字段及其值字段拼接成一个Hive上的key-value的map数据,具体Sql如下:

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,kv['k1'],kv['k2']
from (
select id,str_to_map(concat_ws(',', collect_set(concat(key, '-', value))),',','-') kv
from testtable
 group by id)t
总结

两种方式都可以实现行转列的功能,传统的方式易于理解,但在key的取值比较多的时候,写起来会相当繁琐,map的方式相对要简便一些。但map的方式所有的数据都collect到一起了,对内存的要求会高一些,而传统的方式通过聚合函数直接reduce,可以边运行边求值。

640?wx_fmt=jpeg

点赞和转发是最大的支持~

这篇关于一个小知识点-Hive行转列实现Pivot的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!