Java教程

ETL数据整合与处理——实例

本文主要是介绍ETL数据整合与处理——实例,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1.Excel输入

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加Excel输入控件,具体如图1所示:

 图1 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件,进入“Excel输入”配置界面,单击“浏览”按钮,选择物理成绩.xls;单击“增加”按钮,具体效果如图2所示;单击“工作表”选项卡,获取工作表,如图3所示;单击“字段”选项卡,添加字段,如图4所示:

 图2 配置“文件”选项卡

 图3 配置“工作表”选项卡

 图4 配置“字段”选项卡

 3.运行转换

单击转换工作区顶部的 按钮,运行创建的转换,如图5所示:

 图5 运行转换

2.生成记录

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“生成记录”控件,具体如图6所示:

 

图6 创建转换

 2.配置“生成记录”控件

双击“生成记录”控件,进入“生成记录”控件界面,添加字段,并预览数据,如图7所示:

 图7 配置“生成记录”控件和预览数据

3. 运行转换

单击转换工作区顶部的 按钮,运行创建的转换,如图8所示:

 图8 运行转换

3.生成随机数

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“生成随机数”控件,具体如图9所示:

图9 创建转换 

2.配置“生成随机数”控件

双击“生成随机数 ”控件,进入“生成随机数”控件界面,添加字段,如图10所示:

图10 配置“生成随机数”控件

3.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“生成记录”控件、“生成随机数”控件和“Excel输出”控件,具体如图11所示:

 

 图11 创建转换

4.配置“生成随机数”控件

双击“生成随机数 ”控件,进入“生成随机数”控件界面,添加字段,如图12所示:

 

图12 配置“生成随机数”控件

5.配置“Excel输出”控件

双击“Excel输出”控件,进入“Excel输出”配置界面,单击“字段”选项卡,添加字段,如图13所示:

 

图13 配置“Excel输出”控件

6. 运行转换

单击转换工作区顶部的 按钮,运行创建的转换,如图14所示:

 

 图14 运行转换

4.获取系统信息

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“获取系统信息”控件,具体如图15所示:

图15 创建转换

2.配置“获取系统信息”控件

双击“获取系统信息”控件,进入“获取系统信息”控件界面,添加字段,并预览数据,如图16所示:

 图16 配置“获取系统信息”控件和预览数据

 3.运行转换

单击转换工作区顶部的 按钮,运行创建的转换,如图17所示:

 图17 运行转换

5.排序记录

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“Excel输入”控件和“排序记录”控件,具体如图18所示:

图18 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件,进入“Excel输入”配置界面,单击“浏览”按钮,选择2019年11月月考数学成绩.xls;单击“增加”按钮,具体效果如图19所示;单击“工作表”选项卡,获取工作表,如图20所示;单击“字段”选项卡,添加字段,如图21所示:

 图19 配置“文件”选项卡 

 图20 配置“工作表”选项卡

 图21 配置“字段”选项卡和预览记录

 3.配置“排序记录”控件

双击“排序记录”控件,进入“排序记录”控件界面,添加字段,如图22 所示:

 图22 配置“排序记录”控件

4. 运行转换

单击转换工作区顶部的 按钮,运行创建的转换,执行结果,如图23所示:

 图23 运行转换

6.去除重复记录

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“Excel输入”控件、“排序记录”控件和“去除重复记录”控件,具体如图24所示:

 图24 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件,进入“Excel输入”配置界面,单击“浏览”按钮,选择2018年上学期考试成绩.xls;单击“增加”按钮,具体效果如图25所示;单击“工作表”选项卡,获取工作表,如图26所示;单击“字段”选项卡,添加字段,如图27所示:

 图25 配置“文件”选项卡

 图26 配置“工作表”选项卡

图27 配置“字段”选项卡和预览记录 

 3.配置“排序记录”控件

双击“排序记录”控件,进入“排序记录”控件界面,添加字段,如图28所示:

 图28 配置“排序记录”控件

4.配置“去除重复记录”控件

双击“去除重复记录”控件,进入“去除重复记录”控件界面,添加字段,如图29示:

 

图29  配置“去除重复记录”控件

5. 运行转换

单击转换工作区顶部的 按钮,运行创建的转换,执行结果中以去除序号2,具体如图30所示:

图30 运行转换 

7.替换NULL值

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换,并添加“Excel输入”控件和“替换NULL值”控件,具体如图31所示:

图31 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件,进入“Excel输入”配置界面,单击“浏览”按钮,选择2019年11月月考英语成绩.xls;单击“增加”按钮,具体效果如图32所示;单击“工作表”选项卡,获取工作表,如图33所示;单击“字段”选项卡,添加字段,如图34所示:

 图 32 配置“文件”选项卡

 图33 配置“工作表”选项卡

图34 配置“字段”选项卡和预览数据 

3.配置“替换NULL值”控件

双击“替换NULL值”控件,进入“替换NULL值”控件界面,添加字段,如图35示:

图35 配置“替换NULL值”控件 

4. 运行转换

单击转换工作区顶部的 按钮,运行创建的转换,执行结果中序号7的英语成绩替换成了0.0,具体如图36所示:

 图36 运行转换 

这篇关于ETL数据整合与处理——实例的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!