大数据ETL之Kettle基本理论与安装部署

最近负责技术面试。在招聘技术人员时遇到好多会Kettle的ETL工程师，恰好之前有做过Kettle的预研和实践，这里花几篇文章简单聊聊kettle

文章目录

• 大数据ETL之Kettle基本理论与安装部署
• 前言
• 1 Kettle简述
• • 1.1 Kettle的两种设计
  • 1.2 Kettle核心组件
  • 1.3 Kettle的特点
  • 1.4 各个端口
• 2 Kettle安装部署
• • 2.1 中间件版本选取
  • 2.2 Kettle安装
  • • 2.2.1 下载地址
    • 2.2.2 首页
    • 2.2.3 目录说明
    • 2.2.4 文件说明
  • 2.3 Kettle核心概念
  • • 2.3.1 可视化编程
    • 2.3.2 转换
    • 2.3.3 步骤(Step)
    • 2.3.4 跳(Hop)
    • 2.3.5 元数据
    • 2.3.6 数据类型
    • 2.3.7 并行
    • 2.3.8 作业

前言

这是Kettle系列的第一篇，主要讲讲kettle的基本理论和安装部署。

1 Kettle简述

Kettle是一款国外开源的ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle(现在已经更名为PDI，Pentaho Data Integration-Pentaho数据集成)。

1.1 Kettle的两种设计

Transformation(转化)：完成针对数据的基础转换
Job(作业)：完成整个工作流的控制
区别：
(1)作业是步骤流，转化是数据流。
(2)作业的每个步骤必须等到前面的步骤执行完，而转换会一次性把所有控件全部先启动(一个控件对应启动一个进程)，然后数据流会从第一个控件开始，一条记录一条记录地流向最后的控件。

1.2 Kettle核心组件

1.勺子(Spoon.bat/Spoon.sh)：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。window下是Spoon.bat，Linux下是Spoon.sh；
2.煎锅(Pan.bat/Pan.sh)：利用Pan可以用命令行的方式执行由Spoon编辑的转换和作业；
3.厨房(Kitchen.bat/Kitchen.sh)：利用Kitchen可以用命令行调用由Spoon编辑好的job；
4.菜单(Carte.bat/Carte.sh)：Carte是一个轻量级的容器，用于建立专用、远程的ETL Server。

1.3 Kettle的特点

1.4 各个端口

2 Kettle安装部署

一般都是在本地Windows环境下进行kettle的job和Transformation开发的，可以在本地运行，也可以连接远程机器运行。
Kettle直接解压安装包即可，运行Spoon.bat即可用。

2.1 中间件版本选取

2.2 Kettle安装

2.2.1 下载地址

官网地址
https://community.hitachivantara.com/docs/DOC-1009855
下载地址
https://sourceforge.net/projects/pentaho/files/Data%20Integration/

2.2.2 首页

2.2.3 目录说明

2.2.4 文件说明

2.3 Kettle核心概念

2.3.1 可视化编程

Kettle可以被归类为可视化编程语言(Visula Programming Languages,VPL),因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。
可视化编程一直是Kettle里的核心概念，它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节，使IT领域更贴近于商务领域。
Kettle里的代码就是转换和作业

2.3.2 转换

转换(transaformation)负责数据的输入、转换、校验和输出等工作。Kettle 中使用转换完成数据 ETL 全部工作。转换由多个步骤 (Step) 组成，如文本文件输入，过滤输出行，执行 SQL 脚本等。各个步骤使用跳 (Hop) 来链接。 跳定义了一个数据流通道，即数据由一个步骤流 (跳) 向下一个步骤。在 Kettle 中数据的最小单位是数据行（row），数据流中流动其实是缓存的行集 (RowSet)

2.3.3 步骤(Step)

步骤（控件）是转换里的基本的组成部分，快速入门的案例中就存在两个步骤，“CSV文件输入”和“Excel输出”。
一个步骤有如下几个关键特性：
①步骤需要有一个名字，这个名字在同一个转换范围内唯一。
②每个步骤都会读、写数据行(唯一例外是“生成记录”步骤，该步骤只写数据)。
③步骤将数据写到与之相连的一个或多个输出跳（hop），再传送到跳的另一端的步骤。
④大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被设置为分发和复制，分发是目标步骤轮流接收记录，复制是所有的记录被同时发送到所有的目标步骤

2.3.4 跳(Hop)

跳就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路

跳实际上是两个步骤之间的被称之为行集的数据行缓存，行集的大小可以在转换的设置里定义。当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行

2.3.5 元数据

每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据。通常包含下面一些信息：
①名称：数据行里的字段名是唯一的。
②数据类型：字段的数据类型。
③格式：数据显示的方式，如Integer的#、0.00。
④长度：字符串的长度或者BigNumber类型的长度。
⑤精度：BigNumber数据类型的十进制精度。
⑥货币符号：￥
⑦小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（.）或逗号（，）。
⑧分组符号：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是点（.）或逗号（，）或单引号（’）

2.3.6 数据类型

数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合，字段包含下面几种数据类型：
①String:字符类型数据
②Number:双精度浮点数。
③Integer:带符号长整型（64位）。
④BigNumber:任意精度数据。
⑤Date:带毫秒精度的日期时间值。
⑥Boolean:取值为true和false的布尔值。
⑦Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据

2.3.7 并行

跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行，这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。在数据仓库里，我们经常要处理大量数据，所以这种高并发低消耗的方式也是ETL工具的核心需求。
对于kettle的转换，不能定义一个执行顺序，因为所有步骤都以并发方式执行：当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输出跳，直到输入跳里不再有数据，就中止步骤的运行。当所有的步骤都中止了，整个转换就中止了。
如果你想要一个任务沿着指定的顺序执行，那么就要使用“作业”

2.3.8 作业

作业 (Job)，负责定义一个完成整个工作流的控制，比如将转换的结果发送邮件给相关人员。因为转换（transformation）以并行方式执行，所以必须存在一个串行的调度工具来执行转换，这就是 Kettle中的作业。