使用了1年多的数据处理工具,感觉挺好用的,写出来分享一下

 

优点如下:

  • 免费开源

基于java的免费开源的软件,对商业用户也没有限制

  • 易配置

可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定

  • 不同数据库

ETL工具集,它允许你管理来自不同数据库的数据

  • 两种脚本文件

transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制

  • 图形界面设计

通过图形界面设计实现做什么业务,无需写代码去实现

  • 定时功能

在Job下的start模块,有一个定时功能,可以每日,每周等方式进行定时

 

Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。

  • SPOON

允许你通过图形界面来设计ETL转换过程(Transformation)

  • PAN

允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序,没有图形界面

  • CHEF

允许你创建任务(Job)。 任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了

  • KITCHEN

允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序

 

本次安装kettle为以下环境和版本:、

操作系统:window2008r2

java:1.8.0_161  下载地址:https://pan.baidu.com/s/1pOOLaCi6hf1QJp8bdg5qtA

kettle:8.3   下载地址:https://sourceforge.net/projects/pentaho/files/latest/download

开始安装:

1、先安装jdk,双击安装就好,再解压kettle包

2、配置环境变量

2.1 右键计算机,选择属性

2.2 点击高级系统设置,在弹出的界面中再点击环境变量

2.3 新建两个系统变量

JAVA_HOME、KETTLE_HOME

3.进入kettle的解压目录D:\soft\data-integration,打开spoon.bat

ok,大公告成,后续有空的话记录和分享些kettle的项目实战栗子

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐