覆盖主要内容
版本: 6.1.0

快速入门

前期准备

登录系统,点击“数据集成->集成工作流设计”,进入“数据集成平台”。

新建转换

在平台的资源库页面,可建立数据转换(ETL)任务来集成和处理多源数据,如下图所示:

添加组件

在建立转换任务后,可添加相应操作组件到转换任务中。下面以订单数据和产品信息数据生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件:

(1)添加两个表输入组件,分别命名为订单_详细订单和订单_产品信息;

(2)添加记录集连接组件,并命名为记录集连接,同时创建两个表输入组件到该组件的连接;

(3)添加字段选择组件命名为移除产品ID_1字段,并创建记录集连接组件到字段选择组件的连接线;

(4)添加过滤记录组件命名为过滤记录,并创建字段选择组件到过滤记录组件的连接线;

(5)添加两个表输出组件,分别命名为盈利订单和亏损订单,并创建过滤记录组件到两个表输出组件的连接线。

至此,一个完整的转换任务流程构建完毕。具体如下图所示:

配置组件信息

组件添加完成后需要对其进行相应配置。

表输入组件配置

双击订单_详细订单表输入组件,弹出组件配置页面。点击新建建立数据库连接,如下图所示:

建立数据库连接后,点击获取SQL查询语句生成 SELECT 语句,用于获取数据:

配置完毕后,订单_详细订单表输入组件属性如下所示:

另一个订单_产品信息表输入也参考上述配置,其中数据库连接可复用

记录集连接组件配置

下拉列表中选择需要连接的数据来源,如:订单_详细订单订单_产品信息
选择需要连接的数据来源后,点击获取连接字段获取字段信息,第一个Transform的字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id订单_产品信息的字段 id 进行左外连接

字段选择组件配置

字段 produc_id 与字段 id 内容相同,只需要保留一个。使用移除产品ID_1字段字段选择组件的移除选项移除字段 id

过滤记录组件配置

根据业务需求需要将盈利订单亏损订单分开存储,两个订单可以使用字段利润来区分
下拉列表中选择将结果发送给不同的后续处理步骤

选择字段利润来作为判断字段

>=0 作为判断条件

表输出组件配置

将接收到的结果写入到数据库,使用指定数据库字段建立接收的结果数据字段与表字段的映射关系

数据库字段 tab页签,使用获取字段映射自动构建字段映射关系

执行转换任务

组件配置完成后,可执行转换任务,同时可对执行任务进行相应配置(如选择执行方式,选择日志级别等),配置完毕后点击启动即可执行工作流,如下所示

查看执行结果和日志

任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志,如下所示