覆盖主要内容
版本: 6.1.0

MySQL 批量加载

组件介绍

MYSQL批量加载通过命名管道加载数据。


  • 输入:数据集。
  • 输出:Mysql数据表。
  • 参数:无

双击组件运行图


界面介绍:

  1. 基本配置选项卡: | 选项 | 描述 | | --- | --- | | 数据库连接 | 选择连接的数据库。(如何建立连接见数据库连接介绍) | | 目标模式 | 表中要写入数据的模式的名称 | | 目标表 | 选择数据输出的目标要写入数据的目标表的名称。选择目标表后,目的模式会根据表的信息自动填充 | | Fifo文件 | 这是用作命名管道的fifo文件 | | 字段之间的分隔符 | 字段的分隔符。(如果未提供,则默认为制表符。) | | 封闭符 | 指定源文件封闭符 | | 逃逸符 | 如果封闭符在原文中有出现,则使用转义符将其转义 | | 字符集 | 使用的字符集(可选) | | 批量提交数 | 将数据拆分成多块,分批加载 | | 与已有键值重复时替换 | 如果指定,输入行将替换现有行。换句话说,主键或唯一索引的值与现有行的值相同的行 | | 与已有键值重复时忽略 | 如果指定,将跳过在唯一键值上复制现有行的输入行。可以在MySQL参考中找到更多详细信息 | | 本地数据 | 默认勾选 | | | |

  2. 要加载的字段选项卡: | 选项 | 描述 | | --- | --- | | 表字段 | 表中字段的名称 | | 流字段 | 流中字段的名称 | | 字段格式正确 | 您可以决定是否保留格式(不更改格式)或更改格式:格式化为日期、格式为数字等 |


使用案例

使用MySQL 批量加载组件前,需要设置 MySQL 数据库参数 local_infile 为 ON 在本案例中,首先使用表输入组件读取数据,然后使用MySQL 批量加载组件将读取到的数据批量加载到数据库中。 完整工作流如下所示:

表输入组件读取表 fact_insurance_policy 数据,组件配置如下:

MySQL 批量加载组件将读取到的数据根据字段映射关系批量加载到表 fact_insurance_policy_copy 中,组件配置如下:

其中,需要数据库连接添加参数,如下所示:

配置完毕后运行工作流,结果如下: