Kafka 消费者
Kafka Consumer步骤可以从指定Kafka服务器提取数据。
组件图标
配置标签
设置
参数介绍:
| 字段 | 字段说明 | 样例值 | | --- | --- | | Kafka Pipeine | 下拉选择或单击浏览并选择路径,指定要执行的pipeline。-注意,这个子pipeline必须以记录注射组件开始 | | 引导服务器 | Kafka引导服务器地址 | | Topics | 管理Topic | | 消费组 | 输入希望该消费者成为其成员的组的名称。每个 Kafka 消费者转换将启动一个线程,用于消费。 |
批模式
参数介绍:
| 字段 | 字段说明 | 样例值 | | --- | --- | | 持续时间(ms) | 以毫秒为单位指定时间。该值是转换在执行pipeline之前收集记录的时间。如果设置为 "0",则记录数会触发消耗。 | | | 记录数 | 指定一个数字。每'X'条记录后,指定的pipeline将被执行,并将这些'X'条记录传递给pipeline。如果设置为 "0",则 "持续时间 "会触发消耗。 | | | 选择什么时候提交 | 自动提交Offset/批处理完成后提交 | |
字段
参数介绍:
字段 | 字段说明 | 样例值 |
---|---|---|
输入名称 | 从kafka流中接受到的字段名称 | |
输出名称 | 指定输出流的参数名称 | |
类型 | 指定字段类型,String, Integer, Binary, Number等 |
结果字段
字段 | 字段说明 | 样例值 |
---|---|---|
返回字段 | 从kafka流中接受到的字段名称 |
选项
参数介绍:
| 字段 | 字段说明 | 样例值 | | --- | --- | | 名称 | 属性名称 | | 值 | 值 |
案例
读取 kafka 中的消息并将数据写入到文本文件。 该案例由两个转换流构成,“转换一”将接收“转换二”传递的数据并写入到文本文件中,“转换二”使用 Kafka 消费者组件读取消息并将消息传递给“转换一”。
转换一的总体流程如下图所示:
转换一中各组件配置如下:
记录注射组件配置如下图所示:
文本文件输出组件配置如下图所示:
转换二的总体流程如下图所示:
转换二中各组件配置如下:
kafka消费者组件配置如下图所示:
- 未显示页面均为默认设置。
在转换二中运行,可看到该组件处于运行中,可以看到输出的文本文件中的结果。如果需要结束运行,点击“停止”图标即可。
- 运行中如下图所示: