Kafka 消费者
Kafka Consumer步骤可以从指定Kafka服务器提取数据.
配置标签
设置
参数介绍:
| 连接类型 | |
|---|---|
| Bootstarp Servers | Kafka引导服务器地址 |
| Hadoop Clusters | Hadoops集群 |
| Topics | 管理Topic |
批处理
参数介绍:
| 持续时间 | 执行转换之前收集记录等待的时间 |
|---|---|
| 记录数 | 每次到达记录数之后,这些记录会传递给特定转换执行 |
| 最大并行处理批数 | 并发数目限制 |
| Commit When record read | 是或者否 |
字段
参数介绍:
| input name | 从kafka流中接受到的字段名称 |
|---|---|
| Output name | 指定输出流的参数名称 |
| Type | 指定字段类型,String, Integer, Binary, Number |
结果字段
选择一步骤进行返回
选项
参数介绍:
| name | 属性名称 |
|---|---|
| value | 值 |
案例
读取 kafka 中的消息并将数据写入到文本文件。 该案例由两个转换流构成，转换一将接收转换二传递的数据并写入到文本文件中，转换二使用 Kafka Consumer 组件读取消息并将消息传递给转换一
转换一
转换一中各组件配置如下：
转换二
转换二中各组件配置如下：
输出结果
