GZIP CSV Input(旧)
组件介绍
“GZIP CSV input”组件是用于将压缩为 GZIP 格式后的 CSV 文件读取至 UDI 中。注意读取文件时需要指定列分隔符和封闭符,符号格式要与文件当中的编码格式一致。
- 输入:需要读取的 gz 格式的文件(在 CSV 文件基础上压缩成的 gz 文件)
- 输出:读取的 gz 格式的文件的数据(在 CSV 文件基础上压缩成的 gz 文件)
页面介绍
打开“GZIP CSV input”组件得到下图所示的界面。
参数选项
“GZIP CSV input”组件页面包含如下选项:
选项 | 说明 | 样例值 |
---|---|---|
步骤名称 | 在画布上指定“GZIP CSV input”步骤的唯一名称,可以自定义名称或保留默认名称。 | CSV文件输入 |
文件名 | 指定输入文件的名称,或通过单击“浏览文件”导航到输入文件。 | |
列分隔符 | 指定源文件中使用的文件列分隔符,默认分隔符是“;”。 | ; |
封闭符 | 指定源文件中使用的封闭符。 | " |
NIO缓存大小 | 指定读取缓冲区的大小,即一次从源读取的字节数。 | 50000 |
简易转换? | 指定是否可以使用惰性转换算法来提高性能。如果勾选,简易转换算法会尝试避免不必要的数据类型转换。它可以显著提高性能,典型示例是从文本文件读取并写回文 本文件。 | |
包含列头行 | 指示源文件是否包含标题行。 | |
将文件添加到结果文件中 | 将源文件名添加到此转换的结果中。 | |
行号字段(可选) | 在此步骤的输出中指定将包含行号字段的名称。 | |
并发运行? | 指定是否将运行此步骤的多个实例(步骤副本),以及是否要每个实例读取gz文件的一部分。读取多个文件时,将考虑所有文件的总大小以分担工作负载。在这种特点情况下,请确保所有步骤副本都接收所有需要读取的文件,否则,并行算法将无法正常工作。 | |
文件编码 | 指定源文件的编码。 | GBK2312 |
字段表
组件底部表格为字段表,右击选择“获取字段”,组件可根据当前指定设置从源文件获取相应内容填充字段表。该表包含以下列:
列名 | 说明 | 样例值 |
---|---|---|
名称 | 字段名。 | |
类型 | 字段类型,可以是String、Date或Number等类型。 | |
格式 | 用于转换原始字段格式的可选掩码。 | |
长度 | 字段的长度取决于以下字段类型: Number:数字中有效数字的总数。String:字符串的总长度。Date:字符串的打印输出长度。 | |
精度 | 数字类型字段的浮点位数。 | |
货币类型 | 用于表示货币的符号(例如¥或$)。 | |
小数点符号 | 小数点可以是“.”或“,”(例如5,000.0或5.000,0)。 | |
分组符号 | 分组可以使“.”或“,”(例如5,000.0或5.000,0)。 | |
去除空格符号 | 应用于字符串中空格的修剪方法。 |
使用案例
拖拽“CSV文件输入”组件至画布中,双击组件,点击“浏览文件”,选择需要上传文件的目录,这里我们使用了 project(压缩CSV).gz 文件做为示范。然后设置列分隔符为“,”,封闭符为“"”。最后右击底部空白部分并选择“获取字段”,若信息填入无误,则会在空白部分显示数据字段。参数设置和结果如下图所示。
点击“确定”,再点击左上角“运行这个转换”,组件右上角将出现绿色正确符号,表示转换执行成功,右击该组件选择“预览数据”,得到结果如下图所示,表格中的数据就是 project(压缩CSV).gz 文件的内容。