概述
平台介绍
UDI Studio 是 Uniplore 一站式大数 据智能平台中的数据集成平台,易于使用,快速而灵活。
UDI Studio 通过可视化开发帮助开发人员提高工作效率。“一次设计、多地运行”的作业和转换可以在 Web GUI 中设计,并在本地/远程引擎上运行,或者通过 Beam 在 Spark、Flink、Google Dataflow 或 AWS EMR 上运行。内置的生命周期管理工具使开发人员和管理员能够使项目在测试、开发、生产环境之间进行切换,无需做大量迁移和适配工作。
平台特性
元数据驱动
UDI Studio 是完全由元数据驱动的。平台中每一个对象类型都描述了如何读取、操作或写入数据,或者如何协调作业和转换。
元数据也是平台内部驱动因素。平台使用具有强大引擎的开源内核架构作为基础架构。通过该架构的插件体系可以灵活的扩展和强化引擎能力。
一次设计、多地运行
转换和作业都是对如何处理数据的定义。一旦设计好,转换只需要修改部分配置就可以在任何支持运行转换的运行环境上运行。平台内置支持本地或远程平台服务器运行转换,也可以通过 Apache Beam 将转换部署到 Apache Spark、Apache Flink 或 Google Dataflow 上运行。