性能监控和提升机制:K-Fusion提供了流程和节点两个级别的性能监控日志功能,能够以不同的粒度记录每次流程执行过程中重要信息,例如读、写、输入、输出、更新、删除的数据行数,节点的每秒处理的数据行数、整个流程每秒处理的数据行数;并且对信息进行可视化以便用户快速定位性能瓶颈。实现了多种用于流程性能提升的机制,例如在流程处理过程中对数据进行分片处理,并通过设置流程处理节点的冗余实现对这些分片数据的并行处理和负载均衡;对大文本的读写实现并行化;对常用的关系型数据库目的端进行Bulk Insert方式的批量数据加载。通过以上机制,显著降低大数据量情况的抽取、转换和加载时间,提高了用户数据集成工作的效率。
流程控制能力和异常处理完善:K-Fusion支持对多个ETL流程间相对执行顺序的控制,除了提供了流程串行的方式外,提供了多流程的并行执行方式以获得执行效率的最大化,另外还可延迟或者中断指定节点或者子流程的执行。对流程执行过程中可能存在的异常,支持异常处理流程的自定义,例如定制“日志记录”、“邮件通知”或“异常数据归档”,以提高实际部署环境中,用户ETL流程的容错性。