🔥🔥🔥 Apache DolphinScheduler是新一代云原生工作流任务调度平台，致力于“解决任务之间错综复杂的依赖关系，让整个数据处理开箱即用”。已经有IBM、阿里、腾讯、360、JD等数千家公司生产上使用，下载安装包请去官网。加微信：easyworkflow 进官方用户群

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

kafka是一种高吞吐量的分布式发布订阅消息系统

【2025最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码，涉及组件 #flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg。

Hive是一个基于Hadoop的数据仓库平台

Apache Spark - A unified analytics engine for large-scale data processing