SmartNews基于Flink加速Hive日表生产的实践
本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产，将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的实践。详细介绍我们遇到的技术挑战和应对方案，以供社区分享。 项目背景 SmartNews 在过去 9 年的时间，基于 Airflow, Hive, S3, EMR 等技术栈构建了大量的数据集。随着数据量的增长，这些离线表的处理时间
hive
InfoQ . 2021-08-05 826
- 1