流批一体架构在快手的实践和思考

摘要：本文整理自快手技术专家、Apache Flink & Apache Calcite Committer 张静，在 FFA 流批一体专场的分享。本篇内容主要分为四个部分：Flink 在快手的发展流批一体在快手的规划第一阶段（加强批能力）的进展第二阶段（业务视角的流批一体）的挑战Tips：点击「阅读原文」查看原文视频&演讲 ppt01Flink 在快手的发展在快手内部，Flink 的体量无论从作业规模还是集群规模上，相对于去年都有大幅的提升，上图列了几个关键数据。峰值的 TPS 达到了每秒 13 亿，作业数量上流作业有 6000 多个，批作业也到了 3000 个，物理资源上已经有 70 万 Cores。在业务场景的覆盖上，Flink 给公司的各个业务方，包括社科、电商、商业化、音视频、实时数仓都提供了实时计算能力。2017 年快手内部为了满足直播、短视频实时质量监控的需求，初步引入了 Flink 引擎，后面几年陆续建 ………………………………