同时支持流式训练和批式训练的样本工程！

文章预览

QQ 音乐通过 Flink 和 Iceberg 实现了同时支持流式训练和批式训练的样本工程, 在 QQ 音乐的跨场景推荐中取得了显著的效果。即将于 10 月25-26 日举办的 DA数智大会2024·深圳站邀请到 QQ 音乐数据架构师罗凯老师，他将以《QQ音乐流批一体实时样本工程实践》为题，介绍基于 Flink 和 Iceberg 的流批一体实时样本工程的实现以及在推荐场景中的应用。 演讲提纲： 1. 工程架构：从消息队列到 Iceberg 的入湖链路如何拆分的 Flink 子任务更合理 2. 任务设计：样本拼接的 Flink 任务如何设计拼接逻辑，如何设置特征缓存，如何计算 Label 3. 效果对齐：实时样本如何尽可能对齐离线天级别聚合样本, 如何避免样本的 Label 分裂 4. 成本和性能：超大状态样本拼接 Flink 任务如何降低 timer 的数量，如何提升任务稳定性，如何节省资源成本，如何保障 10TB+ 状态的任务正常恢复 5. ………………………………