金融级实时数仓建设实践

文章预览

导读   本文将分享蚂蚁集团近两三年在实时数仓领域的探索和实践。 本次分享将围绕以下四个方面展开： 1.  蚂蚁实时数仓架构 2.  实时数据质量保障 3.   流批一体应用 4.  数据湖落地展望 分享嘉宾｜ 马年圣 蚂蚁集团 实时数仓架构师，数据技术专家   编辑整理｜梁维 内容校对｜李瑶 出品社区｜ DataFun 01 蚂蚁实时数仓架构 1. 实时数仓架构设计 蚂蚁实时数仓的架构主要包括计算引擎、研发平台、计算资源、实时资产、研发工具和数据质量六大模块，这六个模块覆盖了实时数据研发的全流程，但也面临着许多问题，包括如何管理实时数据资产和口径、如何管控实时资源、平台能力是否健全等。 在实时数据的应用场景中，数据的准确性和稳定性尤为重要。因此，如何持续监控和发现数据质量问题是实时数据研发过程中面临的一大挑战。同时， ………………………………