快手分享离线数仓规模急速膨胀时引入数据湖的过程

文章预览

本文来自数据湖技术成熟度曲线发布会圆桌。 扫码下载 数据湖 技术成熟度曲线 Q：快手当初引入数据湖要解决什么问题，当前的现状如何？ 靳国卫（快手 数据BP负责人）： 首先，从业务角度，我们当时主要面临以下几个方面的问题。 第一个问题:  是离线数据仓库规模的急速膨胀带来了巨大的存储和计算成本压力。快手的业务发展速度非常快，随着业务的扩展，离线数据仓库的规模也在迅速扩展。我们当时有大量的新表、新模型需要建设，尤其是数据量在迅速增长，这带来了计算和存储成本的急剧上升。同时，运维的复杂度也在不断增加，之前可能一个研发同学维护十几个模型，后来增长到一两百个，质检、巡检、数据保障的工作量大幅增加，这大大压缩了研发的时间，使得业务支持上的效率受到影响。 第二个问题:  是多次构建相似数据模型 ………………………………