某城商行基于分布式存储搭建数据湖实现PB级以上温冷数据管理最佳实践分享

文章预览

【摘要】 随着业务线上化、移动化和场景化比例越来越高，数据仓库数据面临数据规模爆发式增长和数据类型多样性等问题，单一的数据仓库技术已无法完全应对。为此银行启动了融合数据湖建设。本文对数据仓库和数据湖的技术路线进行了分析对比，简述了“湖仓一体”架构的必要性；同时从银行数据湖存储技术路线评估与选型经验，到基于专业分布式存储存算分离架构的建设过程，以及融合数据湖项目所取得的成效做了详细分享。 【作者】dragon1220 ， 就职于某银行金融科技部，存储工程师。主要负责存储实施方案设计及存储设备管理。擅长集中式存储和分布式存储整体架构的方案制定以及存储容灾建设等方面工作。 一、背景介绍 随着银行业数字化转型进程的加快，以及数据驱动战略在银行的落地实践，2019年我行围绕分布式数据仓库和大数 ………………………………