Apache Iceberg在小红书的探索与实践

分享嘉宾：孙超 小红书 软件工程师编辑整理：王宇翔出品平台：DataFunTalk导读：本文主要介绍了小红书数据流团队基于Apache Iceberg在实时数仓领域的探索与实践。目前小红书对数据湖技术的探索主要分为三个方向，第一个方向是在小红书云原生架构下，对于大规模日志实时入湖的实践，第二个方向是业务数据的CDC实时入湖实践，第三个方向是对实时数据湖分析的探索。今天的分享也主要围绕这三个方向展开，并在最后介绍我们对未来工作的规划：日志数据入湖CDC实时入湖实时湖分析探索未来规划01日志数据入湖1. 小红书数据平台架构在进入主题之前先介绍一下小红书数据平台的基本架构。总体来说，小红书数据平台与其他互联网公司大同小异，主要不同在于小红书的基础架构是“长”在多朵公有云之上的。在数据采集层，日志和RDBMS的数 ………………………………