同程旅行基于 Waggle-Dance 元数据方案实践

文章预览

导读   本文将分享同程旅行基于 Waggle Dance 的元数据解决方案。 主要包括以下五部分内容： 1.  背景介绍 2.  Waggle Dance 3.   Federation 下的实践与应用 4.  未来展望 5.  问答环节 分享嘉宾｜ 韩杰 同程旅行 大数据高级工程师 编辑整理｜ 苏磊 内容校对｜李瑶 出品社区｜ DataFun 01 背景介绍 首先来介绍一下同程的整体架构。 如上图所示，整体架构分为三层： 最上层为数据产品，主要包括基于数据的决策报表，智能分析、智能营销的数据产品。 中间层主要包括云平台和数据中台，云平台主要是针对底层基建包括 K8s 服务的部署、服务等基础运维工作；数据中台层主要包括数据资产、数据开发、数据服务引擎模块，计算引擎通过 Hive MetaStore 与底层元数据进行交互，完成数据的清洗、ETL、查询等工作。 最下层就是来自不同数据源的各种结构化、半结构 ………………………………