主要观点总结
本文介绍了京东在大数据治理方面的探索和实践经验,包括背景和方案、关键技术、从“节流”到“开源”的转变,以及未来展望。
关键观点总结
关键观点1: 背景和方案
介绍了京东大数据治理的背景和必要性,包括数据基础设施的投入、成本压力和治理目标等。同时,提出了设计健康分和货币化账单、打造自动化治理平台等解决方案。
关键观点2: 关键技术
详细介绍了治理平台使用的关键技术,包括审计日志、全链路血缘、算子级血缘等。同时,也提到了如何利用这些技术进行全链路的血缘影响分析和链路优化。
关键观点3: 从“节流”到“开源”
介绍了京东如何在大数据治理中寻求从“节流”到“开源”的转变,包括资源混部、任务错峰、跨机房的任务编排等手段,旨在在不增加成本的情况下,使资源得到更充分的利用。
关键观点4: 未来展望
提出了未来数据治理的几个发展方向,包括实时发现和治理、智能化、自动化等。
文章预览
导读 本文将分享京东在大数据治理上的探索和实践经验。 今天的介绍会围绕以下几点展开: 1. 背景和方案 2. 关键技术 3. 从“节流”到“开源” 4. 未来展望 分享嘉宾| 郏建超 京东 架构师 编辑整理| 徐建峰 内容校对|李瑶 出品社区| DataFun 01 背景和方案 在当今的数据驱动时代,数据作为关键生产要素之一,其在商业活动中的战略价值愈加凸显,京东也不例外。 作为国内领先的电商平台,京东在数据基础设施上的投入极为巨大,涵盖数万台服务器、数 EB 级存储、数百万个数据模型及数以百万计的任务执行。每年成本上的投入高达两位数个小目标,而且还在持续增长,成本压力比较大。 面对这样的成本压力,治理是一个必然的选择,并且不能是运动式、救火式的,而应该是持续的,需要一个规模化、常态化的治理体系。为了实现这
………………………………