专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
今天看啥  ›  专栏  ›  DataFunTalk

京东大数据治理探索与实践

DataFunTalk  · 公众号  ·  · 2024-10-14 13:00
    

主要观点总结

本文介绍了京东在大数据治理方面的探索和实践经验,包括背景和方案、关键技术、从“节流”到“开源”的转变,以及未来展望。

关键观点总结

关键观点1: 背景和方案

介绍了京东大数据治理的背景和必要性,包括数据基础设施的投入、成本压力和治理目标等。同时,提出了设计健康分和货币化账单、打造自动化治理平台等解决方案。

关键观点2: 关键技术

详细介绍了治理平台使用的关键技术,包括审计日志、全链路血缘、算子级血缘等。同时,也提到了如何利用这些技术进行全链路的血缘影响分析和链路优化。

关键观点3: 从“节流”到“开源”

介绍了京东如何在大数据治理中寻求从“节流”到“开源”的转变,包括资源混部、任务错峰、跨机房的任务编排等手段,旨在在不增加成本的情况下,使资源得到更充分的利用。

关键观点4: 未来展望

提出了未来数据治理的几个发展方向,包括实时发现和治理、智能化、自动化等。


文章预览

导读   本文将分享京东在大数据治理上的探索和实践经验。 今天的介绍会围绕以下几点展开: 1.  背景和方案 2.  关键技术 3.   从“节流”到“开源” 4.  未来展望 分享嘉宾| 郏建超  京东  架构师 编辑整理| 徐建峰 内容校对|李瑶 出品社区| DataFun 01 背景和方案 在当今的数据驱动时代,数据作为关键生产要素之一,其在商业活动中的战略价值愈加凸显,京东也不例外。 作为国内领先的电商平台,京东在数据基础设施上的投入极为巨大,涵盖数万台服务器、数 EB 级存储、数百万个数据模型及数以百万计的任务执行。每年成本上的投入高达两位数个小目标,而且还在持续增长,成本压力比较大。 面对这样的成本压力,治理是一个必然的选择,并且不能是运动式、救火式的,而应该是持续的,需要一个规模化、常态化的治理体系。为了实现这 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览