B站一站式大数据集群管理平台（BMR）初窥

文章预览

一、背景 大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。 B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。 下图是截至2024年6月初，统计到B站大数据的服务规模： 大数据组件 容量 节点规模 NameSpace 几十组 NameNode 过百台 DataNode 近万台 计算节点 过万台 计算核心 近百万核 内存容量 PB级 存储容量 EB级 元数据 过百亿 大数据所需承载的业务种类愈加繁多，为更好地承接业务场景的诉求，同时提升稳定性要求，我们大数据集群管理平台的建设，经历了以下主要几个阶段： 阶段一（求生存） 聚焦系统环境 标准化 、服务配置 标准化 ，清扫野蛮成长过程中非标生产留下的债务（层 ………………………………