B 站大数据任务基于 Volcano 的云原生调度实践

文章预览

导读   本文将分享 B 站大数据任务基于 Volcano 的云原生调度实践，主要从四个方面展开：首先介绍迁移背景，即为什么要从大数据的离线集群迁移到云原生 K8s 集群；接着介绍选取了什么样的云原生调度框架，在迁移过程中做了哪些针对大数据的适配工作；然后介绍在云原生场景下，大数据集群超配框架的搭建经验；最后是对未来工作的展望。 主要内容包括以下几个部分： 1.  迁移背景 2.  调度框架的适配 3.   超配框架的搭建 4.  未来展望 分享嘉宾｜ 卜凡 bilibili 资深开发工程师 编辑整理｜ 余安琪 内容校对｜李瑶 出品社区｜ DataFun 01 迁移背景 1. 云原生的优势 节约成本：统一管理模式，方便离线资源与其他资源合池，更充分的利用资源。 资源隔离： K8s  提供了更强大的资源隔离能力。 环境适配：对于有特殊依赖的任务，容器技术确保在异 ………………………………