专栏名称: 腾讯技术工程
腾讯技术工程事业群官方微信公众号。腾讯前沿科技技术、产品、行业信息交流发布平台。
今天看啥  ›  专栏  ›  腾讯技术工程

125G 代码,10 秒内准备完成:CNB 刷新 AOSP 克隆效率

腾讯技术工程  · 公众号  · 科技自媒体  · 2024-10-11 18:01
    

主要观点总结

文章介绍了团队在基于Google的Android 14系统源码定制ROM时面临的问题,包括代码拉取耗时长、存储空间占用大、效率低以及并发构建受限等。为了加速开发速度,团队开始探索各种优化方案,并最终采用腾讯新发布的CI工具CNB来解决这些问题。CNB基于Docker生态,通过声明式语法帮助开发者更酷地构建软件。文章详细解释了CNB如何通过使用git-clone-yyds插件和Copy-on-Write(CoW)机制实现秒级克隆和高并发下的缓存复用,同时阐述了其背后的原理和实现方式。

关键观点总结

关键观点1: 团队面临的问题

文章指出团队在进行新项目开发时遇到了代码拉取耗时长、存储空间占用大、效率低和并发构建受限等问题,尤其是处理超大型仓库时更加明显。

关键观点2: 探索的解决方案

为了加速开发速度,团队开始探索各种优化方案,包括浅克隆、稀疏克隆和部分克隆等方法,但都存在局限性。最终采用腾讯新发布的CI工具CNB来解决这些问题。

关键观点3: CNB的特点和优势

CNB基于Docker生态,通过声明式语法帮助开发者构建软件。它使用git-clone-yyds插件实现秒级克隆,通过Copy-on-Write(CoW)机制解决文件独占问题,允许多个并发构建共享相同的基础文件系统,同时保持各自的独立性。

关键观点4: CNB的工作原理

CNB使用git-clone-yyds插件结合OverlayFS技术实现快速代码克隆和并发构建。首次拉取代码后,代码会被持久化缓存到构建机的母机上,后续启动流水线只需增量更新代码,过程快速。多个流水线可以通过CoW机制共享代码缓存,避免冲突和污染。

关键观点5: CNB的实践效果

实践表明,使用CNB后,团队在代码克隆方面的需求得到了显著改善,传统的优化措施变得不再必要。CNB实现了快速且全面的代码克隆功能,有效解决了团队在处理超大型仓库时所面临的代码克隆和构建缓存问题。


文章预览

最近我们团队开始进行一个新项目,需要基于 Google 的 Android 14 系统源码来定制 ROM。我们需要下载 AOSP(Android Open Source Project)的代码进行开发。AOSP 是一个提供了支持移动设备和嵌入式设 备开发的完整技术栈,可以用来开发智能手机、平板电脑、车载系统、智能电视等各种设备。AOSP 项目源码规模很大,占用磁盘  124.44GB,超过 1400 仓库 。 “大佬,可以打一个有最新代码的 ROM 么? 我测试一下新功能” “可以,我去操作一下, 大概 1 个半小时后你再来拿”   “1个半小时这么久?”   “对啊, 拉代码就得 20 分钟, 还得跑测试和编译….” 团队在开发中,经常会出现类似的对话,我们发现团队在开发这种超大型仓库时,面临着多方面的问题和困难: 代码拉取耗时长 : 由于代码仓库很大 (125GB)导致拉代码很慢,通过 repo 下载代码需要接近 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览