今天看啥  ›  专栏  ›  机器之心

腾讯混元大模型负责人王迪:揭秘万亿 MoE 系统工程之道|智者访谈

机器之心  · 公众号  · AI  · 2024-08-21 12:34

主要观点总结

本文介绍了腾讯机器学习平台部总经理王迪先生对于人工智能大模型、机器学习平台以及AI基础设施的深刻见解。文章涉及大模型的重要性、腾讯自研大模型的历程、MoE Scaling Law的探索、多模态和全模态的未来发展、以及AI基础设施的未来趋势。王迪强调了在大模型研发过程中,需要高效整合工程、算法、数据和业务应用,并指出大模型不仅是技术的革新,更是商业和产业的未来。腾讯通过探索和实践,形成了独特的研发链路,为理解大模型提供了独特的视角。同时,王迪预测了AI基础设施未来的发展方向,并强调了对于AI算力的集群化和规模化需求。

关键观点总结

关键观点1: 大模型的重要性

大模型正经历一场由大模型引发的革命,重塑我们对AI能力的认知,构筑起充满挑战与机遇的技术迷宫。面对快速演变的市场,企业如何在大模型投入与应用间寻求平衡,是技术与商业的关键问题。

关键观点2: 腾讯自研大模型的历程

腾讯选择从零自研大模型,深入探索大模型研发和工程的整个链路,从基础设施的构建到训练推理框架的优化,再到业务场景的落地,为大模型研发提供了独特的视角。

关键观点3: MoE Scaling Law的探索

在探索 MoE 的 Scaling Law 中,腾讯在小模型上进行了大量实验,以预测万亿 MoE 模型的训练过程,提升研发效率。

关键观点4: 多模态和全模态的未来发展

腾讯正在积极布局多模态和全模态,探索视频生成和理解的进展,预测未来会走向一个统一的模型,但还需要一定的时间。

关键观点5: AI基础设施的未来趋势

王迪预测AI基础设施未来的发展方向,包括基于AI算力的集群化和规模化需求,以及统一的调度平台和计算能力的提供。


文章预览

人工智能的卓越发展 源于对技术与产业本质的洞察 机器之心全新视频栏目「智者访谈」 邀请领域专家,洞悉 AI 核心技术与行业趋势 为从业者量身打造 深化行业认知,激发创新思考 与智者同行,共创 AI 未来 人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物,正在重塑我们对 AI 能力的认知,也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建,到训练过程中模型稳定性和鲁棒性的提升,再到探索更快更优的压缩与加速方法,每一步都是对创新者的考验。 面对快速演变的市场,企业如何在大模型投入与应用间寻求平衡?AI 从业者又该如何在这复杂的产业生态中找准定位,最大化自身价值?这些问题不仅关乎技术与商业,更直指 AI 产业的未来走向。 本期机器之心《智者访谈》邀请到腾讯机器 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览