易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？

文章预览

作者 ｜腾讯云虚拟化团队 2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。 大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿个 Token，这对显卡等算力提出了极高的要求，也带来了能源消耗的激增。 据斯坦福人工智能研究所发布的《2023 年 AI 指数报告》，大语言模型 GPT-3 一次训练的耗电量为 1287 兆瓦时，相当于排放了 552 吨二氧化碳。随着 AI 的进一步普及，预测到 2025 年，AI 相关业务在全球数据中心用电量中的占比将从 2% 增加至 10%。到 2030 年，智能计算年耗电量将达到 5000 亿 ………………………………