「隐语小课」ICML 2024 论文解析：解读量化感知的 Transformer 模型密态推理

文章预览

导语： ICML 国际机器学习大会（International Conference on Machine Learning，简称 ICML）是机器学习领域最重要和最有影响力的学术会议之一。隐语团队论文《Ditto: Quantization-aware Secure Inference of Transformers upon MPC（量化感知的 Transformer 模型密态推理）》，在本次投稿中的 9,473 篇有效论文且接收率为27.5%中脱颖而出，顺利中选。本文将详细解读该论文提出的具体技术原理与实现。 🔍 点击文末“阅读原文”，即可获取论文原文链接 本文作者：吴豪奇 Ditto 是隐语团队针对大模型密态推理场景展开的一个研究工作： “Ditto can tra nsform to different quantization settings.” 该论文基于 Se cretflow-SPU 框架实现了量化感知的 Transformer 模型密态推理，基于安全多方计算技术对大模型推理中的模型参数以及用户输入提供可证安全保护。 本文在先前隐语和蚂蚁技术研究院合作的工作 PU ………………………………