今天看啥  ›  专栏  ›  隐语的小剧场

「隐语小课」ICML 2024 论文解析:解读量化感知的 Transformer 模型密态推理

隐语的小剧场  · 公众号  ·  · 2024-08-06 08:36

文章预览

导语: ICML 国际机器学习大会(International Conference on Machine Learning,简称 ICML)是机器学习领域最重要和最有影响力的学术会议之一。隐语团队论文《Ditto: Quantization-aware Secure Inference of Transformers upon MPC(量化感知的 Transformer 模型密态推理)》,在本次投稿中的 9,473 篇有效论文且接收率为27.5%中脱颖而出,顺利中选。本文将详细解读该论文提出的具体技术原理与实现。 🔍 点击文末“阅读原文”,即可获取论文原文链接 本文作者:吴豪奇 Ditto 是隐语团队针对大模型密态推理场景展开的一个研究工作: “Ditto can tra nsform to different quantization settings.” 该论文基于 Se cretflow-SPU 框架实现了量化感知的 Transformer 模型密态推理,基于安全多方计算技术对大模型推理中的模型参数以及用户输入提供可证安全保护。 本文在先前隐语和蚂蚁技术研究院合作的工作 PU ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览