技术前沿｜ICML 2024 中稿快讯！解锁大模型密态推理场景下的“百变怪”？

文章预览

导 语： ICML 国际机器学习大会（International Conference on Machine Learning，简称 ICML）是机器学习领域最重要和最有影响力的学术会议之一，ICML 2024 于当地时间7月21日至7月27日正在奥地利维也纳召开。隐语团队论文 《Ditto: Quantization-aware Secure Inference of Transformers upon MPC（量化感知的 Transformer 模型密态推理）》 ，在本次投稿中的 9,473 篇有效论文且接收率为27.5%中脱颖而出，顺利中选。 该论文基于隐语开源的 Secretflow-SPU 框架，实现了量化感知的 Transformer 模型密态推理，保护了大模型推理过程中的模型参数及用户输入。隐语将为您带来最新技术干货分享，一起来关注！ Ditto：实现可量化感知的大模型密态推理 BY THE WAY！ 也许大家眼中的 Ditto 是《神奇宝贝》中的百变怪？但它现在同样也是是隐语团队针对 大模型密态推理场景 展开的一个创新研究工作： “Ditt ………………………………