主要观点总结
本文介绍了在ICML国际机器学习大会上发表的隐语团队论文《Ditto: Quantization-aware Secure Inference of Transformers upon MPC》的主要内容和研究成果。论文提出了一种针对大模型的量化感知安全推理框架Ditto，旨在解决机器学习（ML）和安全多方计算（MPC）之间的cross-domain gaps。文章详细解读了Ditto的技术原理、实现方法、核心设计与实现、实验结果和结论。
关键观点总结
关键观点1: 论文背景
介绍了隐语团队论文的研究背景，包括机器学习技术的发展、数据安全问题以及基于大模型的在线服务中的用户敏感信息泄露风险。
关键观点2: Ditto的主要技术原理
详细解释了Ditto的核心技术，包括量化感知的模型蒸馏、MPC友好的量化机制和量化感知的安全推理框架等。
关键观点3: 核心设计与实现
介绍了Ditto的核心设计与实现，包括场景设置、安全模型、整体流程、MPC友好的模型调整以及基于SPU的量化感知MPC推理等。
关键观点4: 实验结果
展示了Ditto在经典Transformer模型上的性能评估结果，包括模型精度和效率。
关键观点5: 结论
总结了论文的主要成果，强调了Ditto在结合MPC友好的机器学习量化机制和量化感知的MPC编译器执行方面的优势。
文章预览
导语： ICML 国际机器学习大会（International Conference on Machine Learning，简称 ICML）是机器学习领域最重要和最有影响力的学术会议之一。隐语团队论文《Ditto: Quantization-aware Secure Inference of Transformers upon MPC（量化感知的 Transformer 模型密态推理）》，在本次投稿中的 9,473 篇有效论文且接收率为27.5%中脱颖而出，顺利中选。本文将详细解读该论文提出的具体技术原理与实现。 🔍 点击文末“阅读原文”，即可获取论文原文链接 本文作者：吴豪奇 Ditto 是隐语团队针对大模型密态推理场景展开的一个研究工作： “Ditto can tra nsform to different quantization settings.” 该论文基于 Se cretflow-SPU 框架实现了量化感知的 Transformer 模型密态推理，基于安全多方计算技术对大模型推理中的模型参数以及用户输入提供可证安全保护。 本文在先前隐语和蚂蚁技术研究院合作的工作 PU
………………………………
