字节发表CLASI，同声传译智能体系统，媲美人类水平，超越商用产品

主要观点总结

本文介绍了CLASI，一个基于语言模型的端到端同声传译智能体。CLASI采用模仿人类口译员的策略，通过大规模预训练和持续训练，实现了人类水平的翻译能力。文章详细阐述了CLASI的关键技术，包括数据驱动读写策略、多模态检索增强生成、多阶段训练等。实验结果表明，CLASI在翻译质量、延迟等方面均表现出优异性能。

关键观点总结

关键观点1: CLASI的特点与优势

CLASI是一个基于语言模型的端到端同声传译智能体，通过大规模预训练和持续训练，实现了人类水平的翻译能力。其关键技术和特点包括数据驱动读写策略、多模态检索增强生成、多阶段训练等。CLASI能够从历史翻译和外部知识中进行上下文学习，为翻译提供足够的信息。

关键观点2: CLASI的训练过程

CLASI的训练过程分为预训练、多任务持续训练和多任务监督微调三个阶段。预训练阶段包括LLM和音频编码器的独立预训练；多任务持续训练阶段包括自动语音识别、语音翻译和文本翻译等任务；多任务监督微调阶段则通过人工标注数据进行微调，提高模型在SiST任务上的翻译质量。

关键观点3: CLASI的实验结果

实验结果表明，CLASI在翻译质量、延迟等方面均表现出优异性能。与现有的机器翻译评估基准相比，CLASI在VIP评估指标上表现出色，可实现实时语音的高质量翻译。此外，CLASI在多模态检索任务中也表现出良好性能。

文章预览

“ Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent ” 在翻译领域，大模型超越人类水平已经不是新闻了。然而，大模型在同声传译方面依然是一个未被完全攻克的难题。 近日，字节跳动的研究人员推出了端到端同声传译智能体CLASI，其效果已接近专业人士的同声传译水平。CLASI依托于豆包大模型，同时具备了从外部获取知识的能力，最终形成了足以媲美人类水平的同声传译系统。 项目主页： https://byteresearchcla.github.io/clasi/ 论文地址 ： https://byteresearchcla.github.io/clasi/technical_report.pdf 摘要 本文介绍了一种高质量、类人的同声传译系统CLASI，它采用了一种新颖的数据驱动读写策略来平衡翻译质量和延迟，并利用多模态检索模块来解决领域术语翻译的挑战。该系统支持错误容忍翻译，并通过VIP指标评估翻译质量，实验结果表明CLASI在 ………………………………