苹果和英伟达合作新的推测解码方法，可将文本生成速度提升2.7倍

主要观点总结

本文介绍了自回归模型在推理性能方面的瓶颈，以及为解决这一问题而兴起的推测解码技术。苹果提出的ReDrafter方法结合了草稿模型和动态树注意力机制，通过递归设计和束搜索提高预测准确性和效率。ReDrafter与英伟达TensorRT-LLM推理加速框架整合，在GPU上实现更高效的LLM推理性能。文章还介绍了ReDrafter的具体技术细节，包括其基于RNN的草稿模型、动态树注意力算法、知识蒸馏训练方法等，并在不同硬件平台上展示了其性能优势。

关键观点总结

关键观点1: 自回归模型的瓶颈和推测解码技术的兴起

自回归模型在生成文本时需要反复执行前向传播，导致大量的计算资源和频繁的内存访问，从而引起较高的延迟。推测解码技术通过使用草稿模型预测未来token序列，再由主模型验证，实现并行化生成，提高推理效率。

关键观点2: ReDrafter的技术特点

ReDrafter结合了循环神经网络（RNN）的草稿模型和动态树注意力机制，使用束搜索探索多个可能的序列延续。其创新之处在于使用递归设计和动态树注意力算法提高预测准确性和效率。

关键观点3: ReDrafter与英伟达TensorRT-LLM的整合

苹果与英伟达展开深度技术合作，将ReDrafter整合到英伟达TensorRT-LLM推理加速框架中。通过提供标准化的接口和优化的实现，使得开发者能够更容易地部署复杂的语言模型。这一合作显著增强了TensorRT-LLM框架的能力。

关键观点4: ReDrafter的性能优势

ReDrafter在MT-Bench基准测试中实现了显著的性能提升。在每个生成步骤中，它可接受多个token，提高了并行度。在大规模批处理场景下，其吞吐量可达到每秒1636个token。此外，在不同的硬件平台上，ReDrafter都展现出良好的适应性。

免责声明