港理工提出TokenSkip：让大模型在CoT中“跳”过冗余token，压缩40%，性能几乎不降！

文章预览

大家好，今天我们要聊的是一篇关于LLM的论文，主题是如何让大模型的“思维链”（Chain-of-Thought, CoT）变得更高效。大家都知道，大模型在处理复杂问题时，会生成一系列的推理步骤，这就是所谓的“思维链”。虽然这种推理方式很强大，但随着推理步骤的增加，生成的token数量也会直线上升，导致推理速度变慢，用户体验变差。想象一下，你问大模型一个问题，结果它给你吐出一篇“论文”那么长的推理过程，你是不是会有点崩溃？ 论文 ：TokenSkip: Controllable Chain-of-Thought Compression in LLMs 地址 ：https://arxiv.org/pdf/2502.12067 这篇论文的作者们发现，其实并不是所有的token都对推理结果有同等贡献。有些token是“划水”的，完全可以跳过！于是，他们提出了一个叫TokenSkip的方法，让大模型在推理时能够自动跳过那些不重要的token，从而实现可控的思维链压 ………………………………