Prompt输出限制怎么写？用CCoT限制输出长度的推理，大幅提高LLM准确性

主要观点总结

本文介绍了为解决大型语言模型输出冗长的问题，意大利圣安娜高等学校的Sania Nayab等人提出的创新解决方案——Constrained Chain-of-Thought (CCoT)提示技术。该技术旨在控制LLM输出长度，提高推理效率。文章详细描述了CCoT的原理、实验设置、效果以及与模型规模的关系。此外，还介绍了CCoT的实际应用案例、潜在应用以及对于模型输出的影响。最后，文章强调了适度控制输出长度的重要性，并提醒根据不同场景动态调整提示策略。

关键观点总结

关键观点1: CCoT技术的原理及目的

CCoT是一种新的提示工程策略，通过在提示中明确要求模型限制输出长度，同时保持推理的完整性，以解决大型语言模型输出冗长的问题。

关键观点2: CCoT的实验设置和效果

研究者在多个预训练的大型语言模型上进行了实验，包括Vicuna-13b-v1.5、Falcon-40b-instruct等。实验表明，CCoT能有效控制输出长度，提高模型的准确性。对于Llama2-70b等大型模型，CCoT能显著提升性能；而对于中小型模型，效果则较混合。

关键观点3: CCoT与模型规模的关系

实验结果显示，CCoT的效果与模型规模密切相关。大型模型从CCoT中获益最多，而小型模型在面对严格的长度限制时可能难以保持性能。

关键观点4: 新的评估指标

研究者提出了三个新的评估指标，包括Hard-k Concise Accuracy (HCA)、Soft-k Concise Accuracy (SCA)和Consistent Concise Accuracy (CCA)，以全面评估LLM的输出质量。

关键观点5: CCoT的实际应用案例

研究者提供了具体的例子，展示了CCoT如何改善模型输出。同时，CCoT在实时交互系统、资源受限环境等领域有巨大的应用潜力。

关键观点6: 对模型输出的影响

研究发现在使用CCoT后，模型的输出长度和生成时间显著减少，同时保持了推理的正确性和解释性。

文章预览

点击上方 蓝字 关注我 本文：5200字阅读  14分钟   最近，有不少朋友问我如何实现精准限制输出？比如DoT《 真的别再吹o1模型是新的范式，看看清华的思维图(DoT)框架，LLM推理集大成者 》或者别的类似带有Thought这种的prompt推理方法经常性输出冗长内容（LLM给出很多废话），而这些prompt方法又不得不用，这在项目成本和内容要求上都遇到了巨大瓶颈。 图片由修猫创作 一项由意大利比萨的著名高等教育和研究机构圣安娜高等学校Sania Nayab等人进行的研究为这个问题提供了一个创新的解决方案- Constrained Chain-of-Thought (CCoT)提示技术。这项研究不仅提出了控制LLM输出长度的新方法，还开发了一套评估LLM输出简洁性和正确性的新指标。这项研究很值得受困于此的朋友借鉴。 01 输出长度与推理效率的矛盾 # 大型语言模型在复杂问题解答方面表现出色，但同时 ………………………………