大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率

文章预览

关键词： 大语言模型，深度学习，计算复杂度 来源：集智俱乐部 作者：郭瑞东  ‍ ‍ 大语言模型（LLMs）在人工智能领域取得显著进展，但同时也带来了推理成本方面的挑战。而随着模型变得更加先进，所需的计算资源显著增加，如GPT-4的计算量是GPT-3.5的十倍左右。通常用户会倾向于使用最强大的模型来处理所有任务，而不考虑任务的复杂性。该研究提出一种系统化的方法，微调小型语言模型来评估任务复杂性来自动选择最合适的模型，以减少计算资源的浪费。 https://arxiv.org/pdf/2312.11511 表一：不同模型的成本 这项研究中，首先根据编程问题数据库，给出对应的prompt，之后分别使用Lamma7B，GPT3.5和GPT4 尝试回答问题，每个模型运行五次，计算每个模型的给出正常答案的成功率，之后根据不同模型成功率的差异，定义问题的计算复杂性。具体分级方 ………………………………