如何提升大模型推理能力

文章预览

一．大模型的推理能力 现在的大模型是茶壶里煮饺子，从预训练中学习了很多，但简单粗暴的采样推理的方式却限制了它的能力输出。             正如在 降低大模型幻觉的必由之路 一文 中笔者建议的：大模型技术还在日新月异的发展，即使 大模型永远不会停止幻觉 ， 在未来，专业系统会验证LLM输出，针对特定环境优化的人工智能工具将部分取代今天的通用模型。             其中最重要的改进方向就是，通过引导大模型学习人类特定的先验，更好地理解“范畴的结构和关系”，优化范畴内和跨范畴采样算法，将幻觉降低到 “不可见”范围，尽管很难消除为零。     近期大模型行业的动向也印证了笔者这一判断。 时代周刊全球百大AI人物 & Cohere创始人接受采访时讲“AI模型还没有真正的问题解决能力，是因为训练语料里面很少有记录人 ………………………………