大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多

文章预览

   新智元报道   编辑：alan 【新智元导读】 近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的要多得多！这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。 大模型的应用历来受幻觉所扰。 这个幻觉可以指代LLM产生的任何类型的错误：事实不准确、偏见、常识推理失败等等。 ——是因为大模型学半天白学了吗？并不是。 近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的更多！ 论文地址：https://arxiv.org/pdf/2410.02707 研究人员在LLM内部表示上训练分类器，以预测与生成输出的真实性相关的各种特征。 结果表明LLM的内部状态编码反映出的真实性信息，比以前认识到的要多得多。 这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。 虽说这种 ………………………………