复旦大学：没钱标数据的有福了！利用合成数据就能大幅提升大模型归纳推理能力

文章预览

夕小瑶科技说 原创 作者 | 谢年年 推理，作为人类的基本认知过程，对于学习、问题解决和科学发现起着至关重要的作用。常见的推理方式包括演绎推理和归纳推理。 演绎推理就是从一般性的前提推导出个别或特殊情况的结论，而 归纳推理则用于从具体实例中提炼出一般性的结论或规律 。 研究学者一直试图增强大模型的推理能力，但大部分训练数据的指令都偏向演绎推理，比如“解释一下这个代码是什么意思”或者“写一个程序找出列表中最大和最小的数”。 相比之下，那些要求从几个例子中推断出通用规则或函数关系的归纳推理任务，数据就稀缺多了。比如：“假设有:func(1) == 6 func(2) == 7 func(3) == 8 func(4) == 9给我解释一下这个函数”或者“给定输入与输出john Smith -> Smith, John；frank lee -> Lee, Frank；Laura Jane Jones -> Jones,Laura，请编写程序将输入转换 ………………………………