【他山之石】基于重要性加权的LLM自我改进：考虑分布偏移的新框架

文章预览

“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ LLM自我改进的典型范式是在自生成数据上训练LLM,但是其中的部分数据可能有害,所以应该被过滤掉。但是目前的工作主要采用基于答案正确性的过滤策略,在这篇论文中,证明过滤掉正确但具有高分布偏移程度(DSE)的样本也可以有利于自我改进的结果。 论文的主要贡献如下: 提出了一个称为DS权重的指标,借助一个微小的有效集来近似LLM自生成数据的DSE 利用DS权重,构建了一个新颖的自我改进框架,称为基于 ………………………………