【源头活水】大模型微调项目 / 数据集调研汇总

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 前言 本文主要总结本人最近跑过的大模型微调项目。 相信大家这几个月都会不断新出的微调大模型项目刷屏，频率基本每天都有高星的项目诞生，部分还宣称自己达到GPT的百分之多少，一方面弄得大家过度乐观，一方面弄得大家焦虑浮躁。 面对这种情况，我的建议是「 多动手」 。把这些项目 clone 下来，跑跑代码，把项目用到的数据集下载下来做做EDA，把项目训练完的checkpoint下载下来，用 ………………………………