2万字的SFT for Alignment 总结纪要

文章预览

知乎： 张峻旗 链接：https://zhuanlan.zhihu.com/p/717553974 本文是个人大模型学习笔记的第二十五篇，以18K再次刷新了单篇字符记录，感兴趣的话可以点击专栏阅读其余笔记，欢迎各位知友在评论区交流、指正。入选「知势榜」8月成长力榜，完全超出笔者预料，也激励自己坚持在本专栏分享学习心得。 大模型学习笔记 www.zhihu.com/column/c_1765686812465328128 0. 前言 拖更了近一个月，一方面是很多事情牵扯了精力，一方面是 SFT for Alignment 确实方案繁多、细节复杂，这也是为什么笔者选择以分-总形式共五篇笔记来记录对 SFT for Alignment 的学习。本文对以 Alignment 为目标的 Supervised Fine-tuning 进行总结。大部分内容自然是前四篇 SFT Data for Alignment 相关笔记的纪要和补充，另一部分内容则是前四篇笔记跳过的 SFT 优化设置。 强烈建议前置阅读： 大模型微调（四）：SFT Data ………………………………