本文提出了 AITP 方法，通过识别并改写预训练语料库中现有指令-20250120053346

文章预览

2025-01-20 05:33 本条微博链接 本文提出了 AITP 方法，通过识别并改写预训练语料库中现有指令微调数据集未覆盖的部分，以少量高质量数据显著提升大型语言模型性能，挑战了传统的数据量至上观点，强调了数据分布对齐和智能数据合成的重要性。 [LG]《Aligning Instruction Tuning with Pre-training》Y Liang, T Zheng, X Du, G Zha ………………………………