推进小语言模型对复杂推理任务的能力 | 探索大模型训练中本地SGD的缩放规律 | 大模型中高效的知识卸载与编辑...

文章预览

前言： 如果你想成为一只科学界的“独角兽”，那么看论文是必不可少的。只有掌握了最新的技术和理论，才能在这个竞争激烈的市场中脱颖而出，成为那只最闪亮的“独角兽”！ 1. Neural-Symbolic Collaborative Distillation：推进小语言模型对复杂推理任务的能力   标题： Neural-Symbolic Collaborative Distillation: Advancing Small Language Models for Complex Reasoning Tasks   机构： 中国科学院大学、中国科学院自动化研究所   关键词： 神经符号协同蒸馏，小语言模型   作者： Huanxuan Liao,  Shizhu He,  Yao Xu   分析： 论文提出了一种新的知识蒸馏方法——神经符号协同蒸馏（NesyCD），用于提高小语言模型（SLM）对复杂推理任务的能力。论文指出复杂推理任务不仅需要一般认知能力，还需要特殊知识，这对于基于神经的SLM来说往往难以捕捉。NesyCD通过将大语言模型（LLM）中的 ………………………………