AI 科技周报（8.19 - 8.25）

文章预览

01 🌟 1.5-Pints：9天训练1个LLM - 更注重数据集的质量，数据集大小仅57B token，仅需9天即可完成LLM训练。基于的是LLaMA架构 🔗 https://github.com/Pints-AI/1.5-Pints 02 🌟 LongWriter：让LLM能输出更长token - 一般LLM的输出长度是8K - 这篇论文提出了一种方法，将超长生成任务分解为子任务，使现有LLM能够生成超过20000字的输出 🔗 https://github.com/thudm/longwriter 03 🌟 SAM-2_Surgical_Video：SAM 2在手术视频的效果评估 - 目前只是评估数据集，为以后的手术机器人视觉学习提供了基础 🔗 https://github.com/AngeLouCN/SAM-2_Surgical_Video 04 🌟 rStar：显著提升小模型推理能力的方法 - 通过该方法，LLaMA2-7B在GSM8K上的准确率从12.51%提升到63.91% 🔗 https://arxiv.org/abs/2408.06195 05 🌟 EfficientRAG：提高RAG系统效率的方法 - 训练自动编码器LM来标记块，检索相关的块，并将它们标记为或者，Termina ………………………………