爱可可 AI 前沿推介(10.16)

文章预览

LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 RO - 机器人 1、[LG] LoLCATs：On Low-Rank Linearizing of Large Language Models 2、[CL] Thinking LLMs：General Instruction Following with Thought Generation 3、[CL] Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free 4、[CL] When Attention Sink Emerges in Language Models：An Empirical View 5、[LG] On Information-Theoretic Measures of Predictive Uncertainty 摘要：大型语言模型的低秩线性化、基于思考生成的通用指令遵循、混合专家模型的路由权重用作文本嵌入、语言模型中何时出现注意力汇聚、预测不确定性的信息论度量研究 1、[LG] LoLCATs: On Low-Rank Linearizing of Large Language Models M Zhang, S Arora, R Chalamala, A Wu… [Together AI] LoLCATs：大型语言模型的低秩线性化 要点: 提出了一种名为低秩线性转换通过注意力迁移 (LoLCATs) 的方法:  这是一种两步法，用于将大型语 ………………………………