爱可可 AI 前沿推介(6.10)

文章预览

LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 RO - 机器人 1、[CL] Scaling and evaluating sparse autoencoders 2、[CL] SaySelf：Teaching LLMs to Express Confidence with Self-Reflective Rationales 3、[CL] Transfer Q Star：Principled Decoding for LLM Alignment 4、[LG] Iteration Head：A Mechanistic Study of Chain-of-Thought 5、[LG] μLO：Compute-Efficient Meta-Generalization of Learned Optimizers 摘要：稀疏自编码器的缩放和评估、教LLM用自我反思理由表达自信、面向LLM对齐的原则性解码、思维链机制研究、习得优化器的计算高效元通用化 1、[CL] Scaling and evaluating sparse autoencoders L Gao, T D l Tour, H Tillman… [OpenAI] (2024) 稀疏自编码器的缩放和评估 要点: 稀疏自编码器通过从稀疏的瓶颈层重构激活，提供了一种有希望的无监督方法来从语言模型中提取可解释的特征。然而，自编码器需要非常大才能恢复所有相关特征。 ………………………………