英伟达：上下文表示最多能够编码多远距离的上下文？压缩后训练权重量化的大模型扩展能力规律....

文章预览

前言： 科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！ 1. 上下文表示能够编码多远距离的上下文？   标题： How much do contextualized representations encode long-range context?   机构： 英伟达   相关领域： 模型评估   作者： Simeng Sun,  Cheng-Ping Hsieh   分析： 这篇论文研究了神经自回归语言模型中的上下文表示，重点分析了跨越数千个标记的长距离上下文。通过扰动设置和“各向异性校准余弦相似度”指标，研究从表示几何学的角度捕捉长距离模式上下文化的程度。研究发现，在标准解码器仅Transformer上，具有相似难度指标的模型在下游任务上的表现差异显著，这可以归因于对长距离内容上下文化程度的差异。此外，还分析了其他模型，包括最新的新型架构设计和各种训练配置。层次 ………………………………