爱可可 AI 前沿推介(1.15)

文章预览

LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 1、[LG] Utility-inspired Reward Transformations Improve Reinforcement Learning Training of Language Models 2、[LG] How GPT learns layer by layer 3、[LG] Attention when you need 4、[LG] Transformer²：Self-adaptive LLMs 5、[LG] Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization 摘要：用实用性启发的奖励转换改进语言模型的强化学习训练、GPT的逐层学习、注意力分配策略的经济性、自我自适应的大语言模型Transformer²、通过张量压缩优化实现Transformer的超高内存效率PGA片上训练 1、[LG] Utility-inspired Reward Transformations Improve Reinforcement Learning Training of Language Models R Maura-Rivero, C Nagpal, R Patel, F Visin [Google DeepMind] 用实用性启发的奖励转换改进语言模型的强化学习训练 要点: 问题：当前用于训练大型语言模型的强化学习方法（RLHF）通常使用多个奖 ………………………………