爱可可 AI 前沿推介(8.28)

文章预览

LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 RO - 机器人 1、[LG] A Law of Next-Token Prediction in Large Language Models 2、[LG] Learning to Move Like Professional Counter-Strike Players 3、[RO] Re-Mix：Optimizing Data Mixtures for Large Scale Imitation Learning 4、[CL] MobileQuant：Mobile-friendly Quantization for On-device Language Models 5、[CL] Power Scheduler：A Batch Size and Token Number Agnostic Learning Rate Scheduler 摘要：大型语言模型中的下一词预测定律、学习像职业反恐精英玩家那样移动、为大规模模仿学习优化数据混合、针对设备端语言模型的手机友好量化技术、与批量大小和Token数量无关的学习率调度器 1、[LG] A Law of Next-Token Prediction in Large Language Models H He, W J. Su [University of Rocheste & University of Pennsylvania] 大型语言模型中的下一词预测定律 要点： 本文提出一个精确定量的定律，该定律支配了在预 ………………………………