文章预览
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 1、[LG] Analyzing Similarity Metrics for Data Selection for Language Model Pretraining 2、[LG] Flow Q-Learning 3、[LG] Distributional Diffusion Models with Scoring Rules 4、[CL] Wavelet-based Positional Representation for Long Context 5、[CL] Satori:Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search 摘要:面向语言模型预训练数据选择的相似度指标分析、Flow Q-Learning、基于打分规则的分布扩散模型、基于小波的长上下文位置表示、行动思维链强化学习通过自回归搜索增强LLM推理能力 1、[LG] Analyzing Similarity Metrics for Data Selection for Language Model Pretraining D Sam, A Chakrabarti, A Rostamizadeh, S Ramalingam... [Google Research] 面向语言模型预训练数据选择的相似度指标分析 要点: 预训练数据策展的嵌入模型评估框架: 论文提出了一个新的框架,用于评估嵌
………………………………