文章预览
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 RO - 机器人 1、[LG] Compression via Pre-trained Transformers：A Study on Byte-Level Multimodal Data 2、[CL] Differential Transformer 3、[LG] FutureFill：Fast Generation from Convolutional Sequence Models 4、[LG] Algorithmic Capabilities of Random Transformers 5、[LG] Preference Optimization as Probabilistic Inference 摘要：通过预训练Transformer进行压缩、差分Transformer、基于卷积序列模型的快速生成、随机Transformer的算法任务执行能力、作为概率推理的偏好优化 1、[LG] Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data D Heurtel-Depeiges, A Ruoss, J Veness, T Genewein [Google Deepmind] 通过预训练Transformer进行压缩：字节级多模态数据研究 要点: 模型大小与压缩率的反直觉发现: 大型预训练基础模型虽然在其训练数据上取得了较高的压缩率，但在考虑其参数数量时
………………………………
