爱可可 AI 前沿推介(7.10)

文章预览

LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 1、[CL] Distilling System 2 into System 2、[LG] Scaling Exponents Across Parameterizations and Optimizers 3、[LG] On the Power of Convolution Augmented Transformer 4、[CV] Wavelet Convolutions for Large Receptive Fields 5、[LG] Harnessing the Power of LLMs：Automating Unit Test Generation for High-Performance Computing 摘要：将系统2推理能力蒸馏到系统1、参数化和优化器之间的缩放指数、卷积增强Transformer研究、更大感受野的小波卷积、用LLM为高性能计算自动生成单元测试 1、[CL] Distilling System 2 into System 1 P Yu, J Xu, J Weston, I Kulikov [Meta FAIR] 将系统2推理能力蒸馏到系统1 要点: 大型语言模型可以生成中间思路来产生更好的最终响应，这被称为系统2推理。已经提出了许多系统2技术，如重述和响应、系统2注意力、分支求解合并等。 本文研究自监督方法来“编译”(蒸馏)系统2技术 ………………………………