今天看啥  ›  专栏  ›  爱可可-爱生活

通过建立参数和数据对齐度的一般理论框架,发现之前对齐度假设过于保-20240710051858

爱可可-爱生活  · 微博  · AI  · 2024-07-10 05:18
    

文章预览

2024-07-10 05:18 本条微博链接 通过建立参数和数据对齐度的一般理论框架,发现之前对齐度假设过于保守,证明所有参数化方式都能从每层学习率中获益,并提出标准参数化方式配合每层常数优于其他方式。 [LG]《Scaling Exponents Across Parameterizations and Optimizers》K Everett, L Xiao, M Wortsman, A A. Alemi… [Google DeepMind] (2024) ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览