文章预览
将 ScienceAI 设为 星标 第一时间掌握 新鲜的 AI for Science 资讯 编辑丨 & 扩展一直是提高机器学习各个领域的模型性能和泛化的关键因素。尽管在扩展其他类型的机器学习模型方面取得了成功，但对神经网络原子间电位 （NNIP） 扩展的研究仍然有限。 该领域的主要范式是将许多物理域约束合并到模型中，例如旋转等方差等对称性约束。来自美国加州大学伯克利分校和劳伦斯伯克利国家实验室 （Berkeley Lab） 的研究团队认为，这些日益复杂的领域约束抑制了 NNIP 的扩展能力，从长远来看，这种策略可能会导致模型性能停滞不前。 为了系统地研究 NNIP 扩展属性和策略，团队 提出了一种全新的专为可扩展性而设计的 NNIP 架构：高效缩放注意力原子间势 （EScAIP），意在通过注意力机制扩展模型有效提高模型表达能力。 该方法以「 The Importance of Being Scalable:
………………………………
