6700万参数比肩万亿巨兽GPT-4！微软MIT等联手破解Transformer推理密码

文章预览

↑ 点击 蓝字  关注极市平台 来源丨新智元 极市导读   来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 「因果推理」绝对是当前GenAI热潮下的小众领域，但是它有一个大佬级的坚定支持者——Yann LeCun。 他在推特上的日常操作之一，就是炮轰Sora等生成模型，并为自己坚信的因果推理领域摇旗呐喊。 甚至，早在2019年VentureBeat的采访中，他就表达过这一观点：我们需要在深度学习模型中引入事件的因果关系，才能增强泛化能力，减少训练数据使用。 对于当前最流行的模型架构Transformer，我们能教它因果推理吗？ 最近，来自微软MIT等机构的研究人员提出 ………………………………