对话RWKV作者彭博：单枪匹马挑战Transformer的神秘怪才

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           作者 ｜ 王兆洋 邮箱 ｜ wangzhaoyang@pingwest.com 彭博的知乎个人页面 以下为对话实录。 1 RWKV，在Transformer的时代复兴RNN RWKV-6的架构图 彭博： 对没错。Layer之间是一层层往下走的。 但我们更像人。像人类在说话的时候，我们只和我们的大脑的状态之间有联系，其实我们自己说的话我们也忘记了，但是我们为什么还可以继续说呢？就说明其实人也是这样工作的。 Transformer 的 state 会越来越大，而 RWKV 的 state 是固定大小的。这个很重要，因为正是固定大小的限制让模型学到真正的东西，激发它的某种倾向和动力，去把世界压缩到它的 state 里去。 硅星人： 你认为人的设计也是这样。 彭博： 肯定是这样。肯定是token-state。忘记东西的话 ………………………………