专栏名称: 图灵人工智能
人工智能及其他科技学术前沿、机器学习、图像识别、语音识别、自动驾驶、自然语言处理、脑机接口、云计算、大数据、物联网、机器人、天文物理、生物科学、数学、区块链、比特币、计算机等学术前沿知识、报告、讲座等介绍。
今天看啥  ›  专栏  ›  图灵人工智能

对话RWKV作者彭博:单枪匹马挑战Transformer的神秘怪才

图灵人工智能  · 公众号  ·  · 2024-08-09 00:00

文章预览

点击上方“ 图灵人工智能 ”,选择“星标”公众号 您想知道的人工智能干货,第一时间送达                           作者 | 王兆洋 邮箱 | wangzhaoyang@pingwest.com 彭博的知乎个人页面 以下为对话实录。 1 RWKV,在Transformer的时代复兴RNN RWKV-6的架构图 彭博: 对没错。Layer之间是一层层往下走的。 但我们更像人。像人类在说话的时候,我们只和我们的大脑的状态之间有联系,其实我们自己说的话我们也忘记了,但是我们为什么还可以继续说呢?就说明其实人也是这样工作的。 Transformer 的 state 会越来越大,而 RWKV 的 state 是固定大小的。这个很重要,因为正是固定大小的限制让模型学到真正的东西,激发它的某种倾向和动力,去把世界压缩到它的 state 里去。 硅星人: 你认为人的设计也是这样。 彭博: 肯定是这样。肯定是token-state。忘记东西的话 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览