主要观点总结
本文主要讲述了RWKV创始人彭博在AI领域的故事。他选择了一条不同于主流Transformer架构的路,用了三年时间构建了RWKV架构,一种不同于Transformer架构的RNN架构。尽管面临诸多质疑和资源限制,他仍坚持自己的理念,相信RWKV架构的潜力。同时,他也面临着融资和投资人的压力,但他相信时间站在他们一边。他还谈到了与联合创始人的相遇和合作,以及他们对AI未来的看法。
关键观点总结
关键观点1: 彭博的RWKV架构不同于主流的Transformer架构,他花费三年时间研究和开发。
彭博选择了RNN架构,保留了较低的时间空间复杂度,并在不断优化中引入显式decay和短卷积。他认为现在的AI公司专注的是机械智力的提升,而他同时关注创造力和智慧的提升。
关键观点2: 彭博面临诸多质疑和资源限制,但他坚信RWKV架构的潜力。
尽管一些人对RWKV架构持怀疑态度,认为它与Transformer架构没有本质区别,且融资进程不顺利,彭博仍坚持自己的理念。他认为只要算力资源上去,就能证明RWKV架构的先进性。
关键观点3: 彭博与联合创始人罗璇的相遇和合作。
罗璇对彭博的理念和才华深表认同,决定加入元始智能。两人互补性强,共同为RWKV架构的发展而努力。
文章预览
出品 | 虎嗅科技组 作者 | 王欣 编辑 | 苗正卿 头图 |《小丑》 虎嗅注:RWKV创始人彭博是今天故事的主人公,在Transformer架构大行其道的当下,他一个人花了三年时间构建了RWKV架构,一种不同于Transformer架构的RNN架构。本文为虎嗅 《AI星火》系列 第 07篇稿件,《AI星火》系列聚焦AI细分行业的头部公司,通过记录AI创业者的故事,折射出他们对AI产业的共识与非共识。 在见到RWKV创始人彭博之前,我也像一些人那样,怀疑过他是骗子或者“民科”。 他的公司元始智能员工在小红书发表的,诸如“OpenAI走到死胡同”这样的“暴论”下面,评论区也不时会有对他们质疑和诋毁的声音,比如让他们拿出证据,证明他们自研的大模型架构RWKV6确实比OpenAI强。 但彭博完全不在意这些声音,或许这就是成为另类的代价。——在诸多大模型公司都选择与OpenAI相同的Tran
………………………………