“你所知道的word2vec都是错的”：论文和代码天壤之别，是普遍现象了？

文章预览

栗子 发自 凹非寺  量子位 出品 | 公众号 QbitAI word2vec 是谷歌2013年开源的语言工具。 两层网络，就能把词变成向量，在NLP领域举足轻重，是许多功能实现的基础。 可是现在，有一位叫做bollu (简称 菠萝 ) 的程序员，大声对世界说： “关于word2vec，你所知道的一切都是错的。” 在他看来， 论文里的算法解释，和代码实现一比，讲的根本是两回事。 是不是只要开源了代码，论文写不写清楚都没关系？ 一番仔细的论述，引起了许多人的讨论和共鸣，不出半日Hacker News热度已近300点： 那么，菠萝的世界观是怎样崩塌的，他眼里真实的word2vec是什么样子呢？ 不一样的天空 word2vec有种 经典解释 (在Skip-Gram里、带负采样的那种) ，论文和数不胜数的博客都是这样写的： 只能看出 ………………………………