“民主”的神经网络：向不完美妥协

文章预览

导读 就像人类社会的运转需要一套共同的决策规则，大脑的运转也依赖于神经元之间的某种契约。自上世纪40年代起，理论神经科学家就试图通过数学模型，解释神经元活动背后隐含的“民主规则”：McCulloch-Pitts模型是鼓掌通过式的民主，Linear Threshold模型是乔治·奥威尔式的民主，Hubel和Wiesel提出了神经元民主的层级结构 —— 在视觉系统里有好脾气的“简单公民”和坏脾气的“复杂公民”。“民主”的神经元模型是简陋的，它不是生物大脑运作的真实方式，而是一种非常粗略的近似；但“民主”的神经元却又是简单高效的，它们构建了今天深度学习技术的基础。“民主”的神经网络似乎印证了丘吉尔的那句名言，“民主是最糟的政体，除了其它那些已经试过的不能用的之外。” 世界上最热闹的“社交网络”，就在你头脑里 在我们小小的颅腔里住 ………………………………