通向概率分布之路：盘点Softmax及其替代品

文章预览

本文 约7000字 ，建议阅读 10 分钟 在这篇文章中，我们将简单总结一下 Softmax 的相关性质，并盘点和对比一下它的部分替代方案。 不论是在基础的分类任务中，还是如今无处不在的注意力机制中，概率分布的构建都是一个关键步骤。具体来说，就是将一个   维的任意向量，转换为一个   元的离散型概率分布。众所周知，这个问题的标准答案是 Softmax，它是指数归一化的形式，相对来说比较简单直观，同时也伴有很多优良性质，从而成为大部分场景下的“标配”。 尽管如此，Softmax 在某些场景下也有一些不如人意之处，比如不够稀疏、无法绝对等于零等，因此很多替代品也应运而生。在这篇文章中，我们将简单总结一下 Softmax 的相关性质，并盘点和对比一下它的部分替代方案。 01 Softmax回顾 首先引入一些通用记号：  是需要转为概率分布的 n 维向 ………………………………