Softmax后传：寻找Top-K的光滑近似

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 Softmax，顾名思义是“soft 的 max”，是 算子（准确来说是 ）的光滑近似，它通过指数归一化将任意向量 转化为分量非负且和为1的新向量，并允许我们通过温度参数来调节它与 （的 one hot 形式）的近似程度。除了指数归一化外，我们此前在 《通向概率分布之路：盘点Softmax及其替代品》 也介绍过其他一些能实现相同效果的方案。 我们知道，最大值通常又称 Top-1，它的光滑近似方案看起来已经相当成熟，那读者有没有思考过，一般的。Top-k 的光滑近似又是怎么样的呢？下面让我们一起来探讨一下这个问题。 问题描述 设向量 ，简单起见我们假设它们两两不相等，即 。记 为 最大的 k 个分量的下标集合，即 以及 。我们定义 Top-k 算子 为 的映射： 说白了，如果 ………………………………