今天看啥  ›  专栏  ›  爱可可爱生活

「大模型的“魔力”之源」第三集:Softmax的魔力——从分类到生成

爱可可爱生活  · 公众号  ·  · 2024-08-19 05:43
    

文章预览

「大模型的“魔力”之源」是一个6集的系列,一起探索大模型的强大之谜! 本期要点: Softmax函数将神经网络的输出转化为概率分布,是分类任务的核心 在大模型中,Softmax被创新性地应用于文本生成任务 通过Softmax,大模型可以基于上下文生成下一个最可能的单词,从而实现了文本生成 采样策略的选择对生成质量有很大影响,如温度参数、Top-k采样等 结束语:Softmax的魔力在于将离散的分类扩展到了连续的生成,为大模型开启了全新的应用空间 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览