面试面经｜大模型面试八股含答案

文章预览

↑ 点击 蓝字  关注极市平台 作者丨包包算法笔记 来源丨包包算法笔记 编辑丨极市平台 极市导读   大模型面试问题总结。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 大模型训练的一些坑点和判断 在前面的文章写了 大模型面试八股 ，原文没有写答案，后续有很多朋友要答案，这里一位朋友整理了部分答案，对于没回答的部分我做了一些补充。原作者：花甘者浅狐感谢这位朋友辛苦整理，访问知乎原文https://zhuanlan.zhihu.com/p/643560888 基础知识 1.transformer 八股文 a.Self-Attention的表达式 b.为什么上面那个公式要对QK进行scaling scaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失，让模型能够更容易训练。 c.self-attention一定要这样表达吗？ 不一定，只要可以建模相关性就可以 ………………………………