注册
登录
专栏名称:
斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
微信公众号RSS订阅方法
B站投稿RSS订阅方法
微博RSS订阅方法
微博搜索关键词订阅方法
豆瓣日记 RSS订阅方法
目录
相关文章推荐
成都本地宝
·
低至29.9元起！2025成都春节景区特惠活 ...
·
昨天
成都本地宝
·
成都怎么坐地铁去机场/火车站？附首末班车时间！
·
昨天
今天看啥
›
专栏
›
斌叔OKmath
为了了解如何将大型模型的知识提炼为较小的模型，我在 pytorc-20240825073021
斌叔OKmath
·
微博
· · 2024-08-25 07:30
文章预览
2024-08-25 07:30 本条微博链接 为了了解如何将大型模型的知识提炼为较小的模型，我在 pytorch 中实现了它。 简单的笔记本代码、论文中的注释和下面的解释器。 👇 大纲： 1. 创建教师和学生模型的架构。 2. 训练教师模型 - 约 500 万个参数 3. 为了获得学生表现的基线，训练学生模型 - 约 12k 个参数 - 大小为 400 倍 4. 使用老师的软输出概率作为学生的指导，从老师那里提取知识 5.对优秀学生进行评价。 6. 有趣的是，比较一下 ………………………………
原文地址：
访问原文地址
快照地址：
访问文章快照
总结与预览地址：
访问总结与预览
分享到微博
推荐文章
成都本地宝
·
低至29.9元起！2025成都春节景区特惠活动（第一弹）
昨天
成都本地宝
·
成都怎么坐地铁去机场/火车站？附首末班车时间！
昨天
sundanjian
·
杠杆作图方法+技巧+练习
7 月前
Aires行记
·
雪货首发！600+住套房！
5 月前
