注册    登录
专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  斌叔OKmath

Apple 透露了 Apple Intelligence Fou-20240730080504

斌叔OKmath  · 微博  ·  · 2024-07-30 08:05
    

文章预览

2024-07-30 08:05 本条微博链接 Apple 透露了 Apple Intelligence Foundation 模型的秘密（见下文）： 架构： 密集 - 仅解码器变压器架构 RMSNorm 和查询/密钥规范化 GQA（带 8 KV 头） SwiGLU 激活和 RoPE（base_freq=500K 用于长上下文） 预训练和标记化： 通过 Applebot 抓取的网页（网络抓取） 代码和数学数据集（公开许可） BPE 标记器，服务器词汇量为 100K，设备词汇量为 49K 三步预训练： 核心（消耗大部分计算预算） AFM 服务器 - 6.3T 标记 ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
e公司  ·  A股突发！多家*ST公司，退市风险压顶
昨天
财新  ·  特稿｜患者寻药在路上，集采如何留一扇门？
昨天
计量经济圈  ·  在论文中总假说和渠道假说咋区分写, 在提总假说时总容易跟渠道假说重复, 难搞？
昨天
经济观察报  ·  那些“逃离”北京的年轻人又回来了
2 天前
第一财经  ·  A股又现“天价离婚”案！
3 天前
解螺旋  ·  美国学者4个月写16篇SCI？！复旦博士学姐熬夜整理了这套提示词模板，你学你也行！
6 月前
神嘛事儿  ·  当我看到这个数据的时候，确信了很多年前我对人造肉技术的判断，比尔-20240712000025
6 月前
国金证券研究  ·  【国金研究·周观点】维持看待本轮“反弹”行情偏乐观；缅甸供给扰动加剧，继续看多稀土磁材板块
3 月前
爱否科技  ·  9999 元起，三星心系天下 W25/W25 Flip 系列手机发布
2 月前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   51好读   ·   小百科（海外）   ·   Link管理
今天看啥 - 微信公众号rss订阅, 微信rss, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号