注册
登录
专栏名称:
机器学习研究组订阅
连接人工智能技术人才和产业人才的交流平台
我也要提交微信公众号
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
微信公众号RSS订阅方法
B站投稿RSS订阅方法
微博RSS订阅方法
微博搜索关键词订阅方法
豆瓣日记 RSS订阅方法
目录
相关文章推荐
爱可可-爱生活
·
[CL]《Do Large ...
·
8 小时前
宝玉xp
·
曾经很多人认为“提示工程师”会是未来一个重要 ...
·
10 小时前
爱可可-爱生活
·
《爱可可微博热门分享(12.20)》 ...
·
2 天前
黄建同学
·
据OpenRouterAI,Google ...
·
3 天前
机器之心
·
微调时无需泄露数据或权重,这篇AAAI ...
·
4 天前
今天看啥
›
专栏
›
机器学习研究组订阅
DeepMind研究成本大起底,一篇ICML论文烧掉1290万美元
机器学习研究组订阅
·
公众号
·
AI
· 2024-08-03 18:12
文章预览
发一篇顶会论文,需要多少实验预算? 最近,DeepMind发表了一项研究,对LLM扩大规模时各种算法和架构细节,比如参数和优化器的选择,进行了广泛的实证调查。 这篇论文已被ICML 2024接收。 论文地址:https://arxiv.org/abs/2407.05872 63页的论文涵盖了数以万计的模型,备选方案包括3种优化器、4种参数化方案、几种对齐假设、十多个学习率,以及最高达26.8B的14种参数规模。 需要进行实验的4种参数化方案 仅仅听到这些数字,就不难知道,这项研究必定涉及海量的模型运行实验。 而有一位忠实读者,为了测试自己对论文内容的理解,统计了其中进行的所有实验,并估算出了复现论文的成本。 将所需算力全部加在一起,林林总总,居然达到了惊人的1290万美元。 考验基本功的时刻到了,假如你是研究团队的leader,根据实验计划对所需算力和成本进行预估是 ………………………………
原文地址:
访问原文地址
快照地址:
访问文章快照
总结与预览地址:
访问总结与预览
分享到微博
推荐文章
爱可可-爱生活
·
[CL]《Do Large Language Models De-20241223053040
8 小时前
宝玉xp
·
曾经很多人认为“提示工程师”会是未来一个重要的职业,但现在看来,-20241223025033
10 小时前
爱可可-爱生活
·
《爱可可微博热门分享(12.20)》 爱可可微博热门分享(12-20241220221514
2 天前
黄建同学
·
据OpenRouterAI,Google Gemini 在开发者-20241219215958
3 天前
机器之心
·
微调时无需泄露数据或权重,这篇AAAI 2025论文提出的ScaleOT竟能保护隐私
4 天前
深港易汇
·
【反向选品】Etsy的暗黑美学惊悚老人熊,居然卖的这么火爆?
4 月前
手游出海
·
游戏出海越南必看:提供越南游戏版号申请服务,越南本土团队交付!(1022更新)
2 月前
中国化工信息周刊
·
宣布重启
1 月前