专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
今天看啥  ›  专栏  ›  歸藏的AI工具箱

Meta 的新论文,如何在移动智能设备上运行 十亿参数以下的 L-20240709120007

歸藏的AI工具箱  · 微博  ·  · 2024-07-09 12:00
    

文章预览

2024-07-09 12:00 本条微博链接 Meta 的新论文,如何在移动智能设备上运行 十亿参数以下的 LLM 。 #ai# 他们提出了一系列方法在移动设备上保持较小模型参数的同时显著提升了模型性能。 论文要点有: 对于小型模型,深度比宽度更重要,采用"深而窄"的架构设计。 利用嵌入共享、分组查询注意力等技术可以提高模型参数利用率。 提出了相邻块之间的权重共享方法,在不增加模型大小的情况下进一步提升性能。 论文地址: 网页 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览