专栏名称: 手机晶片达人
IC design 25 years from 1st Pipeline burst SRAM @Pentium
目录
相关文章推荐
舜网  ·  iPhone ... ·  5 小时前  
舜网  ·  iPhone ... ·  5 小时前  
九派新闻  ·  iPhone ... ·  6 小时前  
九派新闻  ·  iPhone ... ·  6 小时前  
科技美学  ·  OPPO Find X8 ... ·  17 小时前  
科技美学  ·  OPPO Find X8 ... ·  17 小时前  
海峡都市报  ·  刚刚,iPhone ... ·  2 天前  
海峡都市报  ·  刚刚,iPhone ... ·  2 天前  
今天看啥  ›  专栏  ›  手机晶片达人

在FP8 TensorCore上模擬FP4如開頭所述,在相同超引-20250205065731

手机晶片达人  · 微博  ·  · 2025-02-05 06:57
    

文章预览

2025-02-05 06:57 本条微博链接 在FP8 TensorCore上模擬FP4 如開頭所述,在相同超引數的設定下,作者的方法可以達到與BF16的訓練效果。 具體來說,在1.3B、7B和13B的LLaMA模型上,從0到1千萬Tokens的訓練過程中,作者的FP4訓練與BF16的損失曲線基本一致。 网页链接 网页链接 首個FP4精度的大模型訓練框架來了,來自微軟研究院! 在相同超引數的設定下,可以達到與FP8以及BF16相當的訓練效果。 這意味著所需的儲存和計算資源可以更少 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览