复旦发布Bora：生物医学通用视频生成模型 | H2O-Danube 3 发布技术报告....

文章预览

前言： 看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货”哦！ 1. H2O-Danube3技术报告   标题： H2O-Danube3 Technical Report   相关领域： 模型结构改进、预训练   作者： Pascal Pfeiffer,  Philipp Singer,  Yauhen Babakhin   分析： 论文介绍了H2O-Danube3系列小型语言模型，包括在6T标记上训练的H2O-Danube3-4B和在4T标记上训练的H2O-Danube3-500M。这些模型以高质量的网络数据预训练，并在三个阶段使用不同的数据混合比例进行训练，最终进行聊天版本的监督微调。模型在学术、聊天和微调基准测试方面表现出高度竞争力。因其紧凑的架构，H2O-Danube3可在现代智能手机上有效运行，实现本地推理和快速处 ………………………………