AMD 发布首个 10 亿开源 AI 模型 OLMo，用 Instinct MI250 GPU 集群训练而成

文章预览

11 月 8 日消息，AMD 公司于 10 月 31 日发布博文， 宣布推出首个完全开放的 10 亿参数语言模型系列 AMD OLMo ，为开发者和研究人员提供强大的 AI 研究工具。 AMD OLMo 模型使用从零开始训练的 10 亿参数语言模型系列（LMs），在 AMD Instinct™ MI250 GPU 集群上训练，使用了超过 1.3 万亿个 tokens 进行预训练，让模型在处理自然语言任务时具有强大的推理能力。 援引新闻稿，OLMo 模型采用解码器（decoder-only）架构，并通过下一个标记预测（next-token prediction）进行训练，这种架构在生成文本和理解上下文方面表现出色。 与其他同类开源模型相比，AMD OLMo 在推理能力和聊天能力上表现优异。尤其是在多个基准测试中，其性能与最新的 OLMo 模型相当，且计算预算仅为其一半。 OLMo 除数据中心使用外，更支持配备 NPU（Neural Processing Unit，神经处理单元）的 AMD Ryzen AI PC 能 ………………………………