老黄不止卖铲子了：英伟达配合Llama3.1推出定制模型、推理服务

文章预览

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 芯片巨头 英伟达 ，在AI时代一直被类比为在淘金热中 “卖铲子” 的背后赢家。 现在他不装了，也要亲自下场 “挖金矿” ： 配合最强开源大模型Llama3.1，推出NVIDIA AI Foundry和NVIDIA NIM推理微服务两大新业务。 Foundry在芯片行业指“铸造厂”，比如台积电制造其他公司设计的芯片。 NVIDIA AI Foundry ，代表英伟达可以定制化制造大模型了： NVIDIA AI Foundry 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成式AI模型服务。 NVIDIA NIM 在年初的GTC大会上首次亮相，使用几行代码就可以在云、数据中心、工作站和PC上部署AI模型。 现在则又新加一个标签：将Llama 3.1模型部署到生产中的最快途径， 吞吐量最多可比不使用NIM运行推理时高出2.5倍 。 为什么在这个时间点出手？ 黄仁勋表示 ：“Meta的Llama 3.1开源 ………………………………