深度 | 实测！开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？

文章预览

前不久，Google 发布了 Gemma 2，这是一个轻量级的大语言模型。 这些轻量级模型，继承了 Gemini 模型的技术，旨在打破技术壁垒，让AI的力量惠及更广泛的人群，成为AI民主化进程中的重要里程碑。 Gemma 2 有两个版本：90亿（9B）和270亿（27B）个参数，并支持 8K token 的上下文。Google 声称，这一模型的表现优于第一代Gemma模型，同时更加高效。Gemma 2还优化了必要的安全措施。27B 模型性能之强，足以与比它规模大两倍的模型相媲美，而且它还可以在单张 NVIDIA H100 Tensor Core GPU 或 TPU 主机上运行，能降低使用者的成本。 DigitalOcean 旗下的 GPU 云服务 Paperspace 正以经济实惠的方式提供 H100 和 A4000 等高性能GPU，让更多的研究者和开发者能够运行 Gemma 2 这类先进且轻量级的模型。借助Paperspace 建立于云上的基础设施，用户可以以低于传统基础设施成本，轻松地用到市 ………………………………