玩转 Gemma 2，模型的部署与 Fine-Tuning

文章预览

以下文章来源于谷歌云服务，作者 Google Cloud 作者 / 曹治政，Google Cloud 解决方案架构师 Google 近期发布了最新开放模型 Gemma 2，目前与同等规模的开放模型相比，取得了明显的优势，同时在安全可控性上得到了显著的增强。 Gemma 2 提供了 9B 以及 27B 两种参数规模的选择，同时分别提供了预训练模型 (Gemma 2-9B/Gemma 2-27B) 与指令微调模型 (Gemma 2-9B-it/Gemma 2-27B-it)，优异的性能表现原自 Gemma 2 在训练阶段的各项技术创新。 Gemma 2 支持 8192 tokens 的上下文长度，同时使用了旋转位置编码 (RoPE)。Gemma 2-9B 在 Google TPUv4 上训练而成，Gemma 2-27B 在 Google TPUv5p 上训练而成。 作为开放模型，用户目前可以在 Hugging Face 以及 Kaggle 上免费获取模型权重。 1 用户可以选择先把模型下载到本地或者云端共享存储，然后将模型部署至推理框架上。 2 也可以选择在部署模型的过程中 ………………………………