谷歌开源Gemma-2：参数小，同类性能最佳之一

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 6月28日，谷歌在官网宣布开源最新大模型Gemma 2，专门面向研究和开发人员。 据悉，Gemma 2一共有9B和27B两种参数（还有一个2.6B没介绍），与上一代相比性能大幅度提升，但部署要求却大幅度下降只需要一块NVIDIA H100 Tensor Core GPU或TPU主机就能使用。 在同类小参数模型中，Gemma 2超过了Llama-3 8B、等知名模型，性能逼近Qwen1.5成为同类最佳模型之一。 开源地址：https://www.kaggle.com/models/google/gemma-2 在线使用：https://aistudio.google.com/app/prompts/new_chat?model=gemma-2-27b-it Gemma 2的架构在上一代的基础之上进行了全方位改良，使用了局部滑动窗口注意力和全局注意力，其中局部注意力层的滑动窗口大小设置为4096个tokens ………………………………