Gemma 2 实例分享 | 使用 Dataflow 流式传输 ML 内容

文章预览

作者 / Reza Rokni, Google Senior Staff, Dataflow, Ravin Kumar, Google Data Scientist. Language Applications Gemma 2   是 Google 最先进的轻量级开放模型系列，采用了与创建 Gemini 模型相同的研究和技术。像 Gemma 这样的大语言模型 (LLM) 用途广泛，为业务流程提供了诸多的集成可能性。本篇文章探讨了如何使用 Gemma 来评估对话传达出的 情绪 ， 总结 对话的内容，并协助为复杂对话生成响应 (之后可以再由人工审批)。其中一个关键要求是，表达了有急切需求的用户可以近乎实时地得到回应，这意味着我们需要利用流式数据流水线，从而以最低的延迟使用 LLM。 Gemma Gemma 2 将大小与性能优势相结合 ，可以实现出色的基准结果，甚至比一些大模型更为出色。模型的小尺寸架构使其能够直接在流式数据处理流水线上部署或嵌入模型，并具有以下优势: 数据局部性，使用本地工作调用 ………………………………