【构建生成式AI平台】- 构建生成式AI平台通常需要以下组件： -20240726091450

文章预览

2024-07-26 09:14 本条微博链接 【构建生成式AI平台】 - 构建生成式AI平台通常需要以下组件： - 提高上下文质量，如使用检索增强生成(RAG)技术从外部数据源获取相关信息。 - 加入警戒装置，如输入输出守护，避免泄密和系统被攻破。 - 添加模型路由器和网关，用于处理多模型流程和安全性。 - 使用缓存技术减少延迟，如提示缓存、完全缓存和语义缓存。 - 增加复杂逻辑和写操作，扩展系统功能。 - 可观测性 ………………………………