基于阿里云函数计算（FC）x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践

文章预览

LLM Chat 应用大家应该都不陌生，这类应用也逐渐称为了我们日常的得力助手，如果只是个人使用，那么目前市面上有很多方案可以快速的构建出一个LLM Chat应用，但是如果要用在企业生产级别的项目中，那对整体部署架构，使用组件的性能，健壮性，扩展性要求还是比较高的。本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。 该最佳实践会指导大家基于开源WebChat组件LobeChat [ 1] 和阿里云函数计算（FC） [ 2] 构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent，也支持基于Ollama部署的开源模型场景。 生产级别应该具备哪些能力 Cloud Native LLM Chat应用是一个典型的前后端分离的应用，前端主要是Web Chat服务，后端是和向量数据库，LLM，其他下游服务交互的服务，也可以说是若干个Agent。我们分 ………………………………