云原生周刊：基于 KubeSphere LuBan 架构打造 DeepSeek 插件

文章预览

开源项目推荐 KubeAI [1] KubeAI 是一个 K8s 上的 AI 推理操作器，旨在简化在生产环境中部署和管理大型语言模型（LLM）、向量嵌入和语音处理等机器学习模型。它提供与 OpenAI 兼容的 API，支持在 CPU 和 GPU 上运行，并具备按需自动扩缩容的能力。 KubeAI 无需依赖 Istio、Knative 等其他系统，能够在几乎任何 K8s 集群中开箱即用。此外，它内置了模型代理，优化了键值缓存利用率，从而显著提升系统性能。KubeAI 还提供了预配置的流行模型目录，支持 LoRA 微调和模型缓存，简化了模型的部署和管理。 Spark Operator [2] Spark Operator 是一个 K8s 原生的开源项目，旨在简化 Apache Spark 作业在 K8s 集群上的部署和管理。它利用 K8s 的自定义资源（CRD）来定义和管理 Spark 应用，使用户能够以声明式方式提交、监控和管理 Spark 作业，而无需手动配置复杂的 K8s 资源。该项目支持 ………………………………