专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
今天看啥  ›  专栏  ›  歸藏的AI工具箱

Ollama 的两个大更新:#ai# 1)并行处理请求,每个请-20240709104527

歸藏的AI工具箱  · 微博  ·  · 2024-07-09 10:45
    

文章预览

2024-07-09 10:45 本条微博链接 Ollama 的两个大更新: #ai# 1)并行处理请求,每个请求只需占用少量额外内存。 2)支持同时加载不同的模型,模型会根据请求和GPU内存的使用情况自动进行加载和卸载。 这样的话就可以支持同时处理多个聊天会话以及涉及多个模型的智能体。 感觉可能会有搭配 Ollama 的本地智能体工具出现了。 歸藏的AI工具箱的微博视频 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览