浏览器里的LLM: web-llm，高性能浏览器内 LLM 推理-20241001133218

文章预览

2024-10-01 13:32 本条微博链接 浏览器里的LLM: web-llm，高性能浏览器内 LLM 推理引擎 #ai# #程序员# 它通过硬件加速将语言模型推理直接引入 Web 浏览器。所有内容都在浏览器内运行，无需服务器支持，并通过 WebGPU 加速。 WebLLM与OpenAI API完全兼容。 也就是说，你可以在本地对任何开源模型使用相同的 OpenAI API ，其功能包括流式传输、JSON 模式、函数调用（WIP）等。 访问：github.com/mlc-ai/web-llm ChatGPT ………………………………