MLC-LLM: 具有ML编译的通用LLM部署引擎

文章预览

介绍 我们正处在大型语言模型和生成式人工智能的时代，其应用场景有可能改变每个人的生活。开放式大型语言模型为提供定制化和领域特定部署带来了重大机会。 我们正处在一个激动人心的开放模型开发年份。一方面，我们看到了在（云）服务器部署方面取得的令人振奋的进展，这些解决方案可以为具有多个GPU的更大模型提供同时服务的能力。同时，我们也开始看到在设备本地部署方面取得了进展，能够将性能强大的量化模型部署到笔记本电脑、浏览器和手机上。未来将会走向何方？我们相信未来是混合的，因此重要的是要使任何人都能在云端和本地环境中运行LLM。 许多LLM推断项目，包括我们过去版本的MLC LLM工作，为服务器和本地使用案例提供了不同的解决方案，具有不同的实现和优化。例如，服务器解决方案通常支持连续批处理和更好的多 ………………………………