文章预览
本文来自社区投稿，作者 Tim MLC-LLM 是一个机器学习编译器和高性能大型语言模型部署引擎。该项目的使命是让每个人都能在自己的平台上开发、优化和部署 AI 模型。 InternLM 2.5 是上海人工智能实验室发布的新一代大规模语言模型，相比于之前的版本，InternLM 2.5 支持百万长文，推理能力开源领先。 本文将带大家手把手使用 MLC-LLM 将 InternLM2.5-1.8B-Chat 部署到安卓手机上。 https://github.com/InternLM/InternLM （文末点击阅读原文可直达， 觉得好用欢迎 star） 首先我们来看一下最终的效果～ 1. 环境准备 1.1 安装 rust 可参考 https://forge.rust-lang.org/infra/other-installation-methods.html#which 此处使用了国内的镜像，如下列命令，当出现选项时选择 Enter 安装。 export RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-static export RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/rust-static/rustup curl --pro
………………………………
