安卓手机部署大模型实战

文章预览

本文作者系360奇舞团前端开发工程师 前言 自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。 由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷纷发挥想象力尝试各种prompt与模型对话的时候，我们也注意到在一些应用场景中，出于定制化、个性化或者隐私性的目的，人们想要自己在各种终端设备中本地运行大语言模型，不需要/不希望连接互联网或者依赖于服务器，例如 1、智能汽车的终端可以对驾驶员的操作习惯定制化 2、智能家居的终端可以对户主的生活习惯定制化 3、手机游戏，或者主机游戏中NPC的对话可以 ………………………………