专栏名称: 玩转VS Code
编程开发,业界资讯,以及 VS Code 的热门文章、使用技巧、插件推荐、插件开发攻略等,全部都可以在这里找到。带你玩转 VS Code!
目录
相关文章推荐
今天看啥  ›  专栏  ›  玩转VS Code

手机流畅运行470亿大模型:上交大发布LLM手机推理框架PowerInfer-2,提速29倍

玩转VS Code  · 公众号  ·  · 2024-06-12 13:53
    

文章预览

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 苹果一出手, 在手机等移动设备上部署大模型 不可避免地成为行业关注焦点。 然而,目前在移动设备上运行的模型相对较小 (苹果的是3B,谷歌的是2B) ,并且消耗大量内存,这在很大程度上限制了其应用场景。 即使是苹果,目前也需要与OpenAI合作,通过将云端GPT-4o大模型嵌入到操作系统中来提供能力更强的服务。 这样一来,苹果的混合方案引起了非常多 关于数据隐私的讨论和争议,甚至马斯克都下场讨论 。 如果苹果在操作系统层面集成OpenAI,那么苹果设备将被禁止在我的公司使用。这是不可接受的安全违规行为。 既然终端侧本地部署大模型的方案既让手机用户享受到AI强大的智能,又能保护好自己的隐私安全,为什么苹果还要冒着侵犯隐私的风险选择联手OpenAI采用云端大模型呢?主要挑战有两点: ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览