服了，昨天跑大模型，我绕了个大弯路

文章预览

昨天真是绕了个大弯路，浪费了我半天时间。怎么回事呢？我来写写。 上周，墨问正式上线了 AI 语音笔记，用户反馈很不错，我们也很开心。在我的构想中，墨问的 AI 功能应该润物细无声般地融入到原有的场景，给用户提供全新的体验。从这个角度出发，我们会研发一系列的 AI 特性。 最新的 AI 功能已经在讨论中，考虑到数据隐私，我们计划自己部署一个开源模型。 近半个来月，Llama 3.1 和 Mistral Large 2 等开源模型声势浩荡，媒体报道说它们在某些方面的能力可以匹敌最强闭源模型。昨天下午不忙，这事又足够重要，所以我决定自己上手测试一把，看看效果，也借机调研下模型微调的具体流程以及成本，这样后面和团队讨论的时候能够更聚焦。 但想部署 Llama 3.1 70B，我的 MacBook 带不起来，它对显存的要求太高了。于是，很自然的，我又开始折腾购 ………………………………