探索 M4 Max 在大模型上的性能

文章预览

点击下方 卡片 ，关注“ 慢慢学AIGC ” “据说可以处理 200B 大模型的 MacBook Pro”  作者：Sean Vosler Apple 刚刚推出了全新的 MacBook Pro，声称其配备的 128 GB 显存和全新 M4 Max 芯片“能够轻松处理拥有 2000 亿参数的大模型”。这意味着什么呢？通过适当配置，你可以在本地（甚至是移动）加载最为复杂的大模型（LLM），并进行各种有趣的交互。 请记住，在模型参数上“更大并不总是更好”；如今的 80 亿参数模型在某些情况下甚至可以超过 6 个月前的 1000 亿参数模型，尤其是在上下文窗口利用率上。而对于中等规模的模型而言，这种强大性能是一个变革性因素……基本上，使用一个合理强大的模型（例如 Minstral 8B），你可能可以充分利用其 128k 的上下文窗口——可以在提示中包含数百页的文本，并以合理的交互速率（T/S）与之交互。 简单来说， 本地 LL ………………………………