使用Llama3.1 (405B & 8B) 创建编码助手代替Github Copilot（本地、免费&快速）

主要观点总结

本文介绍了如何使用两种不同的方法使用Llama 3.1模型，分别是通过Ollama和Groq插件来结合开源编码助手Continue使用。文章还提到了Groq提供的免费且快速的API接口，以及其他可用的开源模型和工具，如GPT-4o-mini、Qwen2等。此外，文章还讨论了如何将这些API集成到个人终端和推荐了一些相关资源链接。

关键观点总结

关键观点1: 介绍如何使用Llama 3.1模型

通过Ollama和Groq插件结合Continue编码助手使用Llama 3.1模型。需要下载插件并配置API key，选择相应的模型即可开始使用。

关键观点2: Groq提供的免费快速API接口

Groq提供了一个免费且快速的API接口，支持不少开源模型。但需注意速率限制。

关键观点3: 其他可用的开源模型和工具

除了Llama 3.1模型，文章还提到了其他可用的开源模型和工具，如GPT-4o-mini、Qwen2等。

关键观点4: API集成到个人终端

个人终端也支持集成这些大模型，可以将API配入Shellgpt。

关键观点5: 推荐资源链接

文章提供了一些相关资源链接，包括shellgpt、continuedev等，并鼓励读者关注并分享文章。

文章预览

Aitrainee | 公众号：AI进修生 AI编码助手我现在用的是这个 但是想用用Llama3.1咋办？ 介绍两种办法：Ollama、Groq。 我们使用Continue这个开源编码助手。 先下载插件 点击插件，就可以看到它支持Ollama和Groq等等LLM厂商 我们知道Groq提供免费且快速的api接口，且支持不少开源模型， 但是有些速率限制 到Groq官网这来创建一个API key  API Key粘贴到这 点击设置， 点击更改模型为：llama-3.1-70b-versatile（Groq的405B还用不了目前） 然后就可以聊天了 然后它下面还有代码补全模型的配置，我们使用Ollama下载llama3.1（默认8B的） 改一下 可以了 对了，如果你想使用405b的话， T ogether .AI 目前提供25美元的免费额度 并且Continue也支持Together.AI 除此以外，你如果想要个人终端也支持这些大模型的话，也可以把这些api配入Shellgpt 这篇文章有介绍： GPT-4o-mini + Qwen2 + ContinueDev：一 ………………………………