ChatMol LLM 系列之 llama3-pmc

文章预览

ChatMol LLM 系列之  llama3-pmc 通过微调开源LLM，实现了利用规模较小的LLM根据指令生成PyMOL命令。 ChatMol通过将LLM引入计算生物学，改变了计算工具的交互方式。 ChatMol copilot 也被选为 ACL 2024 Language + Molecule的口头报告 。 目前ChatMol实现自然语言操作计算工具的核心是LLM，GPT-4o的快速响应和强大的能力使得ChatMol越来越强。然而不幸的是，OpenAI的API使用区域有限制，而且越发严格。 相比于闭源的商业模型，将较小的开源LLM应用于ChatMol面临很大的挑战。一方面 较小的开源LLM写PyMOL命令的能力非常有限 ，难以完成人类指令到PyMOL命令的准确翻译，而且受限于模型较小的问题，使用RAG不仅提升有限，还会产生幻觉。另一方面， LLM的本地推理会造成极大的使用障碍 ，远没有使用API方便。 llama3-pmc： 为了解决这个问题，我们推出了 llama3-pmc 模型。这个LLM使用llama3- ………………………………