陈天奇团队LLM结构化生成新引擎XGrammar：百倍加速、近零开销

文章预览

机器之心报道 编辑：Panda、杜伟 现在，大语言模型的结构化生成有了一个更加高效、灵活的引擎。 不管是编写和调试代码，还是通过函数调用来使用外部工具，又或是控制机器人，都免不了需要 LLM 生成结构化数据，也就是遵循某个特定格式（如 JSON、SQL 等）的数据。 但使用上下文无关语法（CFG）来进行约束解码的方法并不高效。针对这个困难，陈天奇团队提出了一种新的解决方案：XGrammar。 XGrammar 是一个开源软件库，可实现高效、灵活且可移植的结构化生成。该团队在博客中表示：「我们毫不妥协地实现了这三个目标，并致力于一个核心使命：将灵活、零开销的结构化生成带到任何地方。」 论文标题：XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models 论文地址：https://arxiv.org/pdf/2411.15100 代码地址：https://github.com/mlc-ai/xgrammar 对 ………………………………