可控细节的长文档摘要，探索开源LLM工具与实践

文章预览

本文的想法来自今年OpenAI cookbook的一篇实践：summarizing_long_documents，目标是演示如何以可控的细节程度总结大型文档。 如果我们想让大语言模型总结一份长文档（例如 10k 或更多tokens），但是直接输入大语言模型往往会得到一个相对较短的摘要，该摘要与文档的长度并不成比例。例如，20k tokens的文档的摘要不会是 10k tokens的文档摘要的两倍长。本文通过将文档分为几部分来解决这个问题，然后分段生成摘要。在对大语言模型进行多次查询后，可以重建完整的摘要。通过控制文本块的数量及其大小，我们最终可以控制输出中的细节级别。 本文使用的工具和模型如下： 大语言模型：Qwen2的GGUF格式模型 工具1：Ollama，将大语言模型GGUF部署成OpenAI格式的API 工具2：transformers，使用transformers的新功能，直接加载GGUF格式模型的tokenizer，用于文档长度查询和分段 ………………………………