一口气读完马斯克 8 小时访谈，bigmodel 居然能搞定 100 万长文本。。。

文章预览

最近，公司 业务上对长文本的需求显著增加，因为在 prompt 中需要塞入大量的 RAG 内容，供决策使用。这些召回的内容都有可能在决策过程中被用到，因此对大模型处理长文本的能力提出了更高的要求。在技术选型时，特别需要重点考察模型在处理长文本方面的表现。 在总结收集各家大模型的“长文本”能力时， 测试了市面上几款主流大模型，我发现它们普遍存在两个主要不足： 首先，有些模型能够处理的文本长度仍然有限。尽管某些大模型已将文本处理能力提升至 20 万字，但面对像《红楼梦》这样接近百万字的名著，仍然需要多次处理才能完整“阅读”完毕。 其次，这些模型的语言理解和生成能力尚显不足，常常会出现“幻觉”现象。“长文本”的挑战不仅在于字数的庞大，还涉及复杂的逻辑关系和文本语义的连贯性，因而需要更为流畅、紧 ………………………………