主要观点总结
LLMxMapReduce团队提出了一种新的技术，打破了大模型的记忆限制，实现了上下文长度的无限稳定拓展。该技术通过将长文本切分为多个片段，让模型并行处理，并从不同片段中提取关键信息，然后汇总成为最终答案。团队提出了结构化通信协议和上下文置信度校准机制，以更好地处理跨片段信息和冲突。实验结果表明，该方法在处理长文本方面表现出卓越的能力，且在速度方面也有优势。
关键观点总结
关键观点1: 技术原理
LLMxMapReduce技术通过将长文本切分为多个片段，利用大模型的并行处理能力，从每个片段中提取关键信息，并最终汇总成答案。它解决了大模型处理长文本时的记忆限制问题。
关键观点2: 结构化通信协议
为了解决跨片段依赖和冲突的问题，LLMxMapReduce团队提出了结构化通信协议。该协议让模型在处理每个片段时输出包含丰富相关信息的结构体，以便在汇总阶段更好地处理跨片段信息。
关键观点3: 上下文置信度校准机制
为了解决跨片段冲突的问题，LLMxMapReduce还提出了上下文置信度校准机制。该机制让模型根据各个片段的置信度来汇总信息，从而更好地处理冲突信息。
关键观点4: 实验结果
实验结果表明，LLMxMapReduce技术在处理长文本方面表现出卓越的能力。结合Llama3-70B-Instruct模型的LLMxMapReduce框架在测试中取得了超越其他模型和分治策略的成绩。此外，该技术还展现出较强的通用性，在结合其他模型时也取得了优异的成绩。
关键观点5: 速度优势
由于LLMxMapReduce技术利用了分段并行处理，实验结果显示其处理速度比标准解码更快。此外，结构化通信协议和上下文置信度校准机制不影响框架的并行推理，因此在速度方面具有优势。
文章预览
LLMxMapReduce团队 投稿 量子位 | 公众号 QbitAI 大模型的记忆限制被打破了，变相实现“无限长”上下文。 最新成果，来自清华、厦大等联合提出的 LLMxMapReduce长本文分帧处理 技术。 LLMxMapReduce技术通过将长上下文切分为多个片段，可以让模型并行处理多个片段，并从不同片段中提取关键信息，然后汇总成为最终的答案。 特别地，团队提出结构化通信协议和上下文置信度校准机制，实现对跨片段信息更有效的处理。这项技术可以打破大模型的记忆限制，实现上下文长度无限稳定拓展。 LLMxMapReduce技术可作为 大模型的长文本上分神器 ——它对大模型长文本能力具有普遍增强作用，且在文本不断加长的情况下，仍能保持稳定性能、减少长文本的掉分情况。 比如结合了LLMxMapReduce框架之后的Llama3-70B-Instruct x MapReduce模型得分超越了包含Kimi、GPT-4在内的知名闭源
………………………………
