ChatGPT真实的上下文长度是多少？不是128K！

文章预览

上下文长度是衡量AI模型/工具的一个重要指标。从表面上来看，它决定了模型能够记住多少信息，从本质上来看，它决定了信息的连贯性和AI的深度理解能力。这也是为什么国内的AI厂商在2024年初掀起了一波“卷”上下文长度的风潮。比如Kimi Chat本身就支持20万汉字上下文，后又开启了200万字上下文的内测（目前还在内测中...）；以及阿里的通义千问在3月免费向所有用户开放了1000万字长文档处理功能（是的，你没有看错，就是1000万）。 那么，问题来了，引领了生成式AI浪潮的 ChatGPT 上下文长度是多少？ 可能会有小伙伴下意识的回答出“128K”这个答案，因为 GPT-4 系列模型，不论是 GPT-4 Turbo ，还是最新的 GPT-4o 模型的上下文长度都是128K tokens。 但这其实是一个误区 。 GPT-4 模型的上下文长度是128K tokens这完全没有问题，但ChatGPT是一个建立在 GPT-4 模型 ………………………………