限制LLM性能的，是输出长度

文章预览

视频号：黄益贺 YouTube / Medium: huangyihe 以下为视频内容的文字版 我一直很不理解，怎么所有大模型厂商都在卷上下文长度，但就是没人关注输出长度。 现在要是发个新版本的模型，没个128K的上下文窗口，你都不好意思跟人打招呼。但是，模型的输出长度，也就是一次最多能回复多少字，好像有点停滞不前——两三千字就顶天了。 我拿ChatGPT和Claude做了个测试。我的需求是： 请帮我撰写一个主题为「黑神话·悟空」玄幻小说。小说以孙悟空为核心，讲述一个天庭腐败不堪、祸害三界，孙悟空与妖怪兄弟对抗天庭、拯救苍生的玄幻故事，不少于10000字。 ChatGPT的表现让我非常不满。 丫一上来就摆烂，说什么写10000字太费劲，只能帮我写一部分内容，以及给个大框架，剩下的还是得我自己来。 现在的AI都这么像打工人了吗？ 当我要求它继续往下写的时候 ………………………………