主要观点总结
本文讨论了作者在推进大型生成模型研究方面的努力，包括解决从现有数据中学习的瓶颈和超越现有知识发现的挑战。文章介绍了作者在多个领域的研究工作，如消除Transformer架构的上下文大小限制、大上下文在世界模型学习和决策中的应用、AI的数据发现和自主学习能力，以及下一代大型生成模型的展望。
关键观点总结
关键观点1: 消除Transformer架构的上下文大小限制
作者介绍了他们为消除Transformer架构的上下文大小限制所做的努力，包括BlockwiseTransformer和RingAttention建模和训练方法，这些努力允许在保持可扩展性的同时实现近乎无限的上下文大小。
关键观点2: 大上下文在世界模型学习和决策中的应用
作者讨论了Large World Model的应用，这是一个能够在百万个标记的上下文中同时对文本、图像和小时级视频进行建模的世界级人工智能模型。
关键观点3: AI的数据发现和自主学习能力
作者介绍了其研究工作，旨在让AI能够发现数据并自主学习，包括在无需人为指定领域知识的情况下学习游戏技能的研究，为超越模仿现有数据的学习铺平了道路。
关键观点4: 下一代大型生成模型的展望
作者提出了对下一代大型生成模型的展望，重点包括高效扩展、推理以及在一般领域中的发现能力的进展。
关键观点5: 数据派THU的介绍
作为数据科学类公众号，数据派THU背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态，并建设数据人才聚集平台、打造中国大数据最强集团军。同时提到了其在多个社交媒体平台的存在。
文章预览
来源：专知 本文 约1000字 ，建议阅读 5 分钟 在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。 大型生成模型带来了惊人的成果，并彻底改变了人工智能。在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。首先，我将描述我们为消除Transformer架构的上下文大小限制所做的努力。我们的建模和训练方法，包括BlockwiseTransformer和RingAttention，允许在保持可扩展性的同时实现近乎无限的上下文大小。接下来，我将讨论大上下文在世界模型学习和决策中的应用。这包括Large World Model，这是世界上首个人工智能，能够在百万个标记的上下文中同时对文本、图像和小时级视频进行建模。然后，我将介绍我的研究，旨在让AI
………………………………
