大模型知识密度定律｜SPP第110期

文章预览

2018年以来大模型规模不断增大、产生智能涌现，验证了OpenAI提出的模型规模法则（Scaling Law），特别是ChatGPT的推出引发全世界对大模型技术的关注。面向未来，大模型的发展趋势是什么，是不断增加模型参数规模以追求更多能力涌现吗？本报告发现，过去大模型在印证规模法则的同时还呈现知识密度持续增强的规律，可称为大模型知识密度定律。我们认为面向未来，我们更应从模型架构、成长算法和数据治理等方面不断改进模型制造工艺，提升模型制程，保证大模型知识密度定律的可持续，这将为我们揭示端侧智能的巨大潜力。欢迎参与本期 SPP：10月30日（本周三）19:30—21:00。 本期直播你将收获哪些 1、了解大模型技术在人工智能发展史上的重要意义； 2、理解大模型技术未来的重要发展趋势。 演讲嘉宾 刘知远 CCF高级会员，清华大学长聘副教授 ………………………………