【牛津大学博士论文】将归纳偏差融入机器学习算法，146页pdf

文章预览

近年来，人工智能（AI）领域取得的重大进展，已经超越了五年前的想象。如今，我们可以通过指令让基于扩散的模型从人类描述中生成高质量的视频，或者通过提示大型语言模型（LLMs）来协助写作、翻译，甚至进行数学推理。这些非凡的能力源于在大量数据上训练的超大规模深度学习模型。然而，我们并不总是拥有足够的数据。在一些任务中，比如数学推理或分子生成，可用的数据非常有限。此外，尽管当前的大型语言模型几乎利用了互联网上的所有数据，它们仍然不完美。因此，在难以增加训练数据量的情况下，如何提高AI系统的性能成为了一个关键问题。 在本论文中，我们从归纳偏差的角度解决这一挑战。具体来说，我们研究如何有效利用人类对数据或任务的知识来优化机器学习算法的行为，而不需要额外的数据。我们首先将简要回顾归纳 ………………………………