文章预览
在过去的十年中,深度监督学习取得了巨大的成功。但是,由于 它对手动标签的强依赖以及泛化性不足的缺点,促使人们寻求更好的 解决方案。 与此同时,在硬件快速增长的帮助下,今天的模型可以轻 松地训练上百万张图像并开始尝试训练数亿张图像数据。 然而,有监 督方法对数据有着人工标注的要求,从而造成了获取成本过高,因此 通过大规模有标签的数据来训练大规模通用预训练模型不现实。 此外, 即使是耗费大量人力物力获取标签,但是有标签的监督方法仍然会因 为人为疏漏造就错误标签(即使是 ImageNet 这种高质量数据集也存 在错误标签和混淆概念)。 图灵奖获得者 Yann LeCun 在演讲时表示,如果智能是一块蛋糕, 那么蛋糕的主体是无监督学习,蛋糕上的糖衣是监督学习,蛋糕上的 樱桃是强化学习,而人类对世界的理解主要来自于
………………………………