1p-frac：已开源，仅用单张分形图片即可媲美ImageNet的预训练效果 | ECCV 2024

文章预览

分形几何是一个数学分支，主要应用于作图方面。一般来说，分形经过无数次递归迭代后的结果。比如取一条线段，抹去中间的三分之一，会得到长度是原三分之一长的两条线段，中间隔着相同长度的间隙。然后重复这个动作，直到所有的线段都被抹掉，就将会得到被以固定模式出现的间隙隔开的无限多的点，这就是康托尔集合。 目前有许多研究通过生成分形图像进行模型的预训练，完全不用真实图片甚至训练图片与下游任务完全不相干的，也能达到大规模数据集的预训练效果。 论文寻找一个最小的、纯合成的预训练数据集，这个数据集能够实现与 ImageNet-1k 的 100 万张图像相当的性能。论文从单一的分形中生成扰动来构建这样的数据集，仅包含 1 张分形图片。 来源：晓飞的算法工程笔记 公众号 论文: Scaling Backwards: Minimal Synthetic Pre-training? 论文地 ………………………………