新思路，基于Diffusion的初始化权重生成策略 | ECCV'24

文章预览

良好的权重初始化可以有效降低深度神经网络（ DNN ）模型的训练成本。如何初始化参数的选择是一个具有挑战性的任务，可能需要手动调整，这可能既耗时又容易出错。为了解决这些限制，论文迈出了建立权重生成器以合成神经网络初始化权重的创新一步。采用图像到图像的转换任务，使用生成对抗网络（ GAN ）作为示例，因为这方面的模型权重收集相对简单。 具体而言，首先收集了一个包含各种图像编辑概念及其对应训练权重的数据集，这些数据集随后用于权重生成器的训练。为了应对层之间的不同特性及需要预测的权重数量庞大，将权重划分为相等大小的块，并为每个块分配一个索引。随后，使用文本条件（即概念）和块索引的这种数据集来训练扩散模型。通过用扩散模型预测的去噪权重初始化图像转换模型，训练只需 43.3 秒。与从头开始 ………………………………