计图开源：面向大规模非凸双层优化问题的一阶非嵌套高效算法

文章预览

近年来，大规模深度学习技术在多个领域展现出强大的应用潜力。然而，复杂深度学习任务往往存在多任务耦合关系。这种耦合关系不仅体现在子任务之间的相互依赖（如跨场景适应和多任务迁移），还体现在网络结构优化和超参数选择等方面。双层优化是一类用于建模耦合优化问题的数学工具，它提供了一个统一的视角来挖掘复杂学习任务中的多任务耦合的本质规律。 双层优化包含上下两个层次的优化，上层优化问题依赖于下层优化问题的最优解，且上下层的优化变量相互作用，导致理论分析与数值计算均面临挑战。现有的双层优化理论对下层单点的严格依赖（即最优解唯一），限制了算法的应用范围。此外现有算法通常依赖嵌套迭代和高阶梯度，导致计算代价高昂。由于神经网络结构和参数空间的复杂性，关于深度学习的优化问题通常是非凸 ………………………………