从2021年多篇顶会论文看OOD泛化新理论、新方法和新讨论

©PaperWeekly 原创 · 作者 | 张一帆学校 | 华南理工大学本科生研究方向 | CV，CausalityarXiv 2021论文标题：Towards a Theoretical Framework of Out-of-Distribution Generalization论文链接：https://arxiv.org/abs/2106.04496这篇文章应该是今年投稿 NeurIPS 的文章，文章贡献有两点：在 OOD 泛化受到极大关注的今天，一个合适的理论框架是非常难得的，就像 DA 的泛化误差一样；本文通过泛化误差提出了模型选择策略，不单纯使用验证集的精度，二十同时考虑验证集的精度和在各个 domain 验证精度的方差。1.1 Preliminary先来看一看 OOD 经典的问题建模，考虑一个多分类问题 。用 表示可见的训练集，以及所有集合。 表示输入-标签组，OOD 泛化问题就是要找一个分类器 来最小化 worst-domain loss：这里的 是假 ………………………………