ICLR 2022杰出论文奖出炉！清华、人大获奖，浙大提名-技术圈

Datawhale干货

编辑：陈萍、小舟，来源：机器之心

ICLR 2022 公布获奖名单，杰出论文奖有 7 篇，3 篇获得杰出论文荣誉提名。

ICLR 2022 杰出论文奖已公布！今年共有 7 篇论文因其出色的条理性、洞察力、创造力和持久的影响力而被选为杰出论文奖。此外，ICLR 2022 还公布了 3 篇杰出论文荣誉提名。

今年年初，ICLR 2022 放出了本届会议的论文接收结果：共有 54 篇 Oral（口头报告）论文和 176 篇 Spolight 论文，论文接收总数 1095 篇，最终投稿量 3391 篇，论文接收率 32.3%。

现在，ICLR 2022 官方从 1095 篇接收论文中挑选出了 7 篇杰出论文，获奖论文作者分别来自清华大学、中国人民大学高瓴人工智能学院、谷歌研究院、安特卫普大学、斯坦福大学、康奈尔大学、多伦多大学、DeepMind 等机构。其中张钹院士、朱军教授的论文《ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS 》获得杰出论文奖。

杰出论文

论文 1：ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS

作者：Fan Bao 、李崇轩、朱军、张钹
机构：清华大学、中国人民大学高瓴人工智能学院等
论文链接：https://openreview.net/pdf?id=0xiJLKH-ufZ

获奖理由：扩散概率模型（Diffusion probabilistic model，DPM）是一类强大的生成模型，是机器学习中一个快速发展的话题。本文旨在解决 DPM 模型的固有局限性，这种局限性为 DPM 中最优反向方差的计算缓慢且昂贵。作者首先给出了一个令人惊讶的结果，即 DPM 的最优反向方差和相应的最优 KL 散度都有其得分函数的解析形式。之后他们提出了新颖而优雅的免训练推理框架：Analytic-DPM，它使用蒙特卡罗方法和预训练的基于得分模型来估计方差和 KL 散度的分析形式。

这篇论文在理论贡献（表明 DPM 的最优反向方差和 KL 散度都具有解析形式）和实际益处（提出适用于各种 DPM 模型的免训练推理）方面都很重要，并且很可能影响未来对 DPM 的研究。

论文 2：Hyperparameter Tuning with Renyi Differential Privacy

作者：Nicolas Papernot、Thomas Steinke
机构：谷歌研究院
论文链接：https://openreview.net/pdf?id=-70L8lpp9DF

获奖理由：本文对学习算法差分隐私分析的一个重要盲点提供了新的见解，即学习算法在数据上进行多次运行以调优超参数。作者指出，在某些情况下，部分数据可能会扭曲最优超参数，从而泄露私人信息。此外，作者在 Renyi 差分隐私框架下为超参数搜索过程提供了隐私保障。

这是一篇优秀的论文，考虑了学习算法的日常使用及其对社会隐私的影响，并提出了解决方案。这项工作将为差分隐私机器学习算法的后续工作提供基础。

论文 3：Learning Strides in Convolutional Neural Networks

作者：Rachid Riad、Olivier Teboul、David Grangier、Neil Zeghidour
机构：谷歌研究院等
论文链接：https://openreview.net/pdf?id=M752z9FKJP

获奖理由：本文讨论了任何使用卷积网络的研究者都面临的一个重要问题，即以一种原则性的方式设置 stride，这种根据原则性的方法忽略了可能的实验和试错。作者提出了一种新颖的、非常聪明的、可以用来学习 stride 的数学公式，并展示了一种实用方法，该方法在综合基准中实现了 SOTA 结果。文中主要思想是 DiffStride，这是第一个具有可学习 stride 的下采样层，它允许学习傅里叶域中裁剪掩码的大小，以适合可微编程的方式有效地调整大小。

这是一篇优秀的论文，它提出了一种可能成为常用工具箱以及深度学习课程一部分的方法。

论文 4：Expressiveness and Approximation Properties of Graph Neural Networks

作者：Floris Geerts、Juan L Reutter
机构：安特卫普大学等
论文地址：https://openreview.net/pdf?id=wIzUeM3TAU

获奖理由：这篇理论比较强的论文展示了如何将有关不同图神经网络 GNN 架构的表达性和可分离性的问题进行简化（有时通过检查它们在张量语言中的计算来大大简化），其中这些问题与常见的组合概念有关，例如树宽（treewidth）。特别地，本文提出通过 Weisfeiler-Leman (WL) 检验，可以很容易地得到 GNN 分离力（separation power）的边界，该检验已成为衡量 GNN 分离力的标准。该框架对通过 GNN 研究函数的逼近性也有一定的指导意义。

本文通过提供描述、比较和分析 GNN 架构的通用框架，有可能对未来的研究产生重大影响。此外，本文提供了一个工具箱，GNN 架构设计人员可以使用该工具箱分析 GNN 的分离能力，而无需了解 WL 测试的复杂性。

论文 5：Comparing Distributions by Measuring Differences that Affect Decision Making

作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon
机构：斯坦福大学
论文地址：https://openreview.net/forum?id=KB5onONJIAU

获奖理由：该研究提出了一类新的差异（discrepancy），可以根据决策任务的最佳损失比较两个概率分布。通过适当地选择决策任务，该方法泛化了 Jensen-Shannon 散度（divergence）和最大平均差异族。与各种基准上的竞争基线相比，该方法实现了卓越的测试性能，并且具有广阔的应用前景，可用于了解气候变化对不同社会和经济活动的影响、评估样本质量以及选择针对不同决策任务的特征。评审委员会认为该论文具有非凡的实验意义，因为该方法允许用户在通过决策损失比较分布时直接指定其偏好，这意味着实际应用将有更高的可解释性。

论文 6：Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

作者：X.Y. Han, Vardan Papyan, David L. Donoho
机构：康奈尔大学、多伦多大学、斯坦福大学
论文地址：https://openreview.net/forum?id=w1UbdvWH_R3

获奖理由：该研究对当今深度网络训练范式中普遍存在的「神经崩溃（neural collapse）」现象提出了新的理论见解。在神经崩溃期间，最后一层特征崩溃到类均值，分类器和类均值都崩溃到相同的 Simplex Equiangular Tight Frame，分类器行为崩溃到最近类均值决策规则。

该研究没有采用在数学上难以分析的交叉熵损失，而是提出了一种新的均方误差 (MSE) 损失分解，以便分析神经崩溃下损失的每个组成部分，这反过来又形成了一种新的「中心路径（central path）」理论构造，其中线性分类器在整个动态过程中对特征激活保持 MSE 最优。最后，通过探究沿中心路径的重归一化（renormalized）梯度流，研究者推导出预测神经崩溃的精确动态。该研究为理解深度网络的实验训练动态提供了新颖且极具启发性的理论见解。

论文 7：Bootstrapped Meta-Learning

作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh
机构：DeepMind
论文地址：https://openreview.net/forum?id=b-ny3x071E5

获奖理由：元学习具有增强人工智能的潜力，但元优化一直是释放这种潜力的巨大挑战，该研究为元学习开辟了一个新方向。受 TD 学习的启发，研究者提出一种从自身或其他更新规则引导元学习器的方法。该研究进行了透彻的理论分析和多项实验，在 Atari ALE 基准测试中为无模型智能体实现了新的 SOTA，并在多任务元学习中提升了性能和效率。

荣誉提名

除了 7 篇获奖论文以外，还有 3 篇论文获得杰出论文奖荣誉提名，分别是：

提名论文 1：Understanding over-squashing and bottlenecks on graphs via curvature

作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein
机构：牛津大学、伦敦帝国学院、推特公司
论文地址：https://openreview.net/forum?id=7UmjRGzp-A

提名论文 2：Efficiently Modeling Long Sequences with Structured State Spaces

作者：Albert Gu, Karan Goel, Christopher Re
机构：斯坦福大学
论文地址：https://openreview.net/forum?id=uYLFoz1vlAC

提名论文 3：PiCO: Contrastive Label Disambiguation for Partial Label Learning

作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao
机构：浙江大学、威斯康星大学麦迪逊分校、重庆大学、RIKEN
论文地址：https://openreview.net/forum?id=EhYjZy6e1gJ

参考内容：

https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/