ICLR 2021卓异论文奖出炉！
本年共有2997篇投稿，领受860篇，最后共有8篇获得卓异论文奖。
这8篇论文中，谷歌成最大年夜赢家，共有4篇论文获奖（包孕DeepMind、谷歌大年夜脑在内）。
除此之外，AWS、Facebook等机构，和CMU、南洋理工等高校也纷纭上榜。
一路来看看都是哪些论文。
共有8篇论文上榜
1、Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters
来自AWS、Google、南洋理工大年夜学。
这篇论文提出了一种基于四元数的全毗邻层（Fully-Connected Layers with Quaternions），用四元数的哈密顿乘积（Hamilton products），替换了全毗邻层中的实值矩阵乘法，节省了1/4的可进修参数。论文对超复数乘积进行了参数化，答理模子从数据中进修乘法划定礼貌，无需在意这些划定礼貌是不是被预界说。与通俗的全毗邻层方式比拟，这类方式只需要利用1/n（n即维度）的可进修参数。
2、Complex Query Answering with Neural Link Predictors
来自UCL、阿姆斯特丹自由大年夜学。
这篇论文提出了一种名为复杂查询分化（CQD）的框架，颠末历程在嵌入空间实体集上的推理，来答复相对复杂的逻辑查询——回答复杂查询，被简化为答复每一个子查询，并颠末历程t-norm聚合所得分数。只需要演习原子查询的神经收集链接猜测模子，即可行使这一框架，来答复给定的复杂查询，而不需要用大年夜量生成的复杂查询进行演习。同时，不管查询的复杂性若何，这一框架还能对查询答复历程的每步进行诠释。论文所提出的方式与查询类型无关，可以在不清楚演习特定类型查询的环境下进行归纳。
3、EigenGame: PCA as a Nash Equilibrium
来自DeepMind、Google。
这篇论文提出了一种天然并行化的随机梯度上升方式EigenGame（本征博弈），连络了Oja划定礼貌、Krasulina矩阵和Riemannian优化方式的优点，来较量争论Top-K主成分。个中，PCA即博弈纳什均衡、及序列化全局收敛主成分算法。这类方式为大年夜范围矩阵的PCA较量争论供应了一种可扩大方式，可较量争论出近200 TB的Imagenet的RESNET-200激活矩阵的前32个主成分。
4、Learning Mesh-Based Simulation with Graph Networks
来自DeepMind。
这篇论文介绍了MeshGraphNets，一个用图神经收集进行网格仿真进修的框架。这一框架可以切确地猜测各类物理系统的动力学，包孕空气动力学、布局力学和织物的外形等。这类方式拓宽了神经收集模拟器可以运行的问题局限，并有望提高复杂的、科学的建模义务的效率。
5、Neural Synthesis of Binaural Speech From Mono Audio
来自Facebook Reality Lab、CMU。
这篇论文提出了一种双声道合成的神经绘制方式，可以实时生成真切、空间切确的双声道声音。所设计的收集以单声道音频源为输入，按照听者相对声源的相对位置和标的目标，将双声道双耳声音合成为输出。论文从理论上阐清楚明晰原始波形上l2耗损的不足，并介绍了战胜这些局限性的改良耗损。
6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
来自东京大年夜学。
这篇论文阐清楚明晰过参数化（overparameterized）的双层神经收集回归问题的平均随机梯度下落的收敛性。论文证实，平均随机梯度下落可以颠末历程行使方针函数的复杂性和与神经切线核（NTK）相干的再生希尔伯特空间（RKHS），在包管全局收敛的前提下，到达极小极大年夜最优收敛速度。
7、Rethinking Architecture Selection in Differentiable NAS
来自UCLA、理海大年夜学、Amazon。
可微神经布局搜索(differential Neural Architecture Search，NAS)以搜索效率高、搜索历程简单等优点，成为当前最流行的神经布局搜索(Neural Architecture Search，NAS)方式之一。这篇论文申明认为，架构参数的大小，并没需要然证实操尴尬刁难贪婪超收集（supernet）性能的供献后果，并提出了一种可供选择的、基于扰动的系统布局选择，直接丈量每一个操尴尬刁难贪婪超收集的影响。
8、Score-Based Generative Modeling through Stochastic Differential Equations
来自斯坦福、谷歌、谷歌大年夜脑。
论文提出了一种基于随机微分方程(SDEs)的分数式生成模子框架。个中，SDE颠末历程缓慢注入噪声，平稳地将一个复杂的数据漫衍转换为一个已知的先验漫衍，响应的逆时SDE颠末历程缓慢去除噪声将先验漫衍转换回数据漫衍。逆时SDE只依托于扰动数据漫衍随时候转变的梯度场(分数)，引入了猜测-校正框架来改正离散逆时SDE演化中的弊端，推导了与SDE不异的漫衍采样的等效神经ODE，使切确的似然较量争论成为可能，并提高了采样效率。
关于卓异论文奖评选
ICLR 2021卓异论文奖，主要从四个方夙来考核论文质量：手艺质量、影响潜力、是不是提出新标的目标、和是不是解决了主要问题。
本年负责评奖的委员会，成员划分来自Facebook、DeepMind、德州奥斯汀分校、斯坦福大年夜学、微软等各高校和机构。
值得一提的是，当然ICLR透露显露：
评分最高的论文也入选了此次奖项。
然则，在这8篇论文中，却并没有见到平均分最高的论文身影。
按平均分来看的话，得分最高的论文名为「How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks」，来自MIT、马里兰大年夜学、华盛顿大年夜学。
它的论文评分是9、9、8、9，平均分8.75，却并未入选此次的卓异论文奖。
比拟于这篇论文，确切有几篇入选卓异论文奖的论文，获得过评委打出的10分。
但这两篇论文，却都收到过其他评审6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。
从打10分的评委评价来看，都是感觉这几篇论文“提出了创始性的不雅点”。
比拟之下，评审在给MIT这篇论文打分时用得更多的评价是“有看法、有意思”。
关于ICLR
ICLR（International Conference on Learning Representations）别名“国际进修表征会议”，2013年举行第一届，由Yoshua Bengio和Yann LeCun牵头开办。
当然成立时候较晚，但比拟于其他顶会，ICLR奉行Open Review公开评审制度，所有论文城市公开黉舍、姓名等信息，并接管所有同业的评价及提问。
在公开评审结束后，作者也可以或许对论文进行调剂及点窜。
值得一提的是，ICLR历年会议都只评选过最好论文奖（Best Papers），本年应当是ICLR初次增加卓异论文奖。
此次ICLR 2021评选的卓异论文奖，国内并没有高校和研究机构入选，但有3篇论文的1作为华人作者。