请选择 进入手机版 | 继续访问电脑版
从零开始 从零开始 查看内容

ICLR 2020会议的16篇最好深度进修论文

2020-6-13 10:34| 发布者: 秋刀鱼| 查看: 119| 评论: 1

摘要: 作者:Kamil Kaczmarek编译:ronghuaiyang导读给大家介绍一下今年的ICLR上的最佳16篇深度学习论文。上周,我很荣幸地参加了学习表现国际会议(ICLR),这是一个致力于深度学习各方面研究的活动。最初,会议本应在埃塞 ...

作者:Kamil Kaczmarek

编译:ronghuaiyang

导读


给大师先容一下今年的ICLR上的最好16篇深度进修论文。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

上周,我很侥幸地加入了进修表示国际会议(ICLR),这是一个努力于深度进修各方面研讨的活动。最初,会议本应在埃塞俄比亚首Addis Ababa召开,但由于新型冠状病毒大风行,会议酿成了虚拟会议。把活动搬到网上对构造者来说是一个应战,可是我以为结果很是使人满足!

1300多名演讲者和5600名预会者证实,虚拟形式更轻易为公众所接管,但与此同时,会议连结了互动和介入。从很多风趣的演讲中,我决议挑选16个,这些演讲既有影响力又发人深醒。以下是来自ICLR的最好深度进修论文。

1. On Robustness of Neural Ordinary Differential Equations

2. Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

3. Target-Embedding Autoencoders for Supervised Representation Learning

4. Understanding and Robustifying Differentiable Architecture Search

5. Comparing Rewinding and Fine-tuning in Neural Network Pruning

6. Neural Arithmetic Units

7.The Break-Even Point on Optimization Trajectories of Deep Neural Networks

8. Hoppity: Learning Graph Transformations To Detect And Fix Bugs In Programs

9. Selection via Proxy: Efficient Data Selection for Deep Learning

10. And the Bit Goes Down: Revisiting the Quantization of Neural Networks

11. A Signal Propagation Perspective for Pruning Neural Networks at Initialization

12. Deep Semi-Supervised Anomaly Detection

13. Multi-Scale Representation Learning for Spatial Feature Distributions using Grid Cells

14. Federated Learning with Matched Averaging

15. Chameleon: Adaptive Code Optimization for Expedited Deep Neural Network Compilation

16. Network Deconvolution

最好深度进修论文

1. On Robustness of Neural Ordinary Differential Equations


深入研讨了神经常微分方程或神经收集的鲁棒性。利用它作为构建更硬朗的收集的根本。

论文:https://openreview.net/forum?id=B1e9Y2NYvS

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

ODENet的结构,神经ODE块作为一个保维非线性映照。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Hanshu YAN

2. Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity


证实梯度裁剪可加速非滑腻非凸函数的梯度下降。

论文:https://openreview.net/forum?id=BJgnXpVYwS

代码:https://github.com/JingzhaoZhang/why-clipping-accelerates

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

PTB数据集上AWD-LSTM (Merity et al., 2018)练习轨迹上的对数标准上的梯度范数vs部分梯度Lipschitz常数。色彩条暗示在练习进程中迭代的次数。

第一作者:Jingzhao Zhang

3. Target-Embedding Autoencoders for Supervised Representation Learning


新的,通用方针嵌入自动编码器大概说TEA监视猜测框架。作者给出了理论和经历的斟酌。

论文:https://openreview.net/forum?id=BygXFkSYDH

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

(a)特征嵌入和(b)方针嵌入自动编码器。实线对应于(首要)猜测使命,虚线为(帮助)重建使命。两者都触及到同享组件。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Daniel Jarrett

4. Understanding and Robustifying Differentiable Architecture Search


经过度析考证损失的海塞矩阵的特征值,研讨了DARTS(可微结构搜索)的生效形式,并在此根本上提出了响应的对策。

论文:https://openreview.net/forum?id=H1gDNyrKDS

代码:https://github.com/automl/RobustDARTS

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

在Space1到Space4上,DARTS发现的差的网格标准。对于一切的空间,DARTS挑选的大多是无参数的操纵(跳过毗连),甚至是有害的噪声操纵。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者: Arber Zela

5. Comparing Rewinding and Fine-tuning in Neural Network Pruning


在修剪神经收集时,不需要在修剪落后行微调,而是将权值或进修率战略倒回到它们在练习时的值,然后再从那边停止再练习,以到达更高的正确性。

论文:https://openreview.net/forum?id=S1gSj0NKvB

代码:https://github.com/lottery-ticket/rewinding-iclr20-public

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

经过一次修剪获得再练习时候的最好可到达的精度。

![Alex Renda](The Best Deep Learning Papers from the ICLR 2020 Conference.assets/5-Alex-Renda.jpg)

第一作者:Alex Renda

6. Neural Arithmetic Units


神经收集虽然可以逼近复杂的函数,但在切确的算术运算方面却很差。这项使命对深度进修研讨者来说是一个持久的应战。在这里,我们先容了新的神经加法单元(NAU)和神经乘法单元(NMU),它们可以履行切确的加法/减法(NAU)和向量子集乘法(MNU)。

论文:https://openreview.net/forum?id=H1gNOeHKPS

代码:https://github.com/AndreasMadsen/stable-nalu

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

NMU的可视化,其中权值(Wi,j)控制门控的值1(identity)或xi,然后显式地乘上每其中心成果以构成zj。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Andreas Madsen

7. The Break-Even Point on Optimization Trajectories of Deep Neural Networks


在深度神经收集练习的早期阶段,存在一个决议全部优化轨迹性质的“平衡点”。

论文:https://openreview.net/forum?id=r1g87C4KwB

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

早期练习轨迹的可视化,CIFAR-10(之前练习精度到达65%)的一个简单的CNN模子优化利用SGD进修率η= 0.01(红色)和η= 0.001(蓝色)。练习轨迹上的每个模子(显现为一个点)经过利用UMAP将其测试猜测嵌入到一个二维空间中来暗示。布景色彩暗示梯度K (λ1K, 左)的协方差归一化频谱和练习精度(右)。对于小的η,到达我们所说的收支平衡点后,对于一样的练习精度(右),轨迹是引向一个地域,这个地区具有更大λ1K(左)的特点。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Stanisław Jastrzębski

8. Hoppity: Learning Graph Transformations To Detect And Fix Bugs In Programs


一种基于进修的方式,用于检测和修复Javascript中的bug。

论文:https://openreview.net/forum?id=SJeqs6EFvB

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

演示现有方式的范围性的示例法式包括基于法则的静态分析器和基于神经的毛病猜测器。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Elizabeth Dinella

9. Selection via Proxy: Efficient Data Selection for Deep Learning


经过利用一个更小的代理模子来履行数据挑选,我们可以明显进步深度进修中数据挑选的计较效力。

论文:https://openreview.net/forum?id=HJg2b0VYDr

代码:https://github.com/stanford-futuredata/selection-via-proxy

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

SVP利用于自动进修(左)和焦点集挑选(右)。在自动进修中,我们遵守了不异的迭代进程,即练习和挑选标志为传统方式的点,可是用计较本钱更低的代理模子取代了方针模子。对于焦点集的挑选,我们进修了利用代理模子对数据停止特征暗示,并利用它挑选点来练习更大、更切确的模子。在这两种情况下,我们发现代理和方针模子具有较高的rank-order相关性,致使类似的挑选和下流成果。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Cody Coleman

10. And the Bit Goes Down: Revisiting the Quantization of Neural Networks


采用结构化量化技术对卷积神经收集停止紧缩,实现更好的域内重构。

论文:https://openreview.net/forum?id=rJehVyrKwH

代码:https://drive.google.com/file/d/12QK7onizf2ArpEBK706ly8bNfiM9cPzp/view?usp=sharing

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

图解我们的方式。我们近似一个二元分类器ϕ,经过量化权重把图像标志为狗或猫。标准方式:利用标准方针函数来量化 ϕstandard,(1)提升分类器ϕ,试图在全部输入空间上近似ϕ,是以对于域内的输入能够表示很差。我们的方式:用我们的方针函数目化ϕ(2)提升分类器ϕbactivations,使之对于域内输入表示杰出。在输入空间的图像由ϕactivations正确分类,但ϕstandard不正确。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Pierre Stock

11. A Signal Propagation Perspective for Pruning Neural Networks at Initialization


我们正式描写了初始化时有用剪枝的初始化条件,并分析了获得的剪枝收集的信号传布特征,提出了一种增强剪枝收集可练习性和剪枝结果的方式。

论文:https://openreview.net/forum?id=HJeTo2VFwH

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

(左)layerwise稀疏形式c∈{0,1} 100×100获得剪枝水平为κ¯= {10 . .90}%的结果。这里,黑色(0)/红色(1)像素为修剪/保存参数,(右)各层参数的毗连灵敏度(CS)一切收集初始化γ=1.0。与线性情况分歧,tanh收集的稀疏形式在分歧层上是不均匀的。当停止高品级剪枝的时辰(例如,κ¯= 90%),这成为关键,致使进修才能差,只要几个参数留在前面的层。这是由毗连灵敏度图所诠释的,图中显现,对于非线性收集参数,后一层的毗连灵敏度低于前一层。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Namhoon Lee

12. Deep Semi-Supervised Anomaly Detection


我们先容了Deep SAD,一种用于一般性的半监视异常检测的深度方式,出格操纵了异常的标志。

论文:https://openreview.net/forum?id=HkgH0TEYwH

代码:https://github.com/lukasruff/Deep-SAD-PyTorch

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

半监视异常检测的需要:练习数据(如(a)所示)由(大部分一般)未标志数据(灰色)和少数标志一般样本(蓝色)和标注的异常样本(橙色)组成。图(b) - (f)显现了测试时各类进修形式的决议鸿沟,以及出现的新异常(每个图的左下角)。我们的半监视AD方式操纵了一切的练习数据:未标志的样本,标志的一般样本,以及标志的异常样本。这在单种别进修和分类之间获得了平衡。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Lukas Ruffs

13. Multi-Scale Representation Learning for Spatial Feature Distributions using Grid Cells


我们提出了一个名为Space2vec的暗示进修模子来编码位置的绝对位置和空间关系。

论文:https://openreview.net/forum?id=rJljdh4KDH

代码:https://github.com/gengchenmai/space2vec

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

具有很是分歧特征的结合建模散布的应战。(a)(b)拉斯维加斯的POI位置(红点)以及Space2Vec猜测了女装(利用聚类散布)和教育(利用均匀散布)的条件似然。(b)中的黑色地区表白市中心地区的其他范例的POIs比教育多。(c)相对于wrap, Space2Vec具有最大和最小改良的POI范例的Ripley的K曲线(Mac Aodha et al., 2019)。每条曲线暗示以某一范例的点为中心的某一半径内某一范例点的点的个数(d)用POI密度重新规格化的Ripley’s K曲线,并以对数刻度暗示。为了高效地实现多标准暗示,Space2Vec将64个标准(波长从50米到40k米不等)的网格单元编码作为深度模子的第一层,并以无监视的方式与POI数据停止练习。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Gengchen Mai

14. Federated Learning with Matched Averaging


利用分层婚配来实现联邦进修的高效交换。

论文:https://openreview.net/forum?id=BkluqlSFDS

代码:https://github.com/IBM/FedMA

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

在MNIST上停止有限次数的LeNet联邦进修方式的比力,在CIFAR-10数据集上练习VGG-9,LSTM在莎士比亚数据集上练习:(a)同构数据(b)异构数据

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Hongyi Wang

15. Chameleon: Adaptive Code Optimization for Expedited Deep Neural Network Compilation


深度神经收集优化编译的增强进修和自顺应采样。

论文:https://openreview.net/forum?id=rygG4AVFvH

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

我们的模子编译工作流的提要,突出显现的是这项工作的范围。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Byung Hoon Ahn

16. Network Deconvolution


为了更好地练习卷积收集,我们提出了一品种似于动物视觉系统的收集反卷积方式。

论文:https://openreview.net/forum?id=rkeu30EtvS

代码:https://github.com/yechengxi/deconvolution

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

利用相关滤波器(例如高斯核)对这个实在天下的图像停止卷积,将相关性增加到天生的图像中,这使得方针识别加倍困难。去除这类模糊的进程称为反卷积。可是,假如我们看到的实在天下的图像自己是某种未知的相关滤波器的成果,这使得识别加倍困难呢?我们提出的收集反卷积操纵可以去除底层图像特征之间的关联,使得神经收集可以更好地履行。

ICLR 2020会议的16篇最好深度进修论文__2020-6-13 10:34发布_从零开始_119

第一作者:Chengxi Ye

总结


ICLR的深度和广度相当鼓舞民气。在这里,我只先容了“深度进修”主题的冰山一角。但是,这一分析表白,有一些是很受接待的范畴,出格是:
  1. 深度进修(本文涵盖)
  2. 强化进修
  3. 天生模子
  4. 自然说话处置/了解

为了更周全地概述ICLR的顶级论文,我们正在撰写一系列文章,每一篇都集合在上面提到的一个主题上。

英文原文:https://neptune.ai/blog/iclr-2020-deep-learning

鲜花

握手

雷人

路过

鸡蛋
  • 联系我们
  • 邮箱:admin@c0ks.com(请把#改成@)
  • 电话:18530790808
  • QQ客服 1031180668
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信二维码

  • 扫描访问手机版

Archiver|手机版|小黑屋|从零开始

GMT+8, 2020-7-4 07:34 , Processed in 0.181603 second(s), 17 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

  • QQ: 1031180668

    客服电话

    18530790808

    电子邮件

    admin@c0ks.com

    在线时间:8:00-16:00