请选择 进入手机版 | 继续访问电脑版
从零开始 从零开始 资讯 查看内容

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集

2020-2-8 16:16| 发布者: 123456914| 查看: 145| 评论: 0

摘要: 机器之心&ArXiv Weekly Radiostation参与:杜伟、楚航、罗若天本周的重要论文有 MIT 学神胡渊鸣等开源的自动微分版太极以及北大、华为诺亚方舟实验室等主张以加法运算代替深度神经网络中的乘法运算。此外,机器之心 ...
机械之心&ArXiv Weekly Radiostation介入:杜伟、楚航、罗若天

本周的重要论文有 MIT 学神胡渊鸣等开源的自动微分版太极以及北大、华为诺亚方舟尝试室等主张以加法运算取代深度神经收集合的乘法运算。此外,机械之心结合由楚航、罗若天倡议的 ArXiv Weekly Radiostation,在 7 Papers 的根本上,精选本周更多重要论文,包括 NLP、CV、ML 范畴各 10 篇精选。

目录:
  1. AdderNet: Do We Really Need Multiplications in Deep Learning?
  2. DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
  3. DiffTaichi: Differentiable Programming for Physical Simulation
  4. Optimization for deep learning: theory and algorithms
  5. Audio-based automatic mating success prediction of giant pandas
  6. Knowledge Consistency between Neural Networks and Beyond
  7. Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
  8. ArXiv Weekly Radiostation:NLP、CV、ML更多精选论文(附音频)




论文 1:AdderNet: Do We Really Need Multiplications in Deep Learning?
  • 作者:Hanting Chen、Yunhe Wang、Chunjing Xu 等
  • 论文链接:https://arxiv.org/pdf/1912.13200v2.pdf


摘要:和加法运算相比,乘法运算在计较复杂度上要高很多。在深度进修中,被普遍利用的卷积运算相当因而权衡输入特征和卷积滤波器之间类似度的穿插相关计较。在这一进程中需要很大范围的浮点乘法,是以很多研讨都在斟酌将乘法运算换成等价的加法运算。克日,北大、华为诺亚方舟尝试室等的研讨者提出了一个名为 AdderNets 的收集,用于将深度神经收集合,出格是卷积神经收集合的乘法,转换为更简单的加法运算,以便削减计较本钱
在 AdderNets 中,研讨者采用了 L1 正则间隔,用于计较滤波器和输入特征之间的间隔,并作为输出的反应。为了获得更好的性能,研讨者构建了一种特别的反向传布方式,并发现这类几近完全采用加法的神经收集可以有用收敛,速度与精度都很是优异。从成果来看,AdderNets 在 ResNet-50 上 对 ImageNet 数据集停止练习后,可以获得 74.9% 的 top-1 切确度和 91.7% 的 top-5 切确度,而且在卷积层上不利用任何乘法操纵。这一研讨引发了深度进修社区的热议。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

AdderNet 和 CNN 的特征可视化。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

二值收集、加法收集和卷积收集在 CIFAR-10 与 CIFAR-100 数据集上的结果。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

ImageNet 上的分类成果。
保举:深度进修对算力要求太高,怎样简化计较复杂度呢?北大、华为诺亚方舟尝试室等提出完全用加法取代乘法,用 L1 间隔取代卷积运算,从而明显削减计较力消耗。
论文 2:DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
  • 作者:Ruben Tolosana、Ruben Vera-Rodriguez、Julian Fierrez 等
  • 论文链接:https://arxiv.org/pdf/2001.00179v1.pdf


摘要:大范围公共数据集的免费获得和深度进修技术(特别是 GAN)的快速成长,致使以假乱真的内容大量出现,在假消息时代这些捏造内容对社会发生了一定的影响。本文对人脸图像操纵技术停止了周全的综述,包括 DeepFake 方式以及检测此类操纵技术的方式。具体而言,本文综述了四种人脸操纵范例:人脸分解、换脸(DeepFakes)、人脸属性操纵和人脸脸色操纵
对于每种人脸操纵范例,本文具体先容了其相关的人脸操纵技术、现有的公共数据库以及用于评价人脸操纵检测方式的重要基准,包括对这些评价成果的总结。在本文说起的多个可用数据库中,FaceForensics++ 是最常用于检测人脸身份转换(即「换脸」)和人脸脸色操纵的数据库之一,基于该数据集的操纵检测正确率在 90-100% 范围内。此外,本文还会商了该范畴的成长趋向,并对正在停止的工作停止了展望,如近期公布的 DeepFake 检测应战赛(DFDC)。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

按照操纵的级别,人脸操纵技术可分为四类:人脸分解、换脸、人脸属性操纵和人脸脸色操纵,上图为每种人脸操纵种此外真假图像示例。
保举:这是一篇不错的人脸操纵和检测技术综述文章,结构和逻辑清楚,希望可以帮助大师一览该范畴的成长进程。
论文 3:DiffTaichi: Differentiable Programming for Physical Simulation
  • 作者:Yuanming Hu、Luke Anderson、Tzu-Mao Li 等
  • 论文链接:https://arxiv.org/pdf/1910.00935.pdf


摘要:客岁 5 月,机械之心报道了 MIT 华人学神胡渊鸣等开源的计较机图形库——

太极

。克日,这位作者结合其他研讨者推出了自动微分版本的太极——微分太极。这一框架可以基于太极实现自动微分,在物理模拟优化方面有很高的性能和灵活性。
太极原本是用于计较机图形计较和模拟的,为什么要开辟为微分框架呢?这是由于利用可微模拟器停止物理控制器优化,相比 model-free 的强化进修算法,可以提升 1 到 4 个量级的收敛速度。微分太极是基于太极项目标,它可以利用源码转换的方式,对模拟步调天生梯度。模拟法式由一个轻量的 tape 停止记录,并以降序方式返回核的梯度,实现端到端反向传布。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

左:微分太极可以和神经收集控制器及物理模拟模块无缝连系,并向控制器或初始化转台参数更新梯度。模拟进程凡是有 512 到 2048 个时候步,每个时候步到达 1000 次并交运算;右:10 个基于微分太极构建的微分模拟器。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

自动微分架构。左:微分太极系统。红色部分为来自太极说话的重用架构,蓝色为微分法式的扩大部分。右:Tape 记录了核的运转,在反向传布时以降序方式重放(replay)梯度核。
保举:本篇论文已被 ICLR 2020 接收,也意味着太极从计较机图形学进入了机械进修的范畴。
论文 4:Optimization for deep learning: theory and algorithms
  • 作者:Ruoyu Sun
  • 论文链接:https://arxiv.org/pdf/1912.08957.pdf


摘要:深度进修优化方式都有哪些?其理论根据是什么?比来,来自伊利诺伊大学香槟分校(UIUC)的研讨者孙若愚就此主题写了一篇长达 60 页的综述论文。
这篇文章首先会商了梯度爆炸/消失题目以及更通用的谱控制题目,并会商了一些现实处理计划,如初始化和归一化方式。其次,本文综述了神经收集练习进程中利用的一般优化方式,如 SGD、自顺应梯度方式和散布式方式,还先容了这些算法的现有理论成果。最初,本文综述了关于神经收集练习的全局题目标研讨,包括糟糕的部分极小值上的成果、形式毗连(mode connectivity)、彩票假定和无穷宽度分析。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

成功练习神经收集的几项首要的设想挑选(已具有理论了解)。它们对算法收敛的三个方面发生影响:实现收敛、实现更快收敛、获得更好的全局解。这三项相互关联,这里只是大致的分类。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

本文将优化题目分别为三部分:收敛、收敛速度和全局质量。
保举:本篇论文具体报告了用于练习神经收集的优化算法和理论。
论文 5:Audio-based automatic mating success prediction of giant pandas
  • 作者:WeiRan Yan、MaoLin Tang、Qijun Zhao 等
  • 论文链接:https://arxiv.org/abs/1912.11333


摘要:我们都晓得,大熊猫是地球上最濒危的物种之一,但我们并不清楚它为什么会濒危。据研讨表白,大熊猫成为濒危物种主如果由于滋生艰难,而滋生难的题目首要源于「性冷淡」。熊猫的滋生季节时候很是短,一年 365 天中,最好交配时候唯一 1 天。更使人难过的是,雄性熊猫天天将大把的时候用来吃饭和睡觉,压根留意不到同性,所以生育率一向很低。
传统上,认定大熊猫的发情与确认交配成果(即能否交配成功)是基于它们的荷尔蒙排泄情况来评价的,这类方式操纵很是复杂,而且没法实时获得成果。近期的研讨表白,处于滋生季节的大熊猫会有特别的发声行为,这为分析大熊猫的交配成功情况供给了新的机遇。
受近段时候语音识别方式快速成长的启发以及计较机技术在野活泼动物庇护方面的利用,四川大学、成都大熊猫繁育研讨基地和四川省大熊猫科学研讨院的研讨者提出按照大熊猫的发声情况来自动猜测其交配的成功率。为此,他们将这个题目界说成了一个语音情感识别(SER)题目。他们没有益用野生界说的特征和发声范例,而是利用了深度收集来进修分歧的发声特征,自动猜测交配成功率。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

基于大熊猫发声行为的自动交配成功率猜测能更好地辅佐大熊猫滋生。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

CGANet 架构首要包括卷积模块、GRU 模块和留意力模块。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

CGANet、FLDA 和 SVM 在正确率(acc)、F1 分数、召回率(recall)、精度和曲线下面积(auc)5 项目标上的结果对照。可以看出,本文提出的 CGANet 架构的结果均为最好。
保举:大熊猫交配啼声隐藏玄机,川大学者用音频 AI 猜测大熊猫何时怀上宝宝。
论文 6:Knowledge Consistency between Neural Networks and Beyond
  • 作者:Ruofan Liang、Tianlin Li、Longfei Li、Quanshi Zhang
  • 论文链接:https://arxiv.org/pdf/1908.01581.pdf


摘要:深度神经收集(DNN)已经在很多使命中表示出了强大的才能,但今朝仍缺少诊断其中层表征才能的数学工具,如发现表征中的缺点或识别牢靠/不成靠的特征。由于数据泄露或数据集发生变化,基于测试正确率的传统 DNN 评测方式没法深入评价 DNN 表征的正确性。
是以,在本论文中,来自上海交大的研讨者提出了一种从常识分歧性的角度来诊断 DNN 中层收集表征才能的方式。即,给定两个为同一使命练习的 DNN(不管两者架构能否不异),方针是检验两个 DNN 的中心层能否编码类似的视觉概念。该研讨实现了:(1)界说并量化了神经收集之间常识表达的分歧阶的分歧性;(2)对强弱神经收集合层常识停止分析;(3)对中层特征的诊断,在不增加练习样本标注的条件下进一步促进神经收集分类正确率;(4)为诠释神经收集紧缩和常识蒸馏供给了一种新的思绪。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

常识分歧性。

7 Papers | MIT学神开源微分太极;北大等提没有乘法的神经收集_资讯_2020-2-8 16:16发布_从零开始_145

常识分歧性算法可以有用的去除与方针利用无关的冗余特征份量,进一步提升方针利用的性能。 保举:本文先容了上海交通大学张拳石团队的一篇 ICLR 2020 接收论文,提出了一种对神经收集特征表达分歧性、牢靠性、常识盲点的评测与诠释方式。
论文 7:Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
  • 作者:Sheng Shen、Zhen Dong、Jiayu Ye 等
  • 论文链接:https://arxiv.org/pdf/1909.05840.pdf


摘要:在本文中,研讨者先容了一个用于计较 Hessian 信息的全新可扩大框架,以处理二阶信息计较速度很慢的题目。此外,他们暗示在练习时代也可以利用 Hessian 信息,且开销很少。与 ImageNet 上基于一阶方式练习 ResNet18 的时候相比,研讨者采用的方式可提速 3.58 倍。
保举:这篇论文已被 AAAI 2020 大会接收,作者之一 Zhewei Yao 是加州大学伯克利分校 BAIR、RISELab(前 AMPLab)、BDD 和数学系博士。




ArXiv Weekly Radiostation




机械之心结合由楚航、罗若天倡议的ArXiv Weekly Radiostation,在 7 Papers 的根本上,精选本周更多重要论文,包括NLP、CV、ML范畴各10篇精选,并供给音频形式的论文摘要简介,详情以下:




1. Multiplex Word Embeddings for Selectional Preference Acquisition. (from Hongming Zhang)

2. REST: A thread embedding approach for identifying and classifying user-specified information in security forums. (from Michalis Faloutsos)

3. A Neural Approach to Discourse Relation Signal Detection. (from Yang Liu)

4. Improving Entity Linking by Modeling Latent Entity Type Information. (from Chin-Yew Lin)

5. Learning Bilingual Word Embeddings Using Lexical Definitions. (from Kai-Wei Chang)

6. Stance Detection Benchmark: How Robust Is Your Stance Detection?. (from Iryna Gurevych)

7. Leveraging Prior Knowledge for Protein-Protein Interaction Extraction with Memory Network. (from Zhuang Liu)

8. Binary and Multitask Classification Model for Dutch Anaphora Resolution: Die/Dat Prediction. (from Marie-Francine Moens)

9. Paraphrase Generation with Latent Bag of Words. (from John P. Cunningham)

10. Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text. (from Asim Karim)




1.Agriculture-Vision: A Large Aerial Image Database for Agricultural Pattern Analysis. (from Thomas S. Huang)

2. Weakly Supervised Visual Semantic Parsing. (from Shih-Fu Chang)

3. Bridging Knowledge Graphs to Generate Scene Graphs. (from Shih-Fu Chang)

4. General Partial Label Learning via Dual Bipartite Graph Autoencoder. (from Shih-Fu Chang)

5. RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks. (from Luca Benini)

6. Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations. (from Michael J. Black, Konrad Schindler)

7. Few-shot Learning with Multi-scale Self-supervision. (from Philip H. S. Torr)

8. Compression of convolutional neural networks for high performance imagematching tasks on mobile devices. (from Krystian Mikolajczyk)

9. MW-GAN: Multi-Warping GAN for Caricature Generation with Multi-Style Geometric Exaggeration. (from Yang Gao)

10. FrequentNet : A New Deep Learning Baseline for Image Classification. (from Zheng Wang)




1. Semi-supervised Classification using Attention-based Regularization on Coarse-resolution Data. (from Vipin Kumar)

2. Think Locally, Act Globally: Federated Learning with Local and Global Representations. (from Ruslan Salakhutdinov, Louis-Philippe Morency)

3. Information Theoretic Model Predictive Q-Learning. (from Dieter Fox)

4. Meta-modal Information Flow: A Method for Capturing Multimodal Modular Disconnectivity in Schizophrenia. (from Daniel H. Mathalon, Judith M. Ford, Jessica A. Turner, Vince D. Calhoun)

5. Deep Time-Stream Framework for Click-Through Rate Prediction by Tracking Interest Evolution. (from Ming Li)

6. On Interpretability of Artificial Neural Networks. (from Ge Wang)

7. Convolutional Networks with Dense Connectivity. (from Laurens van der Maaten, Kilian Q. Weinberger)

8. Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction. (from Chin-Teng Lin)

9. EEG-based Drowsiness Estimation for Driving Safety using Deep Q-Learning. (from Chin-Teng Lin)

10. SGD with Hardness Weighted Sampling for Distributionally Robust Deep Learning. (from Sebastien Ourselin)

鲜花

握手

雷人

路过

鸡蛋

最新评论

相关分类

点击排行
  • 联系我们
  • 邮箱:admin@c0ks.com(请把#改成@)
  • 电话:18530790808
  • QQ客服 1031180668
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信二维码

  • 扫描访问手机版

Archiver|手机版|小黑屋|从零开始

GMT+8, 2020-6-5 03:45 , Processed in 0.210956 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

  • QQ: 1031180668

    客服电话

    18530790808

    电子邮件

    admin@c0ks.com

    在线时间:8:00-16:00