请选择 进入手机版 | 继续访问电脑版
从零开始 从零开始 资讯 查看内容

贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载

2020-4-26 11:14| 发布者: 道行地下| 查看: 97| 评论: 13

摘要: 概率编程允许我们建立小而专注的模型深入了解数据;另一方面,深度学习可以运用许多启发式的方法来训来拿大而复杂的模型,获得较好的预测效果。最近在变分推理上的创新允许概率编程处理复杂模型和大数据量。结合这两 ...

贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97

几率编程答应我们建立小而专注的模子深入领会数据;另一方面,深度进修可以应用很多启发式的方式来训来拿大而复杂的模子,获得较好的猜测结果。比来在变分推理上的创新答应几率编程处置复杂模子和大数据量。连系这两种方式可以获得一些新的创新。本文作者就是重点研讨贝叶斯模子与传统的卷积神经收集的融合,这是他的硕士论文,作者也供给了论文的源码供大师进修把握。


贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97



贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97

【摘要】

野生神经收集是一种毗连主义的系统,它经过进修实例来完成给定的使命,而不需要事前领会该使命。这是经过在每个节点中找到权重的最好点估量来完成的。一般情况下,利用点估量作为权重的收集在大数据集上表示杰出,可是它们没法在数据很少或没稀有据的地区中表达不肯定性,从而致使过度拟合的情况。

本文提出了基于变分推理的贝叶斯卷积神经收集(BayesCNN),该收集引入了权值上的几率散布。此外,本文提出的BayesCNN架构还可利用于图像分类,图像超分辨率和天生匹敌收集等使命。

BayesCNN是建立在贝叶斯的根本上的,它经过Backprop获得实在后验的变分近似。我们提出的方式不但在不异的系统结构中实现了与频次推理相当的性能,而且还包括对不肯定性和正则化的丈量。进一步消除了模子中drop的利用。此外,我们揣度出模子猜测是若何基于认知和肆意不肯定性的,最初,我们提出了修剪贝叶斯结构并使其更具计较性和时候效力的方式。

在论文的第一部分,诠释了贝叶斯神经收集,并将其利用于图像分类使命。将成果与基于点估量的架构MNIST,CIFAR-10和CIFAR-100数据集停止比力。此外,计较了系统的不肯定性,对系统的结构停止了修剪,并对成果停止了比力。

在论文的第二部分,将这一概念进一步利用于其他计较机视觉使命,即图像超分辨率和天生匹敌收集。对BayesCNN的概念停止了测试,并与类似范畴中的其他概念停止了比力。


贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97

【论文和代码地址】

https://github.com/kumar-shridhar/Master-Thesis-BayesianCNN

https://github.com/kumar-shridhar/PyTorch-BayesianCNN


私信答复“贝叶斯卷积神经收集” 便可以获得本文的下载链接~

【Intro简介】

深度神经收集(DNN)是毗连系统,它经过进修示例来进修履利用命,而无需事前领会使命。它们可以轻松扩大到数百万个数据点,而且可以经过随机梯度下降停止优化。

卷积神经收集(CNN),是DNN的变体,在图像分类范畴已经跨越了人类的正确性(e.g.[24,56,34])。由于CNN可以顺应各类非线性数据点,是以需要大量的练习数据。这凡是使CNN和神经收集在小数据集上易于过度拟合。该模子较好地拟合了练习数据,但不能猜测新数据。这凡是使神经收集没法正确评价练习数据中的不肯定性,从而致使对正确的种别,猜测或行为作出过度自傲的决议,即过拟合。

在现实利用中,控制过拟合的各类正则化技术有,early stopping,重量衰减(weight decay),L1,L2正则化,而且今朝最风行和有用的技术是dropout。

1.1 题目描写

虽然神经收集架构在几近一切分类使命中都获得了最早辈的成果,但神经收集仍然会做出过度自傲的决议。今朝的神经收集结构中缺少对猜测不肯定性的怀抱。需要很是仔细的练习,需要采纳权重控制办法,如权重的正则化和类似技术,以使模子不易受过度拟合题目标影响。


贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97

本文经过在卷积神经收集合引入贝叶斯进修来处理这两个题目。贝叶斯进修在卷积神经收集的猜测中增加了不肯定性和正则化。

1.2 现状

深度神经收集已成功利用于很多范畴,包括很是敏感的范畴,如医疗保健,平安性,讹诈性买卖等等。但是,从几率论的角度来看,利用单点估量作为权重来建立任何分类都是不公道的。另一方面,贝叶斯神经收集对过拟合具有较强的鲁棒性,可以很轻易地从小数据集合进修。贝叶斯方式经过其参数以几率散布的形式进一步供给不肯定性估量(见图1.1)。同时,操纵先验几率散布对参数停止积分,在练习进程入彀较多个模子的均匀值,使收集具有正则化结果,从而避免过拟合。

神经收集参数的贝叶斯后验揣度是控制过拟合的一种具有理论吸引力的方式;但是,对CNN的内核(也称为滤波器)上的散布停止建模之前从未成功过,这能够是由于在现实利用中凡是利用大量参数和很是大的模子。


贝叶斯卷积神经收集:架起深度进修与统计学的桥梁-附PDF下载_资讯_2020-4-26 11:14发布_从零开始_97

在贝叶斯神经收集合,即使只要少许的参数,后验模子的揣度也是一项困难的使命。凡是利用模子后验的近似值,变分推理是一种风行的方式。在这类方式中,可以利用简单的变分离布(例如高斯散布)对后验停止建模,并尝试使散布的参数尽能够接近实在的后验。这是经过最小化Kullback-Leibler与实在后验的分歧来完成的。很多人曩昔都采用过这类方式来制定标准的NN模子。可是用于逼近贝叶斯神经收集后验的变分方式在计较上能够相当高贵 - 利用高斯近似散布会大大增加模子参数的数目,而不会大幅增加模子容量。 以Blundell等报酬例,利用高斯散布停止贝叶斯后验近似,使模子参数的数目增加了一倍,但与传统的利用drop方式的猜测性能不异。这使得该方式在理论中不合适与CNNs一路利用,由于参数数目的增加价格太大。

论文工作的首要进献以下:

  1. 先容若何经过Backprop将Bayes有用天时用于CNN。是以,引入了两个卷积运算的概念,一个是均值,一个是方差。
  2. 展现了模子若何从廉价的模子均匀中进修更丰富的暗示和猜测。
  3. 我们的经历表白,我们提出的贝叶斯神经收集的通用牢靠变分揣度方式可以利用于各类CNN架构,而不受其性能的限制。
  4. 论文研讨了若何估量肆意不肯定性和认知不肯定性,并经过经历证实了不肯定性是若何削减的,从而使得收集所做的决议随着练习精度的进步而变得更具肯定性。
  5. 论文还经历性地展现了我们的方式若何典型地只将参数的数目加倍,然后利用无偏的蒙特卡罗(unbiased Monte Carlo)估量梯度来练习无穷调集。
  6. 本文还将L1范数利用于练习的模子参数并修剪非零值的数目,并进一步对模子停止微调,在不下降模子猜测精度的条件下削减模子参数的个数。
  7. 最初,本文将贝叶斯CNN的概念利用于图像超分辨率和天生匹敌收集等使命,并将其成果与各自范畴的其他优异架构停止比力。

这项工作建立在Blundell等人[4]的根本上,他们经过前馈神经收集的Backprop引入了Bayes。再加上Fortunatoet al.[11]对回归神经收集的扩大,Backprop的Bayes现在适用于三种最常用的神经收集,即,前馈神经收集,递归神经收集和卷积神经收集。




鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

引用 jljaoe 2020-4-26 11:20
转发了
引用 Dtyop 2020-4-26 11:20
转发了
引用 qq727887261 2020-4-26 11:19
转发了
引用 alleysmile 2020-4-26 11:18
转发了
引用 thatsme 2020-4-26 11:18
转发了
引用 hnbvqauq35 2020-4-26 11:18
转发了
引用 king38492378 2020-4-26 11:17
转发了
引用 11293320 2020-4-26 11:17
转发了
引用 xiaoyelun 2020-4-26 11:17
转发了
引用 lizeze 2020-4-26 11:16
贝叶斯卷积神经网络
引用 未婚么么哒 2020-4-26 11:16
贝叶斯卷积神经网络
引用 葬花 2020-4-26 11:15
转发了
引用 okwwwqq10 2020-4-26 11:15
学习了

查看全部评论(13)

相关分类

点击排行
  • 联系我们
  • 邮箱:admin@c0ks.com(请把#改成@)
  • 电话:18530790808
  • QQ客服 1031180668
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信二维码

  • 扫描访问手机版

Archiver|手机版|小黑屋|从零开始

GMT+8, 2020-6-5 05:21 , Processed in 0.177284 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

  • QQ: 1031180668

    客服电话

    18530790808

    电子邮件

    admin@c0ks.com

    在线时间:8:00-16:00