请选择 进入手机版 | 继续访问电脑版
从零开始 从零开始 资讯 查看内容

深度文章:初识深度进修

2020-4-26 10:55| 发布者: 我叫用户名| 查看: 99| 评论: 10

摘要: 一、什么是深度学习?深度学习(Deep Learning)是利用多层神经网络结构,从大数据中学习现实世界中各类事物能直接用于计算机计算的表示形式(如图像中的事物、音频中的声音等),被认为是智能机器可能的“大脑结构 ...

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

一、什么是深度进修?

深度进修(Deep Learning)是操纵多层神经收集结构,从大数据中进修现实天下中各类事物能间接用于计较机计较的暗示形式(如图像中的事物、音频中的声音等),被以为是智能机械能够的“大脑结构”。

Learning:让计较机自动调剂函数参数以拟合想要的函数的进程。

Deep:多个函数停止嵌套,组成一个多层神经收集,操纵练习算法调剂有用地自动调剂函数参数。

简单地说深度进修就是:利用多层神经收集来停止机械进修。同机械进修方式一样,深度机械进修方式也有监视进修与无监视进修之分.分歧的进修框架下建立的进修模子很是分歧.例如,卷积神经收集(Convolutional neural networks,简称CNNs)就是一种深度的监视进修下的机械进修模子,而深度置信收集(deep belief networks,简称DBNs)就是一种无监视进修下的机械进修模子。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

二、深度进修练习进程

1)利用自下上升非监视进修(就是从底层起头,一层一层的往顶层练习)

采用无标定数据(有标定数据也可)分层练习各层参数,这一步可以看做是一个无监视练习进程,是和传统神经收集区分最大的部分(这个进程可以看做是feature learning进程)。

具体的,先用无标定数据练习第一层,练习时先进修第一层的参数(这一层可以看做是获得一个使得输出和输入不同最小的三层神经收集的隐层),由于模子capacity的限制以及稀疏性约束,使得获得的模子可以进修到数据自己的结构,从而获得比输入更具有暗示才能的特征;在进修获得第n-1层后,将n-1层的输出作为第n层的输入,练习第n层,由此别离获得各层的参数。

2)自顶向下的监视进修(就是经过带标签的数据去练习,误差自顶向下传输,对收集停止微调)

基于第一步获得的各层参数进一步fine-tune全部多层模子的参数,这一步是一个有监视练习进程;第一步类似神经收集的随机初始化初值进程,由于DL的第一步不是随机初始化,而是经过进修输入数据的结构获得的,因此这个初值更接近全局最优,从而可以获得更好的结果;所以deep learning结果好很洪流平上归功于第一步的feature learning进程。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

三、深度进修模子

深度进修模子在收集结构上与传统的神经收集类似,都是分层的收集结构。可是,深度进修采用了与传统神经收集分歧的练习机制。

深度神经收集DNN

深度神经收集(Deep Neural Network)是层数很深的全毗连收集,层数决议了神经收集对数据的刻画才能——操纵每层更少的神经元拟合加倍复杂的函数。2006年Hinton操纵预练习方式减缓结部分最优解题目,将隐含层鞭策到了7层,揭开了深度进修的浪潮。(留意这里的“深度”并没有牢固的界说——在语音识别范畴,4层就以为是比力深的了;而在图像识别范畴20层的模子屡见不鲜)。

优点:

更好的数据刻画才能。

弱点:

参数数目收缩(练习开销大),没有斟酌数据的固有部分特征(如图像中的表面、鸿沟等等)。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

卷积神经收集CNN

卷积神经收集(Convolutional Neural Network,CNN)变动了神经收集的结构,不再是全毗连的结构了,大量的削减了收集的参数;同时,经过参数同享进一步削减了收集参数。它斟酌到了空间结构和部分特征,很是适用于图像处置范畴。



优点:

具有位移、缩放以及其他形式扭曲稳定性

隐式地从练习数据中停止进修,避免了显式的特征抽取

同一特征映照面上的神经元权值不异,所以收集可以并行进修

结构更接近于现实的生物神经收集,权值同享下降了收集的复杂性,出格是多维输入向量的图像可以间接输入收集这一特点避免了特征提取和分类进程中数据重建的复杂度,在语音识别和图像处置方面有着怪异的优越性。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

循环神经收集RNN

在普通的全毗连收集大概CNN中,每层神经元的信号只能向上传布,样本的处置在各个时辰自力,是以又称为前馈神经收集。而在循环神经收集(recursive neural network,RNN)中,神经元的输出可以鄙人一个时候戳间接感化到本身;即第i层的神经元在m时辰的输入包括i-1层在该时辰的输出以及其本身在m-1时辰的输出。在此根本上成长出了是非期记忆LSTM收集。

优点:

可以对时候序列上的变化建模,适用于处置语音、自然说话等范畴 。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

深度置信收集DBN

深度置信收集(deep belief networks,DBN)是一种包括多层隐单元的几率天生模子,可被视为多层简单进修模子组合而成的复合模子。可以作为深度神经收集的预练习部分,并为收集供给初始权重,再利用反向传布大概其他判定算法作为调优的手段。

深度文章:初识深度进修_资讯_2020-4-26 10:55发布_从零开始_99

四、深度进修利用

从计较机视觉到自然说话处置,在曩昔的几年里,深度进修技术被利用到了数以百计的现实题目中。诸多案例也已经证实,深度进修能让工作比之前做得更好。

1、计较机视觉

在计较机视觉范畴,深度进修最初成功的利用是在数据降维、手写数字识别等题目中。近年来,深度进修在更普遍的计较机视觉和形式识别题目中,例如图像识别、图像去噪和修复、活动建模、行动识别、物体跟踪、视觉建模、场景分析等,展现出了有用性。一个案例是2016年,多伦多大学辛顿教授等采用深度卷积神经收集在ImageNet 图像识别比赛中将毛病率从26%下降到15%。

2、语音识别

微软研讨职员经过与hinton合作,首先将RBM和DBN引入到语音识别声学模子练习中,而且在大辞汇量语音识别系统中获得庞大成功,使得语音识此外毛病率相对减低30%。可是,DNN还没有有用的并行快速算法,很多研讨机构都是在操纵大范围数据语料经过GPU平台进步DNN声学模子的练习效力。在国际上,IBM、google等公司都快速停止了DNN语音识此外研讨,而且速度缓慢。国内方面,阿里巴巴,科大讯飞、百度、中科院自动化所等公司或研讨单元,也在停止深度进修在语音识别上的研讨。

3、自然说话处置等其他范畴

深度进修在自然说话处置方面也具有庞大的潜力,虽然今朝的研讨还没有获得像语音识别那样的冲破性功效。比来,辛顿带领的研讨团队基于深度进修方式从大量份子中找到能够成为药物的份子,这项功效由此获得了默克(Merck)公司援助的一项大奖。究竟上,触及到大数据智能分析和猜测的范畴都能够找到深度进修的用武之地,这样的范畴包括(但不范围于):互联网行为分析、文天职析、市场监测、自动控制(如无人驾驶汽车)等等。


鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

引用 f520121314 2020-4-26 11:02
转发了
引用 心灵鸡腿 2020-4-26 11:02
转发了
引用 Georgesex 2020-4-26 11:01
转发了
引用 小杨 2020-4-26 11:00
转发了
引用 222 2020-4-26 11:00
转发了
引用 卡哇伊啦 2020-4-26 10:59
转发了
引用 进驻 2020-4-26 10:58
转发了
引用 56995196 2020-4-26 10:57
转发了
引用 Donaldvob 2020-4-26 10:57
转发了
引用 thatsme 2020-4-26 10:56
好多神经网络[晕][晕][晕]

查看全部评论(10)

相关分类

点击排行
  • 联系我们
  • 邮箱:admin@c0ks.com(请把#改成@)
  • 电话:18530790808
  • QQ客服 1031180668
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信二维码

  • 扫描访问手机版

Archiver|手机版|小黑屋|从零开始

GMT+8, 2020-6-5 05:31 , Processed in 0.163371 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

  • QQ: 1031180668

    客服电话

    18530790808

    电子邮件

    admin@c0ks.com

    在线时间:8:00-16:00