请选择 进入手机版 | 继续访问电脑版
设为首页 收藏本站
开启辅助访问 快捷导航
菜单
从零开始 资讯 查看内容

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)

2020-4-26 11:09 发布者: 潇筱枭 评论 1 查看 227
新智元推荐1《深度学习》的出版表明我们进入了一个系统化理解和组织深度学习框架的新时代。中文版上市无疑值得中文人工智能界关注。新智元创始人杨静认为,这是一本教科书,又不只是一本教科书,任何对深度学习感兴 ...
「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

新智元保举1

《深度进修》的出书表白我们进入了一个系统化了解和构造深度进修框架的新时代。中文版上市无疑值得中文野生智能界关注。新智元开创人杨静以为,这是一本教科书,又不但是一本教科书,任何对深度进修感爱好的读者,阅读本书城市受益。

《深度进修》中文版首发的 7 月恰逢新智元入驻融科资讯中心。为了庆贺两件丧事,报答读者厚爱,新智元特举行批评赠书活动,并节选书中内容,让读者先睹为快。留下你的批评,获点赞前十的介入者将获得我们的免费赠书~

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

比来十年,深度进修成为了风行全球的野生智能新技术。在计较机视觉、语音和音频处置、自然说话处置、机械人技术、生物信息学、电子游戏、搜索引擎、收集广告和金融等很多范畴,深度进修技术都已经被证实是有用、有用的。

克日,由深度进修范畴三位前沿、威望的专家 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 合著的野生智能范畴的圣经、持久位居美国亚马逊野生智能类图书榜首的《深度进修》(Deep Learning)中文版上市,为国内炽热的野生智能大潮再添一把火。

《深度进修》中文版从引进版权到正式出书历经三年,中文版的推出填补了今朝国内缺少深度进修综合性教科书的空缺。该书从浅入深先容了根本数学常识、机械进修经历以及现阶段深度进修的理论和成长,它能帮助野生智能技术爱好者和从业职员在三位专家学者的思维率领下全方位领会深度进修。

名家看点:中文版保举语

▶ 新智元开创人兼 CEO 杨静:这是一本教科书,又不但是一本教科书。任何对深度进修感爱好的读者,本书在很长一段时候里,都将是你能获得的最周全系统的材料,以及思考并真正推动深度进修产业利用、构建智能化社会框架的绝佳理论起点。

微软研讨院首席研讨员华刚博士:《深度进修》的中文译本忠厚客观地表述了英文原稿的内容。本书的三位配合作者是一个老中青三代连系的整体,既有深度进修范畴的奠基人,也有处于研讨生活中期的范畴中坚,更有范畴里近年出现的新星。所以,本书的结构行文很好地斟酌到了处于研讨生活各个分歧阶段的门生和研讨职员的需求,是一本很是好的关于深度进修的教科书。深度进修近年来在学术界和产业界都获得了极大的成功,但诚如本书作者所说,深度进修是建立野生智能系统的一个重要的方式,但不是全数的方式。期望在野生智能范畴有所作为的研讨职员,可以经过本书充实思考深度进修和传统机械进修、野生智能算法的联系和区分,配合推动本事域的成长。

腾讯优图精采科学家、香港中文大学教授贾佳亚:这是一本还在写作阶段就被开辟、研讨和工程职员极大关注的深度进修教科书。它的出书表白我们进入了一个系统化了解和构造深度进修框架的新时代。这本书从浅入深先容了根本数学、机械进修经历,以及现阶段深度进修的理论和成长。它能帮助 AI 技术爱好者和从业职员在三位专家学者的思维率领下全方位领会深度进修。

华为诺亚方舟尝试室主任,北京大学、南京大学客座教授,IEEE Fellow 李航:深度进修代表了我们这个时代的野生智能技术。这部由该范畴最威望的几位学者 Good-fellow、Bengio、Courville 撰写的题为《深度进修》的著作,涵盖了深度进修的根本与利用、理论与理论等各个方面的首要技术,概念鲜明,论述深入,讲授详实,内容充实。相信这是每一位关注深度进修人士的必念书目和必备宝典。感激张志华教授等的辛苦审校,使这部高文可以这么快与中文读者碰头。

▶ 亚马逊主任科学家、Apache MXNet 倡议人之一李沐:从根本前馈神经收集到深度天生模子,从数学模子到最好理论,这本书覆盖了深度进修的各个方面。《深度进修》是当下最合适的入门书籍,激烈保举给此范畴的研讨者和从业职员。

▶ ResNet 作者之一、Face++ 首席科学家孙剑:出自三位深度进修最前沿威望学者的教科书一定要在案前放一本。本书的第二部分是精华,对深度进修的根基技术停止了深入浅出的出色论述。

香港中文大学信息工程系主任汤晓鸥教授曩昔十年里,深度进修的普遍利用开创了野生智能的新时代。这本课本是深度进修范畴有重要影响的几位学者配合撰写。它涵盖了深度进修的首要偏向,为想进入该范畴的研讨职员、工程师以及初学者供给了一个很好的系统性课本。

译者序:青山遮不住,究竟东流去

深度进修这个术语自 2006 年被正式提出后,在比来 10 年获得了庞大成长。它使野生智能 (AI) 发生了反动性的冲破,让我们实在地明白到野生智能给人类生活带来改变的潜力。2016 年 12 月,MIT 出书社出书了 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 三位学者撰写的《Deep Learning》一书。三位作者一向耕作于机械进修范畴的前沿,引领了深度进修的成长潮水,是深度进修众多方式的首要进献者。该书正该当时,一经出书就风行全球。

该书包括 3 个部分,第 1 部分先容根基的数学工具和机械进修的概念,它们是深度进修的预备常识。第 2 部分系统深上天讲授现今已成熟的深度进修方式和技术。第 3 部分会商某些具有前瞻性的偏向和想法,它们被公以为是深度进修未来的研讨重点。是以,该书适用于分歧条理的读者。我本人在阅读该书时遭到启发很多,大有裨益,并采用该书作为课本在北京大学讲授深度进修课程。

这是一本涵盖深度进修技术细节的教科书,它告诉我们深度进修集技术、科学与艺术于一体,牵扯统计、优化、矩阵、算法、编程、散布式计较等多个范畴。书中同时也包含了作者对深度进修的了解和思考,处处闪灼着深入的思惟,耐人回味。第 1 章关于深度进修的思惟、历史成长等论述尤其透彻而精炼。

作者在书中写到:“野生智能的真正应战在于处理那些对人来说很轻易履行、但很难形式化描写的使命,比如识他人们所说的话或图像中的脸。对于这些题目,我们人类常常可以凭直觉轻易地处理”。为了应对这些应战,他们提出让计较机从经历中进修,并按照条理化的概念系统来了解天下,而每个概念经过与某些相对简单的概念之间的关系来界说。由此,作者给出了深度进修的界说:“条理化的概念让计较机构建较简单的概念来进修复杂概念。假如绘制出暗示这些概念若何建立在相互之上的一幅图,我们将获得一张 `深'(条理很多) 的图。由此,我们称这类方式为 AI 深度进修 (deep learning)”。

作者指出:“一般以为,到今朝为止深度进修已经履历了三次成长浪潮:20 世纪 40 年月到 60 年月深度进修的雏形出现在控制论 (cybernetics) 中,20 世纪 80 年月到 90 年月深度进修以联络主义 (connectionism) 为代表,而从 2006 年起头,以深度进修之名复兴”。

谈到深度进修与脑科学大概神经科学的关系,作者夸大:“现在神经科学在深度进修研讨中的感化被削弱,首要缘由是我们底子没有充足的关于大脑的信息作为指导去利用它。要获得对被大脑现实利用算法的深入了解,我们需要有才能同时监测 (最少是) 数千相连神经元的活动。我们不可以做到这一点,所以我们甚至连大脑最简单、最深入研讨的部分都还远远没有了解”。值得留意的是,我国有些专家热衷提倡野生智能与脑科学或认知学科的穿插研讨,鞭策国家在所谓的“类脑智能”等范畴投入大量资本。且非论我国事否真有同时精通野生智能和脑科学或认贴心理学的学者,最少对穿插范畴,我们都应当怀着务实、理性的求是态度。惟有如此,我们才有能够在这一波野生智能成长浪潮中有所作为,而不是又成为一群观潮人。

作者进一步指出:“媒体报道经常夸大深度进修与大脑的类似性。简直,深度进修研讨者比其他机械进修范畴 (如核方式或贝叶斯统计) 的研讨者更能够地援用大脑作为参考,但大师不应当以为深度进修在尝试模拟大脑。现代深度进修从很多范畴获得灵感,出格是利用数学的根基内容如线性代数、几率论、信息论和数值优化。虽然一些深度进修的研讨职员援用神经科学作为重要的灵感来历,但是其他学者完全不关心神经科学”。简直,对于广大青年学者和一线的工程师来说,我们是可以完全不用由于不懂神经 (或脑) 科学而对深度进修、野生智能踯躅不前。数学模子、计较方式和利用驱动才是我们研讨野生智能的可行之道。深度进修和野生智能不是飘悬在我们头顶的框架,而是安身于我们脚下的技术。我们固然可以从哲学层面或角度来欣赏科学与技术,但过度地从哲学层面来研讨科学题目只会致使一些空洞的名词。

关于野生神经收集在 20 世纪 90 年月中期的衰落,作者分析到:“基于神经收集和其他 AI 技术的创业公司起头追求投资,其做法野心勃勃但不切现实。当 AI 研讨不能实现这些不公道的期望时,投资者感应失望。同时,机械进修的其他范畴获得了进步。比如,核方式和图模子都在很多重要使命上实现了很好的结果。这两个身分致使了神经收集高潮的第二次衰退,并一向延续到 2007 年”。“其兴也悖焉,其亡也忽焉”。这个经验也一样值得现今基于深度进修的创业界、产业界和学术界等警醒。

我很是侥幸获得群众邮电出书社王峰松师长的约请来负责该书的中文翻译。我是 2016 年 7 月收到王师长的约请,但那时我正忙于找工作,无暇顾及。但是,当我和我的门生会商翻译事件时,他们分歧以为这是一件很是成心义的工作,表达愿意来承当。译稿是由我的四位门生赵申剑、黎彧君、符天凡和李凯自力完成的。申剑和天凡是二年级的硕士生,而李凯和彧君则别离是二年级和三年级的直博生。虽然他们在机械进修范畴都还是新人,其常识结构还不周全,可是他们热情高涨、勤于进修、工作专注、履行力极强。他们通太重现书中的算法代码和阅读相关文献来增强了解,在不到三个月的时候就拿出了译著的初稿,以后又经过自校订、穿插校订等环节力图使译著连结正确性和分歧性。他们自我调和、自动揽责、相互忍让,他们的义务心和自力工作才能让我倍感欣喜,因此得以自在。

由于我们不管是中文还是英文才能都深感有限,译文生怕还是有些僵硬,我们出格担忧未能完整地转达出原作者的实在思惟和概念。是以,我们激烈地倡议有条件的读者去阅读英文原著,也很是期待大师继续斧正译著,以便今落后一步订正完善。我恳请大师多赐与 4 位译者以激励。请把你们对译著的批评留给我,这是我作为他们的导师必必要承当的,也是我对王峰松师长的信赖做出的许诺。

当初译稿根基完成时,我们决议把它公然在 GitHub 上,希望经过广大读者的介入来完善译稿。使人欣喜的是,有上百位热情读者赐与了大量富有扶植性的点窜定见,其中有 20 多位热情读者间接帮助润饰校订 (详见中文版称谢名单)。可以说,这本译著是大师配合尽力的结晶。这些读者来自一线的工程师和在校的门生,从中我明白到了他们对深度进修和机械进修范畴的挚爱。更重要的是,我感遭到了他们开放、合作和奉献的精神,而这也是鞭策听工智能成长不成或缺的。是以,我加倍果断地以为中国野生智能成长的希望在于年轻学者,惟有他们才能让我国野生智能学科在天下有合作力和影响力。

山河代有人材出,各领风骚数十年!

张志华代笔

2017 年 5 月 12 日于北大静园六院

先睹为快:深度进修成长与《深度进修》概览

引言

远在古希腊期间,发现家就胡想着缔造能自立思考的机械。神话人物皮格马利翁(Pygmalion)、代达罗斯 (Daedalus) 和赫淮斯托斯 (Hephaestus) 可以被看做传闻中的发现家,而加拉蒂亚 (Galatea)、塔洛斯 (Talos) 和潘多拉 (Pandora) 则可以被视为人造生命 (Ovid and Martin, 2004; Sparkes, 1996; Tandy, 1997)。

当人类第一次构想可编程计较机时,就已经在思考计较性能否变得智能 (虽然这距造出第一台计较机还有一百多年)(Lovelace, 1842)。现在,野生智能 (artificial intelligence, AI) 已经成为一个具有众多现实利用和活跃研讨课题的范畴,而且正在兴旺成长。我们期望经过智能软件自动地处置常规劳动、了解语音或图像、帮助医学诊断和支持根本科学研讨。

在野生智能的早期,那些对人类智力来说很是困难、但对计较机来说相对简单的题目获得敏捷处理,比如,那些可以经过一系列形式化的数学法则来描写的题目。野生智能的真正应战在于处理那些对人来说很轻易履行、但很难形式化描写的使命,如识他人们所说的话或图像中的脸。对于这些题目,我们人类常常可以凭仗直觉轻易地处理。

针对这些比力直观的题目,本书会商一种处理计划。该计划可以让计较机从经历中进修,并按照条理化的概念系统来了解天下,而每个概念则经过与某些相对简单的概念之间的关系来界说。让计较机从经历获得常识,可以避免由人类来给计较机形式化地指定它需要的一切常识。条理化的概念让计较机构建较简单的概念来进修复杂概念。假如绘制出暗示这些概念若何建立在相互之上的图,我们将获得一张“深”(条理很多) 的图。基于这个缘由,我们称这类方式为 AI 深度进修(deep learning)。

AI 很多早期的成功发生在相对朴实且形式化的情况中,而且不要求计较机具有很多关于天下的常识。例如,IBM 的深蓝 (Deep Blue) 国际象棋系统在 1997 年击败了天下冠军Garry Kasparov(Hsu, 2002)。明显国际象棋是一个很是简单的范畴,由于它仅含有 64 个位置并只能以严酷限制的方式移动 32 个棋子。设想一种成功的国际象棋战略是庞大的成就,但向计较机描写棋子及其答应的走法并不是这一应战的困难地点。国际象棋完全可以由一个很是简短的、完全形式化的法则列表来描写,并可以轻易地由法式员事前预备好。

具有嘲讽意义的是,笼统和形式化的使命对人类而言是最困难的脑力使命之一,但对计较机而言却属于最轻易的。计较机早就可以打败人类最好的国际象棋选手,但直到比来计较机才在识别工具或语音使命中到达人类均匀水平。一小我的平常生活需要关于天下的巨量常识。很多这方面的常识是主观的、直观的,是以很难经过形式化的方式表达清楚。计较机需要获得一样的常识才能表示出智能。野生智能的一个关键应战就是若何将这些非形式化的常识转达给计较机。

一些野生智能项视力图将关于天下的常识用形式化的说话停止硬编码 (hard-code)。计较机可以利用逻辑推理法则来自动地了解这些形式化说话中的声明。这就是众所周知的野生智能的常识库(knowledge base) 方式。但是,这些项目终极都没有获得严重的成功。其中最著名的项目是 Cyc (Lenat and Guha, 1989)。Cyc 包括一个揣度引擎和一个利用 CycL 说话描写的声明数据库。这些声明是由人类监视者输入的。这是一个拙笨的进程。人们想法设想出充足复杂的形式化法则来切确地描写天下。例如,Cyc 不能了解一个关于名为 Fred 的人在早上剃须的故事 (Linde, 1992)。它的推理引擎检测到故事中的纷歧致性:它晓得人体的组成不包括电气零件,但由于 Fred 正拿着一个电动剃须刀,它以为实体——“正在剃须的 Fred”(“FredWhileShaving”) 含有电气部件。是以,它发生了这样的疑问——Fred 在刮胡子的时辰能否仍然是一小我。

依靠硬编码的常识系统面临的困难表白,AI 系统需要具有自己获得常识的才能,即从原始数据中提取形式的才能。这类才能称为机械进修(machine learning)。引入机械进修使计较性可以处理触及现实天下常识的题目,并能做出看似主观的决议。比如,一个称为逻辑回归 (logistic regression) 的简单机械进修算法可以决议能否倡议剖腹产 (Mor-Yosef et al., 1990)。而一样是简单机械进修算法的朴实贝叶斯(naive Bayes) 则可以区分渣滓电子邮件和正当电子邮件。

这些简单的机械进修算法的性能在很洪流平上依靠于给定数据的暗示 (representation)。例如,当逻辑回归用于判定产妇能否合适剖腹产时,AI 系统不会间接检查患者。相反,医生需要告诉系统几条相关的信息,诸如能否存在子宫疤痕。暗示患者的每条信息称为一个特征。逻辑回归进修病人的这些特征若何与各类成果相关联。但是,它丝绝不能影响该特征界说的方式。假如将病人的 MRI(核磁共振) 扫描而不是医生正式的报告作为逻辑回归的输入,它将没法做出有用的猜测。MRI 扫描的单一像素与临蓐进程中并发症之间的相关性微不敷道。

在全部计较机科学甚至平常生活中,对暗示的依靠都是一个普遍现象。在计较机科学中,假如数据调集被精巧地结构化并被智能地索引,那末诸如搜索之类的操纵的处置速度便可以成指数级地加速。人们可以很轻易地在阿拉伯数字的暗示下停止算术运算,但在罗马数字的暗示下,运算会比力耗时。是以,绝不希奇,暗示的挑选会对机械进修算法的性能发生庞大的影响。图 1.1 展现了一个简单的可视化例子。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.1 分歧暗示的例子:假定我们想在散点图中画一条线来分隔两类数据。在左图中,我们利用笛卡儿坐标暗示数据,这个使命是不成能的。在右图中,我们用极坐标暗示数据,可以用垂直线简单地处理这个使命 (与 David Warde-Farley 合作绘制此图)

很多野生智能使命都可以经过以下方式处理:先提取一个合适的特征集,然后将这些特征供给给简单的机械进修算法。例如,对于经过声音辨别措辞者的使命来说,一个有用的特征是对其声道巨细的估量。这个特征为判定措辞者是男性、女性还是儿童供给了有力线索。

但是,对于很多使命来说,我们很难晓得应当提取哪些特征。例如,假定我们想编写一个法式来检测照片中的车。我们晓得,汽车有轮子,所以我们能够会想用车轮的存在与否作为特征。遗憾的是,我们难以正确地按照相素值来描写车轮看上去像什么。虽然车轮具有简单的多少外形,但它的图像能够会因场景而异,如落在车轮上的阴影、太阳照亮的车轮的金属零件、汽车的挡泥板大概遮挡的车轮一部分的远风景体等。

处理这个题目标路子之一是利用机械进修来挖掘暗示自己,而不但仅把暗示映照到输出。

这类方式我们称之为暗示进修(representation learning)。进修到的暗示常常比手动设想的暗示表示得更好。而且它们只需最少的野生干涉,就能让AI系统敏捷顺应新的使命。暗示进修算法只需几分钟便可以为简单的使命发现一个很好的特征集,对于复杂使命则需要几小时到几个月。手动为一个复杂的使命设想特征需要花费大量的野生、时候和精神,甚至需要花费全部社群研讨职员几十年的时候。

暗示进修算法的典型例子是自编码器(autoencoder)。自编码器由一个编码器(encoder) 函数和一个解码器(decoder) 函数组合而成。编码器函数将输入数据转换为一种分歧的暗示,而解码器函数则将这个新的暗示转换回本来的形式。我们期望当输入数据经过编码器息争码器以后尽能够多地保存信息,同时希望新的暗示有各类好的特征,这也是自编码器的练习方针。为了实现分歧的特征,我们可以设想分歧形式的自编码器。

当设想特征或设想用于进修特征的算法时,我们的方针凡是是分手出能诠释观察数据的变差身分(factors of variation)。在此布景下,“身分”这个词仅指代影响的分歧来历;身分凡是不是乘性组合。这些身分凡是是不能被间接观察到的量。相反,它们能够是现实天下中观察不到的物体大概不成观察的力,但会影响可观察的量。为了对观察到的数据供给有用的简化诠释或揣度其缘由,它们还能够以概念的形式存在于人类的思维中。它们可以被看做数据的概念大概笼统,帮助我们领会这些数据的丰富多样性。当分析语音记录时,变差身分包括措辞者的年龄、性别、他们的口音和他们正在说的词语。当分析汽车的图像时,变差身分包括汽车的位置、它的色彩、太阳的角度和亮度。

在很多现实的野生智能利用中,困难首要源于多个变差身分同时影响着我们可以观察到的每一个数据。比如,在一张包括红色汽车的图片中,其单个像素在夜间能够会很是接近黑色。汽车表面的外形取决于视角。大大都利用需要我们理清变差身分并疏忽我们不关心的身分。

明显,从原始数据中提取如此高条理、笼统的特征是很是困难的。很多诸如措辞口音这样的变差身分,只能经过对数据停止复杂的、接近人类水平的了解来辨识。这几近与获得原题目标暗示一样困难,是以,乍一看,暗示进修似乎并不能帮助我们。

深度进修(deep learning) 经过其他较简单的暗示来表达复杂暗示,处理了暗示进修中的焦点题目。

深度进修让计较机经过较简单的概念构建复杂的概念。图 1.2 展现了深度进修系统若何经过组合较简单的概念 (例如角和表面,它们反过出处边线界说) 来暗示图像中人的概念。深度进修模子的典型例子是前馈深度收集或或多层感知机(multilayer perceptron, MLP)。多层感知机仅仅是一个将一组输入值映照到输出值的数学函数。该函数由很多较简单的函数复合而成。我们可以以为分歧数学函数的每一次利用都为输入供给了新的暗示。

进修数据的正确暗示的想法是诠释深度进修的一个视角。另一个视角是深度促使计较机进修一个多步调的计较机法式。每一层暗示都可以被以为是并行履行另一组指令以后计较机的存储器状态。更深的收集可以按顺序履行更多的指令。顺序指令供给了极大的才能,由于前面的指令可以参考早期指令的成果。从这个角度上看,在某层激活函数里,并非一切信息都蕴涵着诠释输入的变差身分。暗示还存储着状态信息,用于帮助法式了解输入。这里的状态信息类似于传统计较机法式中的计数器或指针。它与具体的输入内容无关,但有助于模子构造其处置进程。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.2 深度进修模子的表示图。计较机难以了解原始感观输入数据的寄义,如暗示为像素值调集的图像。将一组像素映照到工具标识的函数很是复杂。假如间接处置,进修或评价此映照似乎是不成能的。深度进修将所需的复杂映照分化为一系列嵌套的简单映照 (每个由模子的分歧层描写) 来处理这一困难。输入展现在可见层(visible layer),这样命名的缘由是由于它包括我们能观察到的变量。然后是一系列从图像中提取越来越多笼统特征的隐藏层(hidden layer)。由于它们的值不在数据中给出,所以将这些层称为“隐藏层”; 模子必须肯定哪些概念有益于诠释观察数据中的关系。这里的图像是每个隐藏单元暗示的特征的可视化。给定像素,第 1 层可以轻易地经过比力相邻像素的亮度来识别边沿。有了第 1 隐藏层描写的边沿,第 2 隐藏层可以轻易地搜索可识别为角和扩大表面的边调集。给定第 2 隐藏层中关于角和表面的图像描写,第 3 隐藏层可以找到表面和角的特定调集来检测特定工具的全部部分。最初,按照图像描写中包括的工具部分,可以识别图像中存在的工具 (经 Zeiler and Fergus (2014) 答应援用此图)

今朝首要有两种怀抱模子深度的方式。一种方式是基于评价架构所需履行的顺序指令的数目。假定我们将模子暗示为给定输入后,计较对应输出的流程图,则可以将这张流程图中的最长途径视为模子的深度。正如两个利用分歧说话编写的等价法式将具有分歧的长度,不异的函数可以被绘制为具有分歧深度的流程图,其深度取决于我们可以用来作为一个步调的函数。图 1.3 说了然说话的挑选若何给不异的架构两个分歧的权衡。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.3 将输入映照到输出的计较图表的表示图,其中每个节点履行一个操纵。深度是从输入到输出的最长途径的长度,但这取决于能够的计较步调的界说。这些图中所示的计较是逻辑回归模子的输出,σ(wTx),其中σ是 logistic sigmoid 函数。假如利用加法、乘法和 logistic sigmoid 作为计较机说话的元素,那末这个模子深度为 3;假如将逻辑回归视为元素自己,那末这个模子深度为 1

另一种是在深度几率模子中利用的方式,它不是将计较图的深度视为模子深度,而是将描写概念相互若何关联的图的深度视为模子深度。在这类情况下,计较每个概念暗示的计较流程图的深度能够比概念自己的图更深。这是由于系统对较简单概念的了解在给出更复杂概念的信息后可以进一步邃密化。例如,一个 AI 系统观察其中一只眼睛在阴影中的面部图像时,它最初能够只看到一只眼睛。但当检测到面部的存在后,系统可以揣度第二只眼睛也能够是存在的。在这类情况下,概念的图仅包括两层 (关于眼睛的层和关于脸的层),但假如我们细化每个概念的估量将需要额外的 n 次计较,那末计较的图将包括 2n 层。

由于并不总是清楚计较图的深度和几率模子图的深度哪一个是最成心义的,而且由于分歧的人挑选分歧的最小元素集来构建响应的图,所以就像计较机法式的长度不存在单一的正确值一样,架构的深度也不存在单一的正确值。别的,也不存在模子何等深才能被修饰为“深” 的共鸣。但相比传统机械进修,深度进修研讨的模子触及更多学到功用或学到概念的组合,这点毋庸置疑。

总之,这本书的主题 —— 深度进修是通向野生智能的路子之一。具体来说,它是机械进修的一种,一种可以使计较机系统从经历和数据中获得进步的技术。我们深信机械进修可以构建出在复杂现真相况下运转的 AI 系统,而且是唯一实在可行的方式。深度进修是一种特定范例的机械进修,具有强大的才能和灵活性,它将大千天下暗示为嵌套的条理概念系统 (由较简单概念间的联系界说复杂概念、从一般笼统概括到高级笼统暗示)。图 1.4 说了然这些分歧的 AI 学科之间的关系。图 1.5 展现了每个学科若何工作的高条理道理。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.4 维恩图展现了深度进修既是一种暗示进修,也是一种机械进修,可以用于很多 (但不是全数)AI 方式。维恩图的每个部分包括一个 AI 技术的实例

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.5 流程图展现了 AI 系统的分歧部分若何在分歧的 AI 学科中相互相关。阴影框暗示能从数据中进修的组件

1.1 本书面向的读者

本书对各类读者都有一定的用处,但主如果为两类受众而写的。其中,一类受众是进修机械进修的大门生 (本科或研讨生),包括那些已经起头职业生活的深度进修和野生智能研讨者。另一类受众是没有机械进修或统计布景,但希望能快速地把握这方面常识,并在他们的产物或平台中利用深度进修的软件工程师。现已证实,深度进修在很多软件范畴都是有用的,包括计较机视觉、语音和音频处置、自然说话处置、机械人技术、生物信息学和化学、电子游戏、搜索引擎、收集广告和金融。

为了更好地办事各类读者,我们将本书构造为 3 个部分。第 1 部分先容根基的数学工具和机械进修的概念。第 2 部分先容最成熟的深度进修算法,这些技术根基上已经获得处理。第 3 部分会商某些具有展望性的想法,它们被普遍地以为是深度进修未来的研讨重点。

读者可以随意跳过不感爱好或与自己布景不相关的部分。熟悉线性代数、几率和根基机械进修概念的读者可以跳过第 1 部分。若读者只是想实现一个能工作的系统,则不需要阅读超越第 2 部分的内容。为了帮助读者挑选章节,图 1.6 给出了本书高层构造结构的流程图。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.6 本书的高层构造结构的流程图。从一章到另一章的箭头暗示前一章是了解后一章的必备内容

我们假定一切读者都具有计较机科学布景。也假定读者熟悉编程,而且对计较的性能题目、复杂性理论、入门级微积分和一些图论术语有根基的领会。

《深度进修》英文版配套网站是 www.deeplearningbook.org。网站上供给了各类补充材料,包括练习、课本幻灯片、毛病更正以及其他应当对读者和讲师有用的资本。

《深度进修》中文版的读者,可拜候群众邮电出书社异步社区网站 www.epubit.com.cn,获得更多图手札息。

1.2 深度进修的历史趋向

经过历史布景领会深度进修是最简单的方式。这里我们仅指出深度进修的几个关键趋向,而不是供给其具体的历史:

  • 深度进修有着悠久而丰富的历史,但随着很多分歧哲学概念的渐渐磨灭,与之对应的称号也渐渐尘封。

  • 随着可用的练习数据量不竭增加,深度进修变得加倍有用。

  • 随着时候的推移,针对深度进修的计较机软硬件根本设备都有所改良,深度进修模子的范围也随之增加。

  • 随着时候的推移,深度进修已经处理日益复杂的利用,而且精度不竭进步。

1.2.1 神经收集的众多称号和命运变迁

我们期待这本书的很多读者都听说过深度进修这一冲动听心的新技术,并对一本书说起一个新兴范畴的“历史”而感应惊奇。究竟上,深度进修的历史可以追溯到 20 世纪 40 年月。深度进修看似是一个全新的范畴,只不外由于在今朝风行的前几年它还是相对冷门的,同时也由于它被赋予了很多分歧的称号 (其中大部分已经不再利用),比来才成为众所周知的“深度进修”。这个范畴已经更换了很多称号,它反应了分歧的研讨职员和分歧概念的影响。

周全地报告深度进修的历史超越了本书的范围。但是,一些根基的布景对了解深度进修是有用的。一般以为,迄今为止深度进修已经履历了 3 次成长浪潮:20 世纪 40 年月到 60 年月,深度进修的雏形出现在控制论(cybernetics) 中;20 世纪 80 年月到 90 年月,深度进修表示为联络主义(connectionism);直到 2006 年,才真正以深度进修之名复兴。图 1.7 给出了定量的展现。

我们明天晓得的一些最早的进修算法,旨在模拟生物进修的计较模子,即大脑怎样进修或为什么能进修的模子。其成果是深度进修以野生神经收集(artificial neural network, ANN) 之名而淡去。彼时,深度进修模子被以为是受生物大脑 (不管人类大脑或其他动物的大脑) 所启发而设想出来的系统。虽然有些机械进修的神经收集偶然被用来了解大脑功用 (Hinton and Shallice, 1991),但它们一般都没有设想成生物功用的实在模子。深度进修的神经概念受两个首要思惟启发:一个想法是,大脑作为例子证实智能行为是能够的,是以,概念上,建立智能的间接路子是逆向大脑背后的计较道理,并复制其功用;另一种看法是,了解大脑和人类智能背后的道理也很是风趣,是以机械进修模子除领会决工程利用的才能,假如能让人类对这些根基的科学题目有进一步的熟悉,也将会很有用。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.7 按照 Google 图书中短语“控制论”“联络主义”或“神经收集”频次权衡的野生神经收集研讨的历史浪潮 ( 图中展现了 3 次浪潮的前两次,第 3 次比来才出现)。第 1 次浪潮起头于 20 世纪 40 年月到 20 世纪 60 年月的控制论,随着生物进修理论的成长 (McCulloch and Pitts, 1943; Hebb, 1949) 和第一个模子的实现 (如感知机 (Rosenblatt, 1958)),能实现单个神经元的练习。第 2 次浪潮起头于 1980—1995 年间的联络主义方式,可以利用反向传布 (Rumelhart et al., 1986a) 练习具有一两个隐藏层的神经收集。当前第 3 次浪潮,也就是深度进修,大约始于 2006 年 (Hinton et al., 2006a; Bengio et al., 2007a; Ranzato et al., 2007a),而且于 2016 年以图书的形式出现。别的,前两次浪潮类似地出现在书中的时候比响应的科学活动晚很多。

现代术语“深度进修”超越了今朝机械进修模子的神经科学概念。它诉诸于进修多条理组合这一更普遍的道理,这一道理也可以利用于那些并非受神经科学启发的机械进修框架。

现代深度进修最早的前身是从神经科学的角度动身的简单线性模子。这些模子设想为利用一组 n 个输入 x1,··· ,xn,并将它们与一个输出 y 相关联。这些模子希望进修一组权重 w1,··· ,wn,并计较它们的输出 f(x,w) = x1w1 + ··· + xnwn。如图 1.7 所示,第一次神经收集研讨浪潮称为控制论。

McCulloch-Pitts 神经元 (McCulloch and Pitts, 1943) 是脑功用的早期模子。该线性模子经过检验函数 f(x,w) 的正负来识别两种分歧种此外输入。明显,模子的权重需要正确设备后才能使模子的输出对应于期望的种别。这些权重可以由操纵职员设定。20 世纪 50 年月,感知机 (Rosenblatt, 1956, 1958) 成为第一个能按照每个种此外输入样原本进修权重的模子。大约在同一期间,自顺应线性单元(adaptive linear element, ADALINE) 简单地返回函数 f(x)自己的值来猜测一个实数 (Widrow and Hoff, 1960),而且它还可以进修从数据猜测这些数。

这些简单的进修算法大大影响了机械进修的现代气象。用于调理 ADALINE 权重的练习算法是被称为随机梯度下降(stochastic gradient descent) 的一种惯例。略加改良后的随机梯度下降算法仍然是现今深度进修的首要练习算法。

基于感知机和 ADALINE 中利用的函数 f(x,w) 的模子称为线性模子(linear model)。虽然在很多情况下,这些模子以分歧于原始模子的方式停止练习,但还是今朝最普遍利用的机械进修模子。

线性模子有很多范围性。最著名的是,它们没法进修异或 (XOR) 函数,即 f([0,1],w) = 1 和 f([1,0],w) = 1,但 f([1,1],w) = 0 和 f([0,0],w) = 0。观察到线性模子这个缺点的批评者对受生物学启发的进修普遍地发生了抵牾 (Minsky and Papert, 1969)。这致使了神经收集高潮的第一次大衰退。

现在,神经科学被视为深度进修研讨的一个重要灵感来历,但它已不再是该范畴的首要指导。

现在神经科学在深度进修研讨中的感化被削弱,首要缘由是我们底子没有充足的关于大脑的信息来作为指导去利用它。要获得对被大脑现实利用算法的深入了解,我们需要有才能同时监测 (最少是) 数千相连神经元的活动。我们不可以做到这一点,所以我们甚至连大脑最简单、最深入研讨的部分都还远远没有了解 (Olshausen and Field, 2005)。

神经科学已经给了我们依靠单一深度进修算法处理很多分歧使命的来由。神经学家们发现,假如将雪貂的大脑重新毗连,使视觉信号传送到听觉地区,它们可以学会用大脑的听觉处置地区去“看”(Von Melchner et al., 2000)。这暗示着大大都哺乳动物的大脑利用单一的算法便可以处理其大脑可以处理的大部分分歧使命。在这个假定之前,机械进修研讨是比力分离的,研讨职员在分歧的社群研讨自然说话处置、计较机视觉、活动计划和语音识别。现在,这些利用社群仍然是自力的,可是对于深度进修研讨团体来说,同时研讨很多甚至一切这些利用范畴是很常见的。

我们可以从神经科学获得一些大略的指南。仅经过计较单元之间的相互感化而变得智能的根基思惟是受大脑启发的。新认知机 (Fukushima, 1980) 受哺乳动物视觉系统的结构启发,引入了一个处置图片的强大模子架构,它后来成为了现代卷积收集的根本 (LeCun et al., 1998c)(拜见第 9.10 节)。今朝大大都神经收集是基于一个称为整流线性单元(rectified linear unit) 的神经单元模子。原始认知机 (Fukushima, 1975) 受我们关于大脑功用常识的启发,引入了一个更复杂的版本。简化的现代版经过吸收来自分歧概念的思惟而构成,Nair and Hinton (2010b) 和 Glorot et al.(2011a) 援用神经科学作为影响,Jarrett et al. (2009a) 援用更多面向工程的影响。虽然神经科学是灵感的重要来历,但它不需要被视为刚性指导。我们晓得,实在的神经元计较着与现代整流线性单元很是分歧的函数,但更接近实在神经收集的系统并没有致使机械进修性能的提升。此外,虽然神经科学已经成功地启发了一些神经收集架构,但我们对用于神经科学的生物进修还没有充足多的领会,是以也就不能为练习这些架构用的进修算法供给太多的鉴戒。

媒体报道经常夸大深度进修与大脑的类似性。简直,深度进修研讨者比其他机械进修范畴 (如核方式或贝叶斯统计) 的研讨者更能够地援用大脑作为影响,可是大师不应当以为深度进修在尝试模拟大脑。现代深度进修从很多范畴获得灵感,出格是利用数学的根基内容,如线性代数、几率论、信息论和数值优化。虽然一些深度进修的研讨职员援用神经科学作为灵感的重要来历,但是其他学者完全不关心神经科学。

值得留意的是,领会大脑是若何在算法层面上工作的尝试确切存在且成长杰出。这项尝试首要被称为“计较神经科学”,而且是自力于深度进修的范畴。研讨职员在两个范畴之间往返研讨是很常见的。深度进修范畴首要关注若何构建计较机系统,从而成功处理需要智能才能处理的使命,而计较神经科学范畴首要关注构建大脑若何实在工作的、比力切确的模子。

20 世纪 80 年月,神经收集研讨的第二次浪潮在很洪流平上是陪伴一个被称为联络主义(connectionism) 或并行散布处置( parallel distributed processing) 潮水而出现的 (Rumelhart et al.,1986d; McClellandet al., 1995)。联络主义是在认知科学的布景下出现的。认知科学是了解思维的跨学科路子,即它融合多个分歧的分析条理。20 世纪 80 年月早期,大大都认知科学家研讨标记推理模子。虽然这很风行,但标记模子很难诠释大脑若何真正利用神经元实现推理功用。

联络主义者起头研讨真正基于神经系统实现的认知模子 (Touretzky and Minton, 1985),其中很多苏醒的想法可以追溯到心理学家 Donald Hebb 在 20 世纪 40 年月的工作 (Hebb, 1949)。

联络主义的中心机惟是,当收集将大量简单的计较单元毗连在一路时可以实现智能行为。这类看法一样适用于生物神经系统中的神经元,由于它和计较模子中隐藏单元起着类似的感化。

在 20 世纪 80 年月的联络主义时代构成的几个关键概念在明天的深度进修中仍然是很是重要的。

其中一个概念是散布式暗示(distributed representation)(Hinton et al., 1986)。其思惟是:系统的每一个输入都应当由多个特征暗示,而且每一个特征都应当介入到多个能够输入的暗示。例如,假定我们有一个可以识别红色、绿色或蓝色的汽车、卡车和鸟类的视觉系统,暗示这些输入的其中一个方式是将 9 个能够的组合:红卡车、红汽车、红鸟、绿卡车等利用零丁的神经元或隐藏单元激活。这需要 9 个分歧的神经元,而且每个神经必须自力地进修色彩和工具身份的概念。改良这类情况的方式之一是利用散布式暗示,即用 3 个神经元描写色彩,3 个神经元描写工具身份。这仅仅需要 6 个神经元而不是 9 个,而且描写红色的神经元可以从汽车、卡车和鸟类的图像中进修红色,而不但仅是从一个特定种此外图像中进修。散布式暗示的概念是本书的焦点,我们将在第 15 章中加倍具体地描写。

联络主义潮水的另一个重要成就是反向传布在练习具有内部暗示的深度神经收集合的成功利用以及反向传布算法的提高 (Rumelhart et al., 1986c; LeCun, 1987)。这个算法虽然曾黯然失容且不再风行,但停止写书之时,它还是练习深度模子的主导方式。

20 世纪 90 年月,研讨职员在利用神经收集停止序列建模的方面获得了重要停顿。Hochreiter (1991b) 和 Bengio et al. (1994b) 指出了对长序列停止建模的一些根赋性数学困难,这将在第 10.7 节中描写。Hochreiter 和 Schmidhuber(1997) 引入是非期记忆(long shortterm memory, LSTM) 收集来处理这些困难。现在,LSTM 在很多序列建模使命中普遍利用,包括 Google 的很多自然说话处置使命。

神经收集研讨的第二次浪潮一向延续到 20 世纪 90 年月中期。基于神经收集和其他AI技术的创业公司起头追求投资,其做法野心勃勃但不切现实。当AI研讨不能实现这些不公道的期望时,投资者感应失望。同时,机械进修的其他范畴获得了进步。比如,核方式 (Boser et al., 1992; Cortes and Vapnik, 1995; Sch¨olkopf et al., 1999) 和图模子 (Jordan, 1998) 都在很多重要使命上实现了很好的结果。这两个身分致使了神经收集高潮的第二次衰退,并一向延续到 2007 年。

在此时代,神经收集继续在某些使命上获得使人印象深入的表示 (LeCun et al., 1998c; Bengio et al., 2001a)。加拿大高级研讨所 (CIFAR) 经过其神经计较和自顺应感知 (NCAP) 研讨计划帮助保持神经收集研讨。该计划结合了别离由 Geoffrey Hinton、Yoshua Bengio和 Yann LeCun 带领的多伦多大学、蒙特利尔大学和纽约大学的机械进修研讨小组。这个多学科的 CIFAR NCAP 研讨计划还包括了神经科学家、人类和计较机视觉专家。

在阿谁时辰,人们普遍以为深度收集是难以练习的。现在我们晓得,20 世纪 80 年月就存在的算法能工作得很是好,可是直到 2006 年前后都没有表现出来。这能够仅仅由于其计较价格太高,而以那时可用的硬件难以停止充足的尝试。

神经收集研讨的第三次浪潮始于 2006 年的冲破。Geoffrey Hinton 表白名为“深度信心收集”的神经收集可以利用一种称为“贪心逐层预练习”的战略来有用地练习 (Hinton et al., 2006a),我们将在第 15.1 节中更具体地描写。其他 CIFAR 从属研讨小组很快表白,一样的战略可以被用来练习很多其他范例的深度收集 (Bengio and LeCun, 2007a; Ranzato et al., 2007b),并能系统地帮助进步在测试样例上的泛化才能。神经收集研讨的这一次浪潮提高了“深度进修”这一术语,夸大研讨者现在有才能练习之前不成能练习的比力深的神经收集,并出力于深度的理论重要性上 (Bengio and LeCun, 2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。此时,深度神经收集已经优于与之合作的基于其他机械进修技术以及手工设想功用的 AI 系统。在写这本书的时辰,神经收集的第三次成长浪潮仍在继续,虽然深度进修的研讨重点在这一段时候内发生了庞大变化。第三次浪潮已起头着眼于新的无监视进修技术和深度模子在小数据集的泛化才能,但今朝更多的爱好点还是比力传统的监视进修算法和深度模子充实操纵大型标注数据集的才能。

1.2.2 一日千里的数据量

人们能够想问,既然野生神经收集的第一个尝试在 20 世纪 50 年月就完成了,但为什么深度进修直到比来才被以为是关键技术?自 20 世纪 90 年月以来,深度进修就已经成功用于贸易利用,凡是是被视为一种只要专家才可以利用的艺术而不是一种技术,这类概念一向延续到比来。确切,要从一个深度进修算法获得杰出的性能需要一些技能。荣幸的是,随着练习数据的增加,所需的技能正在削减。今朝在复杂的使命中到达人类水平的进修算法,与 20 世纪 80 年月尽力处理玩具题目 (toy problem) 的进修算法几近是一样的,虽然我们利用这些算法练习的模子履历了变化,即简化了极深架构的练习。最重要的新停顿是,现在我们有了这些算法得以成功练习所需的资本。图 1.8 展现了基准数据集的巨细若何随着时候的推移而明显增加。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.8 一日千里的数据量。20 世纪初,统计学家利用数百或数千的手动建造的怀抱来研讨数据集 (Garson, 1900; Gosset, 1908; Anderson, 1935; Fisher, 1936)。20 世纪 50 年月到 80 年月,受生物启发的机械进修开辟者凡是利用小的分解数据集,如低分辨率的字母位图,设想为在低计较本钱下表白神经收集可以进修特定功用 (Widrow and Hoff, 1960; Rumelhart et al., 1986b)。20 世纪 80 年月和 90 年月,机械进修变得更偏统计,并起头操纵包括不计其数个样本的更大数据集,如手写扫描数字的 MNIST 数据集 (如图 1.9 所示)(LeCun et al., 1998c)。在 21 世纪的第一个 10 年里,不异巨细更复杂的数据集延续出现,如 CIFAR-10 数据集 (Krizhevsky and Hinton, 2009)。在这 10 年竣事和接下来的 5 年,明显更大的数据集 (包括数万到数万万的样例) 完全改变了深度进修能够实现的事。这些数据集包括公共 Street View House Numbers 数据集 (Netzer et al., 2011)、各类版本的 ImageNet 数据集 (Deng et al., 2009, 2010a; Russakovsky et al., 2014a) 以及 Sports-1M 数据集 (Karpathy et al., 2014)。在图顶部,我们看到翻译句子的数据集凡是远大于其他数据集,如按照 Canadian Hansard 建造的 IBM 数据集 (Brown et al., 1990) 和 WMT 2014 英法数据集 (Schwenk, 2014)

这类趋向是由社会日益数字化驱动的。由于我们的活动越来越多地发生在计较机上,我们做什么也越来越多地被记录。由于计较机越来越多地联网在一路,这些记录变得更轻易集合治理,并更轻易将它们整理成适于机械进修利用的数据集。由于统计估量的首要负担 (观察少许数据以在新数据上泛化) 已经减轻,“大数据”时代使机械进修加倍轻易。停止 2016 年,一个大略的经历法例是,监视深度进修算法在每类给定约 5000 个标注样本情况下一般将到达可以接管的性能,当最少有 1000 万个标注样本的数据集用于练习时,它将到达或跨越人类表示。此外,在更小的数据集上获得成功是一个重要的研讨范畴,为此我们应出格偏重于若何经过无监视或半监视进修充实操纵大量的未标注样本。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.9 MNIST 数据集的输入样例。“NIST”代表国家标准和技术研讨所 (National Institute of Standards and Technology),是最初收集这些数据的机构。“M”代表“点窜的 (Modified)”,为更轻易地与机械进修算法一路利用,数据已经过预处置。MNIST 数据集包括手写数字的扫描和相关标签 (描写每个图像中包括 0∼9 中哪个数字)。这个简单的分类题目是深度进修研讨中最简单和最普遍利用的测试之一。虽然现代技术很轻易处理这个题目,它仍然很受接待。Geoffrey Hinton 将其描写为“机械进修的果蝇”,这意味着机械进修研讨职员可以在受控的尝试室条件下研讨他们的算法,就像生物学家经常研讨果蝇一样

1.2.3 一日千里的模子范围

20 世纪 80 年月,神经收集只能获得相对较小的成功,而现在神经收集很是成功的另一个重要缘由是我们现在具有的计较资本可以运转更大的模子。联络主义的首要看法之一是,当动物的很多神经元一路工作时会变得聪明。零丁神经元或小调集的神经元不是出格有用。

生物神经元不是出格浓密地毗连在一路。如图 1.10 所示,几十年来,我们的机械进修模子中每个神经元的毗连数目已经与哺乳动物的大脑在同一数目级上。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.10 一日千里的每个神经元的毗连数。最初,野生神经收集合神经元之间的毗连数受限于硬件才能。而现在,神经元之间的毗连数大多是出于设想斟酌。一些野生神经收集合每个神经元的毗连数与猫一样多,而且对于其他神经收集来说,每个神经元的毗连数与较小哺乳动物 (如小鼠) 一样多,这类情况是很是普遍的。甚至人类大脑每个神经元的毗连数也没有太高的数目。生物神经收集范围来自 Wikipedia (2015)

1. 自顺应线性单元 (Widrow and Hoff, 1960);2. 神经认知机 (Fukushima, 1980);3. GPU- 加速卷积收集 (Chellapilla et al., 2006);4. 深度玻尔兹曼机 (Salakhutdinov and Hinton, 2009a);5. 无监视卷积收集 (Jarrett et al., 2009b);6. GPU- 加速多层感知机 (Ciresan et al., 2010);7. 散布式自编码器 (Le et al., 2012);8. Multi-GPU 卷积收集

(Krizhevsky et al., 2012a);9. COTS HPC 无监视卷积收集 (Coates et al., 2013);10. GoogLeNet (Szegedy et al., 2014a)

如图 1.11 所示,就神经元的总数目而言,直到比来神经收集都是惊人的小。自从隐藏单元引入以来,野生神经收集的范围大约每 2.4 年扩大一倍。这类增加是由更大内存、更快的计较机和更大的可用数据集驱动的。更大的收集可以在更复杂的使命中实现更高的精度。这类趋向看起来将延续数十年。除非有才能敏捷扩大新技术,否则最少要到 21 世纪 50 年月,野生神经收集才能具有与人脑不异数目级的神经元。生物神经元暗示的功用能够比今朝的野生神经元所暗示的更复杂,因今生物神经收集能够比图中描画的甚至要更大。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.11 一日千里的神经收集范围。自从引入隐藏单元,野生神经收集的范围大约每 2.4 年翻一倍。生物神经收集范围来自 Wikipedia (2015)

1. 感知机 (Rosenblatt, 1958, 1962);2. 自顺应线性单元 (Widrow and Hoff, 1960);3. 神经认知机 (Fukushima, 1980);4. 早期后向传布收集 (Rumelhart et al., 1986b);5. 用于语音识此外循环神经收集 (Robinson and Fallside, 1991);6. 用于语音识此外多层感知机 (Bengio et al., 1991);7. 均匀场 sigmoid 信心收集 (Saul et al., 1996);8. LeNet5 (LeCun et al., 1998c);9. 反响状态收集 (Jaeger and Haas, 2004);10. 深度信心收集 (Hinton et al., 2006a);11. GPU- 加速卷积收集 (Chellapilla et al., 2006);12. 深度玻尔兹曼机 (Salakhutdinov and Hinton, 2009a);13. GPU加速深度信心收集 (Raina et al., 2009a);14. 无监视卷积收集 (Jarrett et al., 2009b);15. GPU- 加速多层感知机 (Ciresan et al., 2010);16. OMP-1 收集 (Coates and Ng, 2011);17. 散布式自编码器 (Le et al., 2012);18. MultiGPU 卷积收集 (Krizhevsky et al., 2012a);19. COTS HPC 无监视卷积收集 (Coates et al., 2013);20. GoogLeNet (Szegedy et al., 2014a)

现在看来,神经元数目比一个水蛭还少的神经收集不能处理复杂的野生智能题目,这是层见迭出的。即使现在的收集,从计较系统角度来看它能够相当大,但现实上它比相对原始的脊椎动物 (如田鸡) 的神经系统还要小。

由于更快的 CPU、通用 GPU 的出现 (在第 12.1.2 节中会商)、更快的收集毗连和更好的散布式计较的软件根本设备,模子范围随着时候的推移不竭增加是深度进修历史中最重要的趋向之一。人们普遍估计这类趋向将很好地延续到未来。

1.2.4 一日千里的精度、复杂度和对现实天下的冲击

20 世纪 80 年月以来,深度进修供给切确识别和猜测的才能一向在进步。而且,深度进修延续成功天时用于越来越普遍的现实题目中。

最早的深度模子被用来识别裁剪松散且很是小的图像中的单个工具 (Rumelhart et al., 1986d)。尔后,神经收集可以处置的图像尺寸逐步增加。现代工具识别收集能处置丰富的高分辨率照片,而且不需要在被识此外工具四周停止裁剪 (Krizhevsky et al., 2012b)。类似地,最早的收集只能识别两种工具 (或在某些情况下,单类工具的存在与否),而这些现代收集凡是可以识别最少1000个分歧种此外工具。工具识别中最大的角逐是每年举行的 ImageNet 大型视觉识别应战 (ILSVRC)。深度进修敏捷突起的冲动听心的一幕是卷积收集第一次大幅赢得这一应战,它将最高水准的前 5 毛病率从 26.1% 降到 15.3% (Krizhevsky et al., 2012b),这意味着该卷积收集针对每个图像的能够种别天生一个顺序列表,除了 15.3% 的测试样本,其他测试样本的正确类标都出现在此列表中的前 5 项里。尔后,深度卷积收集持续地赢得这些角逐,停止写作本书时,深度进修的最新成果将这个角逐中的前 5 毛病率降到了 3.6%,如图 1.12 所示。

「AI 圣经《深度进修》中文版首发」新智元结合 7 大华人专家保举,第一章内容大放送(批评赠书)_资讯_2020-4-26 11:09发布_从零开始_227

图 1.12 日益下降的毛病率。由于深度收集到达了在 ImageNet 大范围视觉识别应战中合作所必须的范围,它们每年都能赢告捷利,而且发生越来越低的毛病率。数据来历于 Russakovsky et al. (2014b) 和 He et al. (2015)

深度进修也对语音识别发生了庞大影响。语音识别在 20 世纪 90 年月获得进步后,直到约 2000 年都障碍不前。深度进修的引入 (Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a) 使得语音识别毛病率蓦地下降,有些毛病率甚至下降了一半。我们将在第 12.3 节更具体地探讨这个历史。

深度收集在行人检测和图像朋分中也获得了引人注视标成功 (Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013),而且在交通标志分类上获得了超越人类的表示 (Ciresan et al., 2012)。

在深度收集的范围和精度有所进步的同时,它们可以处理的使命也日益复杂。Goodfellow et al. (2014d) 表白,神经收集可以进修输出描写图像的全部字符序列,而不是仅仅识别单个工具。此前,人们普遍以为,这类进修需要对序列中的单个元素停止标注 (Gulcehre and Bengio, 2013)。循环神经收集,如之条件到的 LSTM 序列模子,现在用于对序列和其他序列之间的关系停止建模,而不是仅仅牢固输入之间的关系。这类序列到序列的进修似乎引领着另一个利用的倾覆性成长,即机械翻译 (Sutskever et al., 2014; Bahdanau et al., 2015)。

这类复杂性日益增加的趋向已将其推向逻辑结论,即神经图灵机 (Graves et al., 2014) 的引入,它能进修读取存储单元和向存储单元写入肆意内容。这样的神经收集可以从期望行为的样本中进修简单的法式。例如,从混乱和排好序的样本中进修对一系列数停止排序。这类自我编程技术正处于起步阶段,但原则上未来可以适用于几近一切的使命。

深度进修的另一个最大的成就是其在强化进修(reinforcement learning) 范畴的扩大。在强化进修中,一个自立的智能体必须在没有人类操纵者指导的情况下,经过试错来进修履利用命。DeepMind 表白,基于深度进修的强化进修系统可以学会玩 Atari 视频游戏,并在多种使命中可与人类匹敌 (Mnih et al., 2015)。深度进修也明显改良了机械人强化进修的性能 (Finn et al., 2015)。

很多深度进修利用都是高利润的。现在深度进修被很多顶级的技术公司利用,包括 Google、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA 和 NEC 等。

深度进修的进步也严重依靠于软件根本架构的停顿。软件库如 Theano (Bergstra et al., 2010a; Bastien et al., 2012a)、PyLearn2 (Goodfellow et al., 2013e)、Torch (Collobert et al., 2011b)、DistBelief (Dean et al., 2012)、Caffe (Jia, 2013)、MXNet (Chen et al., 2015) 和 TensorFlow (Abadi et al., 2015) 都能支稳重要的研讨项目或贸易产物。

深度进修也为其他科学做出了进献。用于工具识此外现代卷积收集为神经科学家们供给了可以研讨的视觉处置模子 (DiCarlo, 2013)。深度进修也为处置海量数据以及在科学范畴做出有用的猜测供给了很是有用的工具。它已成功地用于猜测份子若何相互感化、从而帮助制药公司设想新的药物 (Dahl et al., 2014),搜索亚原子粒子 (Baldi et al., 2014),以及自动剖析用于构建人脑三维图的显微镜图像 (Knowles-Barley et al., 2014) 等多个场所。我们期待深度进修未来可以出现在越来越多的科学范畴中。

总之,深度进修是机械进修的一种方式。在曩昔几十年的成长中,它大量鉴戒了我们关于人脑、统计学和利用数学的常识。近年来,得益于更强大的计较机、更大的数据集和可以练习更深收集的技术,深度进修的提高性和适用性都有了极大的成长。未来几年,深度进修更是布满了进一步进步并利用到新范畴的应战和机遇。

彩蛋:《深度进修》封面利用了谷歌 DeepDream

据悉,《深度进修》英文版由美国麻省理工学院 MIT 出书社于 2016 年 12 月推出,一经出书就风行全球。本书封面采用了艺术家 Daniel Ambrosi 供给的美国中心公园杜鹃花步道梦幻景观。该图片是在艺术家的亿级像素全景图上,

鲜花

握手

雷人

路过

鸡蛋
收藏 分享 邀请

相关阅读

发表评论

最新评论

mengjk 2020-4-26 11:10
好书

查看全部评论(1)

一周热门

头条攻略!

日排行榜

相关分类