请选择 进入手机版 | 继续访问电脑版
设为首页 收藏本站
开启辅助访问 快捷导航
菜单
从零开始 查看内容

谷歌开源T2T模子库,深度进修系统进入模块化时代!

2020-7-1 15:29| 发布者: 风筝线5| 查看: 179| 评论: 0

摘要: 雷锋网AI科技评论按:6月19日,谷歌发布了T2T(Tensor2Tensor)深度学习开源系统,这个系统的一大优点是模块化,这也就意味着系统更加灵活,适应性更强。深度学习的研究进度也会因此而加速。以下内容为雷锋网整理编 ...
雷锋网AI科技批评按:6月19日,谷歌公布了T2T(Tensor2Tensor)深度进修开源系统,这个系统的一大优点是模块化,这也就意味着系统加倍灵活,顺应性更强。深度进修的研讨进度也会是以而加速。以下内容为雷锋网整理编辑。

深度进修(DL)让很多技术范畴都得以敏捷成长,比如机械翻译,语音识别,以及物体检测。在研讨社区,人们可以找到研讨作者开源的代码,复制他们的成果,帮助自己做进一步深度进修研讨。但是,大大都深度进修系统利用了需要花费大量工程开辟的特别设备,能够只对特定的题目或结构起感化。这使得在新尝试中运转以及停止尝试成果对照变得比力困难。

可喜的是,谷歌终究找到领会决这一题目标法子,公布了T2T(Tensor2Tensor),一个用于在TensorFlow上练习深度进修模子的开源系统。T2T方便了对各类百般的机械进修利用的模子停止创新,比如翻译,句法分析,图像说明等等。此次公布也包括数据集库和模子库,包括比来几篇论文中提到的最好模子。

谷歌开源T2T模子库,深度进修系统进入模块化时代!__2020-7-1 15:29发布_从零开始_179

在标准WMT英语-德语翻译使命中,各模子的BLEU分数(越高越好

作为举例,谷歌将T2T库用于机械翻译。如上表所示,两种分歧T2T模子,SliceNet和Transformer,性能表示胜过之前业界表示最好的模子GNMT+MoE。其中最好的T2T模子Transformer,横跨GNMT模子3.8分。而GNMT自己已经横跨MOSES 4分(以短语翻译系统MOSES为最低标准)。值得留意的是,利用单块GPU在一天内练习便可以到达之前最好的成果,一个小型的Transformer模子在单GPU练习一天后可以得分24.9(上图表格并没有显现)。可见利用T2T结果很是明显。现在一切人都可以自己用一块GPU来练习这个翻译模子了。Github有操纵说明。(地址见文末)

模块化多使命练习


T2T库是用人们熟悉的TensorFlow工具和深度进修系统中所需的界说多个组件:如数据集,模子结构,算法,进修速度衰减计划,超参数等等开辟出来的。关键是,它在一切这些组件之间履行了一个标准接口,实现了当前机械进修的最好结果。所以你可以拿走任何一个数据集,模子,算法,或一组超参数,来履行练习并观察它的性能表示。经过使架构模块化,输入数据和猜测输出之间的每一部分都是T2T函数。这意味着假如对模子架构有了新的想法,则不需要替换全部设备。你可以保存需要嵌入的部分,损失函数和其他一切部分。

这就意味着T2T很灵活,练习不再依靠于特定的模子或数据集。甚至连比力著名的LSTM序列模子都可以用几十行代码来界说。此外还可以对分歧范畴的多个使命停止单个模子的练习。甚至还可以在所稀有据集上同时运转单个模子。MultiModel便可以这样练习并包括在T2T中,在很多使命上都发生了杰出的结果。即使在ImageNet(图像分类)MS COCO(图像说明)WSJ(语音识别)WMT(翻译)以及Penn Treebank(剖析语料库)结合练习也仍然表示杰出。这也是第一次证实了单个模子可以同时履行多个使命。

内置最好理论


此次的初次公布也供给了剧本,用来天生大量数据集,普遍用于研讨社区,一些模子和大量超参数设置。trade的其他重要技能在履行中表示杰出。把他们全数列出来很难,假如你决议用T2T运转你的模子,你将获得序列的正确添补(padding)和响应的穿插熵损失,调试杰出的Adam优化器参数,自顺应批处置,同步的散布式练习,调试杰出的图像数据增强,标签平滑和大量的超参数设置。

例如,斟酌把英语句子剖析成语法选区树(grammatical constituency trees)的使命。这个题目已经研讨了几十年才找到牢靠的方式。它可以暗示为一个序列到序列的题目,可以用神经收集求解,可是在曩昔需要调试很屡次。现在应用T2T,只需要几天便可以增加剖析数据集天生器,而且调理留意力转化器模子来练习处理这个题目。使人兴奋的是,只用了一周的时候就获得了很是好的成果。

谷歌开源T2T模子库,深度进修系统进入模块化时代!__2020-7-1 15:29发布_从零开始_179

在WSJ 23节的标准数据集上剖析F1分数。只在Penn Treebank WSJ练习集上比力了文本中经过特别练习过的模子。更多成果详见论文(https://arxiv.org/abs/1706.03762)

为T2T做进献


除了摸索现有的模子和数据集,还可以轻松地界说自己的模子,并增加自己的数据集到T2T。谷歌相信已有的模子将很好的履行诸多NLP使命,所以只需增加你的数据集,也许就会获得一个风趣的成果。经过构建T2T模块,还可以很轻易构建你自己的模子,并观察其若何履行分歧使命。经过这样的方式,全部社区都可以从基线库(library of baselines)中受益,并加速深度进修研讨。所以,来Github库,尝试一些新模子,来为T2T做点进献吧!

说起表格内模子的三篇论文(雷锋网此前也做过覆盖与报道):

Attention Is All You Need

Depthwise Separable Convolutions for Neural Machine Translation

One Model To Learn Them All

Github操纵说明:https://github.com/tensorflow/tensor2tensor

via Google;雷锋网整理编译

鲜花

握手

雷人

路过

鸡蛋