请选择 进入手机版 | 继续访问电脑版
从零开始 从零开始 资讯 查看内容

收藏!机械进修算法优弱点综述

2020-4-30 22:03| 发布者: jiansuwa| 查看: 123| 评论: 0

摘要: 来源:七月在线本文约2700字,建议阅读5分钟本文为你介绍机器学习算法的优缺点。标签:机器学习、深度学习、算法目录正则化算法(Regularization Algorithms)集成算法(Ensemble Algorithms)决策树算法(Decision ...
收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

来历:七月在线

本文约2700字,倡议阅读5分钟

本文为你先容机械进修算法的优弱点。

标签:机械进修、深度进修、算法

目录

  • 正则化算法(Regularization Algorithms)
  • 集成算法(Ensemble Algorithms)
  • 决议树算法(Decision Tree Algorithm)
  • 回归(Regression)
  • 野生神经收集(Artificial Neural Network)
  • 深度进修(Deep Learning)
  • 支持向量机(Support Vector Machine)
  • 降维算法(Dimensionality Reduction Algorithms)
  • 聚类算法(Clustering Algorithms)
  • 基于实例的算法(Instance-based Algorithms)
  • 贝叶斯算法(Bayesian Algorithms)
  • 关联法则进修算法(Association Rule Learning Algorithms)
  • 图模子(Graphical Models)

收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

正则化算法(Regularization Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

它是另一种方式(凡是是回归方式)的拓展,这类方式会基于模子复杂性对其停止赏罚,它喜好相对简单可以更好的泛化的模子。

例子:
  • 岭回归(Ridge Regression)
  • 最小绝对收缩与挑选算子(LASSO)
  • GLASSO
  • 弹性收集(Elastic Net)
  • 最小角回归(Least-Angle Regression)

优点:
  • 其赏罚会削减过拟合
  • 总会有处理方式

弱点:
  • 赏罚会形成欠拟合
  • 很难校准

集成算法(Ensemble algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

集成方式是由多个较弱的模子集成模子组,其中的模子可以零丁停止练习,而且它们的猜测能以某种方式连系起来去做出一个整体猜测。

该算法首要的题目是要找出哪些较弱的模子可以连系起来,以及连系的方式。这是一个很是强大的技术集,是以广受接待。
  • Boosting
  • Bootstrapped Aggregation(Bagging)
  • AdaBoost
  • 层叠泛化(Stacked Generalization)(blending)
  • 梯度推动机(Gradient Boosting Machines,GBM)
  • 梯度提升回归树(Gradient Boosted Regression Trees,GBRT)
  • 随机森林(Random Forest)

优点:
  • 领先最早辈的猜测几近都利用了算法集成。它比利用单个模子猜测出来的成果要切确的多

弱点:
  • 需要大量的保护工作

决议树算法(Decision Tree Algorithm)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

决议树进修利用一个决议树作为一个猜测模子,它将对一个 item(表征在分支上)观察所得映照成关于该 item 的方针值的结论(表征在叶子中)。

树模子中的方针是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子暗示类标签,分支暗示表征这些类标签的毗连的特征。

例子:
  • 分类和回归树(Classification and Regression Tree,CART)
  • Iterative Dichotomiser 3(ID3)
  • C4.5 和 C5.0(一种强风雅法的两个分歧版本)

优点:
  • 轻易诠释
  • 非参数型

弱点:
  • 趋向过拟合
  • 能够或陷于部分最小值中
  • 没有在线进修

回归(Regression)算法


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

回归是用于估量两种变量之间关系的统计进程。当用于分析因变量和一个 多个自变量之间的关系时,该算法能供给很多建模和分析多个变量的技能。具体一点说,回归分析可以帮助我们了解当肆意一个自变量变化,另一个自变量稳定时,因变量变化的典型值。最多见的是,回归分析能在给定自变量的条件下估量出因变量的条件期望。

回归算法是统计学中的首要算法,它已被归入统计机械进修。

例子:
  • 普通最小二乘回归(Ordinary Least Squares Regression,OLSR)
  • 线性回归(Linear Regression)
  • 逻辑回归(Logistic Regression)
  • 慢慢回归(Stepwise Regression)
  • 多元自顺应回归样条(Multivariate Adaptive Regression Splines,MARS)
  • 当地散点平滑估量(Locally Estimated Scatterplot Smoothing,LOESS)

优点:
  • 间接、快速
  • 著名度高

弱点:
  • 要求严酷的假定
  • 需要处置异常值

野生神经收集


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

野生神经收集是受生物神经收集启发而构建的算法模子。

它是一种形式婚配,常被用于回归和分类题目,但具有庞大的子域,由数百种算法和各类题目标变体组成。

例子:
  • 感知器
  • 反向传布
  • Hopfield 收集
  • 径向基函数收集(Radial Basis Function Network,RBFN)

优点:
  • 在语音、语义、视觉、各类游戏(如围棋)的使命中表示极好。
  • 算法可以快速调剂,顺应新的题目。

弱点:
  • 需要大量数据停止练习
  • 练习要求很高的硬件设置
  • 模子处于黑箱状态,难以了解内部机制
  • 元参数(Metaparameter)与收集拓扑挑选困难。

深度进修(Deep Learning)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

深度进修是野生神经收集的最新分支,它受益于今世硬件的快速成长。

众多研讨者今朝的偏向首要集合于构建更大、更复杂的神经收集,今朝有很多方式正在聚焦半监视进修题目,其中用于练习的大数据集只包括很少的标志。

例子:
  • 深玻耳兹曼机(Deep Boltzmann Machine,DBM)
  • Deep Belief Networks(DBN)
  • 卷积神经收集(CNN)
  • Stacked Auto-Encoders

优点/弱点:见神经收集

支持向量机(Support Vector Machines)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

给定一组练习事例,其中每个事例都属于两个种别中的一个,支持向量机(SVM)练习算法可以在被输入新的事例后将其分类到两个种别中的一个,使本身成为非几率二进制线性分类器。

SVM 模子将练习事例暗示为空间中的点,它们被映照到一幅图中,由一条明白的、尽能够宽的间隔分隔以区分两个种别。

随后,新的示例会被映照到同一空间中,并基于它们落在间隔的哪一侧来猜测它属于的种别。

优点:
  • 在非线性可分题目上表示优异

弱点:
  • 很是难以练习
  • 很难诠释

降维算法(Dimensionality Reduction Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

和集簇方式类似,降维追求并操纵数据的内在结构,目标在于利用较少的信息总结或描写数据。

这一算法可用于可视化高维数据或简化接下来可用于监视进修中的数据。很多这样的方式可针对分类和回归的利用停止调剂。

例子:
  • 主成份分析(Principal Component Analysis (PCA))
  • 主成份回归(Principal Component Regression (PCR))
  • 偏最小二乘回归(Partial Least Squares Regression (PLSR))
  • Sammon 映照(Sammon Mapping)
  • 多维标准变更(Multidimensional Scaling (MDS))
  • 投影寻踪(Projection Pursuit)
  • 线性辨别分析(Linear Discriminant Analysis (LDA))
  • 夹杂辨别分析(Mixture Discriminant Analysis (MDA))
  • 二次辨别分析(Quadratic Discriminant Analysis (QDA))
  • 灵活辨别分析(Flexible Discriminant Analysis (FDA))

优点:
  • 可处置大范围数据集
  • 无需在数据上停止假定

弱点:
  • 难以搞定非线性数据
  • 难以了解成果的意义

聚类算法(Clustering Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

聚类算法是指对一组方针停止分类,属于同一组(亦即一个类,cluster)的方针被分别在一组中,与其他组方针相比,同一组方针加倍相互类似(在某种意义上)。

例子:
  • K-均值(k-Means)
  • k-Medians 算法
  • Expectation Maximi 封层 ation (EM)
  • 最大期望算法(EM)
  • 分层集群(Hierarchical Clstering)

优点:
  • 让数据变得成心义

弱点:
  • 成果难以解读,针对不服常的数据组,成果能够无用。

基于实例的算法(Instance-based Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

基于实例的算法(偶然也称为基于记忆的进修)是这样学 习算法,不是明白归纳,而是将新的题目例子与练习进程中见过的例子停止对照,这些见过的例子就在存储器中。

之所以叫基于实例的算法是由于它间接从练习实例中建构出假定。这意味这,假定的复杂度能随着数据的增加而变化:最糟的情况是,假定是一个练习项目列表,分类一个零丁新实例计较复杂度为 O(n)

例子:
  • K 比来邻(k-Nearest Neighbor (kNN))
  • 进修向量量化(Learning Vector Quantization (LVQ))
  • 自构造映照(Self-Organizing Map (SOM))
  • 部分加权进修(Locally Weighted Learning (LWL))

优点:
  • 算法简单、成果易于解读

弱点:
  • 内存利用很是高
  • 计较本钱高
  • 不成能用于高维特征空间

贝叶斯算法(Bayesian Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

贝叶斯方式是指明白利用了贝叶斯定理来处理如分类和回归等题目标方式。

例子:
  • 朴实贝叶斯(Naive Bayes)
  • 高斯朴实贝叶斯(Gaussian Naive Bayes)
  • 多项式朴实贝叶斯(Multinomial Naive Bayes)
  • 均匀分歧依靠估量器(Averaged One-Dependence Estimators (AODE))
  • 贝叶斯信心收集(Bayesian Belief Network (BBN))
  • 贝叶斯收集(Bayesian Network (BN))

优点:
  • 快速、易于练习、给出了它们所需的资本能带来杰出的表示

弱点:
  • 假如输入变量是相关的,则会出现题目

关联法则进修算法(Association Rule Learning Algorithms)


收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

关联法则进修方式可以提取出对数据中的变量之间的关系的最好诠释。比如说一家超市的销售数据中存在法则 {洋葱,土豆}=> {汉堡},那说明当一位客户同时采办了洋葱和土豆的时辰,他很有能够还会采办汉堡肉。

例子:
  • Apriori 算法(Apriori algorithm)
  • Eclat 算法(Eclat algorithm)
  • FP-growth

图模子(Graphical Models)



收藏!机械进修算法优弱点综述_资讯_2020-4-30 22:03发布_从零开始_123

图模子或几率图模子(PGM/probabilistic graphical model)是一种几率模子,一个图(graph)可以经过其暗示随机变量之间的条件依靠结构(conditional dependence structure)。

例子:
  • 贝叶斯收集(Bayesian network)
  • 马尔可夫随机域(Markov random field)
  • 链图(Chain Graphs)
  • 祖先图(Ancestral graph)

优点:
  • 模子清楚,能被直观地了解

弱点:
  • 肯定其依靠的拓扑很困难,偶然辰也很模糊

原文链接:

https://static.coggle.it/diagram/WHeBqDIrJRk-kDDY/t/categories-of-algorithms-non-exhaustive


编辑:王菁

—完—

想要获得更大都据科学范畴相关静态,诚邀关注清华-青岛数据科学研讨院官方微信公众平台“ 数据派THU ”。

鲜花

握手

雷人

路过

鸡蛋

最新评论

相关分类

点击排行
  • 联系我们
  • 邮箱:admin@c0ks.com(请把#改成@)
  • 电话:18530790808
  • QQ客服 1031180668
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信二维码

  • 扫描访问手机版

Archiver|手机版|小黑屋|从零开始

GMT+8, 2020-6-5 05:23 , Processed in 0.183015 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

  • QQ: 1031180668

    客服电话

    18530790808

    电子邮件

    admin@c0ks.com

    在线时间:8:00-16:00