常见机器学习算法优缺点比较-彩神购彩大厅_welcome

2025-01-22 12:17:01

机器学习算法过于多了，分类、重返、聚类、引荐、图像识别领域等等，要想要寻找一个适合算法知道不更容易，所以在实际应用于中，我们一般都是使用启发式自学方式来实验。一般来说最开始我们都会自由选择大家广泛尊重的算法，诸如SVM，GBDT，Adaboost，现在深度自学很火热，神经网络也是一个不俗的自由选择。

假如你介意精度（accuracy）的话，最差的方法就是通过交叉检验（cross-validation）对各个算法一个个地展开测试，展开较为，然后调整参数保证每个算法超过拟合解法，最后自由选择最差的一个。但是如果你只是在找寻一个充足好的算法来解决问题你的问题，或者这里有些技巧可以参照，下面来分析下各个算法的优缺点，基于算法的优缺点，更加更容易我们去自由选择它。　　偏差方差　　在统计学中，一个模型优劣，是根据偏差和方差来取决于的，所以我们再行来普及一下偏差和方差：　　偏差：叙述的是预测值（估计值）的希望E与现实值Y之间的差距。

偏差越大，就越背离现实数据。　　方差：叙述的是预测值P的变化范围，线性程度，是预测值的方差，也就是离其期望值E的距离。

方差越大，数据的产于就越集中。　　模型的现实误差是两者之和，如下图：　　如果是小训练集，低偏差/较低方差的分类器（例如，朴素贝叶斯NB）要比较低偏差/低方差大分类的优势大（例如，KNN），因为后者不会过数值。但是，随着你训练集的快速增长，模型对于原数据的预测能力就越少，偏差就不会减少，此时较低偏差/低方差分类器就不会慢慢的展现出其优势（因为它们有较低的渐进误差），此时低偏差分类器此时早已足以获取精确的模型了。

　　当然，你也可以指出这是分解模型（NB）与判断模型（KNN）的一个区别。　　为什么说道朴素贝叶斯是低偏差较低方差?　　以下内容谓之深知乎：　　首先，假设你告诉训练集和测试集的关系。

非常简单来讲是我们要在训练集上自学一个模型，然后获得测试集去用，效果好不好要根据测试集的错误率来取决于。但很多时候，我们不能假设测试集和训练集的是合乎同一个数据分布的，但却拿将近确实的测试数据。这时候怎么在只看见训练错误率的情况下，去取决于测试错误率呢？　　由于训练样本很少（最少不充足多），所以通过训练集获得的模型，总不是确实准确的。

（就算在训练集上正确率100%，也无法解释它刻画了现实的数据分布，要告诉刻画现实的数据分布才是我们的目的，而不是只刻画训练集的受限的数据点）。而且，实际中，训练样本往往还有一定的噪音误差，所以如果过于执着在训练集上的极致而使用一个很简单的模型，不会使得模型把训练集里面的误差都当作了现实的数据分布特征，从而获得错误的数据分布估算。

这样的话，到了确实的测试集上就拢的一塌糊涂了（这种现象叫过数值）。但是也无法用太非常简单的模型，否则在数据分布比较复杂的时候，模型就足以刻画数据分布了（反映为连在训练集上的错误率都很高，这种现象较不出数值）。过数值指出使用的模型比现实的数据分布更加简单，而不出数值回应使用的模型比现实的数据分布要非常简单。　　在统计资料自学框架下，大家刻画模型复杂度的时候，有这么个观点，指出Error=Bias+Variance。

这里的Error大约可以解读为模型的预测错误率，是有两部分构成的，一部分是由于模型过于非常简单而带给的估算不精确的部分（Bias），另一部分是由于模型过于简单而带给的更大的变化空间和不确定性（Variance）。　　所以，这样就更容易分析朴素贝叶斯了。它非常简单的假设了各个数据之间是牵涉到的，是一个被相当严重修改了的模型。

所以，对于这样一个非常简单模型，大部分场合都会Bias部分小于Variance部分，也就是说低偏差而较低方差。　　在实际中，为了让Error尽可能小，我们在自由选择模型的时候必须均衡Bias和Variance所占到的比例，也就是均衡over-fitting和under-fitting。　　偏差和方差与模型复杂度的关系用于右图更为清了：　　当模型复杂度下降的时候，偏差不会渐渐变大，而方差不会渐渐逆大。

本文来源：彩神VI首页-www.szyztoy.com