机器学习之“监督学习”

1936 年 Fisher 提出线性判别分析（Linear Discriminant Analysis），是一种有监督的数据降维与分类算法。

1950 年左右，朴素贝叶斯分类器（NaiveBayes Classifier），基于最基本的贝叶斯理论，假设特征相互独立，根据贝叶斯公式利用先验信息去计算样本被分类到每一个类别的概率。

1958 年感知机（Perceptron），神经网络的前身，结合了当时对脑细胞的研究以及机器学习的成果，首次被提出并用于图像识别。

同年，逻辑回归（Logistic Regression），用广义线性模型去预测样本被分类到每个类别的概率。

1967 年 K 近邻算法（KNN），本质上根据现有的带标签的数据集，去确定最优的 K 值，使得新样本的类别由与它最近的 K 个样本的类别所决定。

1986 年反向传播算法（Backpropagation），一种数值计算方法论，通过链式法则来计算损失函数对于模型中参数的偏导数。

1995 年AdaBoost ，增强学习（Boosting）的一个重要算法，一种自适应的增强分类器，逐步选择分类效果好的弱分类器并计算权重，同时调整各数据的权重使无法被弱分类器分类的数据权重更大。

同年，支持向量机（SVM）算法。SVM 希望在线性可分的数据集上寻找最优的超平面使得距离两个类别最近的样本（支持向量）与超平面的距离之和最大，通过凸优化的方法求解最优超平面。

2001年，将集成学习的Bagging 与决策树相结合而诞生的随机森林（Random Forest），增强了决策树的分类效果。

2009 年距离度量学习出现，例如去学习距离度量而非直接使用欧式距离，在 KNN 中这种方法提升了模型的准确度。