Java教程

西瓜书+南瓜书第1、2章学习总结-Task01-202110

本文主要是介绍西瓜书+南瓜书第1、2章学习总结-Task01-202110,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

第一章 绪论

1.2 基本术语

    一般的令D=\{x_1,x_2,\dots,x_m\}表示包含m个示例的数据集,每个示例由d个属性描述,则每个示例x_i=(x_{i1};x_{i2};\dots\;x_{id})是d维样本空间中的一个向量,其中x_{ij}x_i在第j个属性上的取值,d称为样本的“维数”。

    从数据中学得模型的过程称为“学习”或“训练”。若想要预测的数据是离散值,此类学习任务称为“分类”。若想要预测的数据是连续值,此类学习任务称为“回归”。

     根据训练数据是否拥有标记信息,学习任务可大致划分为两大类:“监督学习”和“无监督学习”,分类和回归是前者的代表,而聚类是后者的代表。

    机器学习的目标是使学得的模型能很好的适用于“新样本”,称为“泛化”能力,具有强泛化能力的模型能很好的适用于整个样本空间。

1.3 假设空间

      可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程,搜索目标是找到与训练集匹配的假设。

     需注意的是,现实问题中我们面临很大的假设空间,但学习过程是基于有限样本训练进行的,因此可能有多个假设与训练集一致,即存在着一个与训练集一致的“假设集合”,称之为“版本空间”。

1.4归纳偏好

      任何一个有效的机器学习算法必有其归纳偏好,归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。

      根据“没有免费的午餐”定理,简称NFL定理,脱离具体问题,空泛地谈论“什么学习算法更好”没有意义。要讨论算法的相对优劣,必须针对具体的学习问题。在某些问题上表现好的算法,在另一些问题上却可能不尽如人意。

第2章  模型评估与选择

2.1 经验误差与过拟合

     一般把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。学习器在训练集上的误差称为“训练误差”。在新样本上的误差称为“泛化误差”。我们更希望得到泛化误差小的学习器。

  当学习器把训练样本学得“太好”,很可能把训练样本自身的一些特点当作了所有潜在样本的一般性质,这样就会导致泛化性能下降,称为“过拟合”。过拟合无法彻底避免,只能减小其风险。

2.2 评估方法

2.2.1 留出法

直接将数据集划分为两个互斥的集合,一个做训练集,一个做测试集

2.2.2 交叉验证法

将数据集划分为k个大小相似的互斥子集,k-1个子集做为训练集,余下的那个子集做测试集。可进行k次训练和测试,最后返回k个测试结果的均值。

2.2.3 自助法

通过自助采样的方法,生成训练集和测试集。

2.2.4 调参和最终模型

除了要对适用的学习算法进行选择,还需要对算法参数进行设定,称为“参数调节”或简称“调参”。

2.3 性能度量

回归任务最常用的性能度量是“均方误差”

2.3.1 错误率与精度

2.3.2 查准率、查全率与F1

TP:真正例 ;FP: 假正例;FN:假反例;TN:真反例

查准率P=TP/(TP+FP)

查全率R=TP/(TP+FN)

F1=2*P*R/(P+R)

2.3.3 ROC与AOC

这篇关于西瓜书+南瓜书第1、2章学习总结-Task01-202110的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!