【人工智能：现代方法】第19章：样例学习-Toy模板网

这篇具有很好参考价值的文章主要介绍了【人工智能：现代方法】第19章：样例学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

智能体学习（learning）：一个智能体通过对世界进行观测来提高它的性能

机器学习（machine learning）：智能体是一台计算机 —— 一台计算机观测到一些数据，基于这些数据构建一个模型（model），并将这个模型作为关于世界的一个假设（hypothesis）以及用于求解问题的软件的一部分

为什么希望一台机器进行学习？

程序的设计者无法预见未来所有可能发生的情形
有时候设计者并不知道如何设计一个程序来求解目标问题——大多数人都能辨认自己家人的面孔，但是他们实现这一点利用的是潜意识

1 学习的形式

归纳（induction）：从一组特定的观测结果得出一个普遍的规则—— 归纳的结论可能是不正确【只要前提是正确的，演绎（deduction）的结论就保证是正确的】
分类（classification）：输出是一个有限集合中的某个值时
回归（regression）：输出是一个数值

根据输入有3种类型的反馈（feedback），学习可分为3类：

监督学习（supervised learning）：智能体观测到输入-输出对，并学习从输入到输出的一个函数映射 —— 输出称之为标签（label）
无监督学习（unsupervised learning）：智能体从没有任何显式反馈的输入中学习模式；最常见的无监督学习任务是聚类（clustering）
强化学习（reinforcement learning）中：智能体从一系列的强化——奖励与惩罚——中进行学习，智能体判断之前采取的哪个动作该为这一结果负责，并且改变它的动作以在未来得到更多的奖励

2　监督学习

监督学习的任务：

给定一个训练集（training set）含有N个“输入-输出”对样例： $x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)$
每一对数据都由一个未知的函数 $y = f (x)$ 生成
目标：寻找一个函数 $h$ 来近似真实的函数 $f$

函数 $h$ ：关于世界的假设（hypothesis），取自一个包含所有可能的函数 假设空间（hypothesis space） $\mathcal{H}$ 【其他说法，模型-模型类，函数-函数类】
输出 $y_i$ ：真实数据（ground truth）

如何选择一个假设空间

关于数据生成过程的先验知识【如果有的话】
采用探索性数据分析（exploratory data analysis）：通过统计检验和可视化方法——直方图、散点图、箱形图——来探索数据以获得对数据的一些理解，以及洞察哪些假设空间可能是合适的
直接尝试多种不同的假设空间，然后评估哪个假设空间的效果最好

如何从假设空间中选择一个好的假设

寻找一个一致性假设（consistent hypothesis）：假设 $h$ ，对训练集中的任意一个 $x_i$ ，都有 $h(x_i) = yi$
如果输出是连续值，不能期望模型输出与真实数据精确匹配,而是寻找一个最佳拟合函数（best-fit function），使得每一个 $h(x_i)$ 与 $y_i$ 非常接近
衡量一个假设的标准不是看它在训练集上的表现，而是取决于它如何处理尚未观测到的输入：使用一个测试集（test set）—— 如果 $h$ 准确地预测了测试集的输出，称 $h$ 具有很好的泛化（generalize）能力

如何分析假设空间：

偏差（bias）：（不严格地）在不同的训练集上，假设所预测的值偏离期望值的平均趋势：
- 常常是由假设空间所施加的约束造成的，如假设空间是线性函数时会导致较大的偏差，分段线性函数具有较小的偏差
- 欠拟合（underfitting）：一个假设不能找到数据中的模式
方差（variance）：由训练数据波动而导致假设的变化量
- 过拟合（overfitting）：一个函数过于关注它用来训练的特定训练数据集，进而导致它在没有见过的数据上表现较差
偏差-方差权衡（bias-variance tradeoff）：在更复杂、低偏差的能较好拟合训练集的假设与更简单、低方差的可能泛化得更好的假设中做出选择