1. 一元线性回归（模型描述）

常用符号：

m ： 训练样本的数量

x ： 输入变量/特征

y : 输出变量/预测的目标变量

（x, y）: 表示一个训练样本

$$(x^{(i)}, y^{(i)})$$ : 表示特殊训练样本/第i个训练样本

监督学习的工作过程:

2. 代价函数

在线性回归中我们要解决的是一个最小化的问题

Idea: 选择模型参数 \(\theta_0, \theta_1\), 使得对于任意的训练样本 (x, y), \(h_\theta\) 尽可能接近 y

线性回归的整体目标函数:

\[minimize_{\theta_0,\theta_1} \frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2 \\ h_\theta(x^i) = \theta_0 + \theta_1x^{(i)} \]

代价函数：

数学定义：

\[J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2 \\ minimize_{\theta_0,\theta_1} J(\theta_0, \theta_1) \]

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数

平方误差代价函数可能是解决回归问题最常见的手段了

3. 代价函数理解

为了更好地使代价函数 \(J(\theta_i)\) 可视化，先使用一个简化的 假设函数，即让 \(\theta_0 = 0\)

4.代价函数理解2

代价函数越小，\(\theta_0, \theta_1\) 对应的假设函数确定的模型与 训练集中的数据拟合得越好

5. 梯度下降

梯度下降算法可以用于 代价函数以及更一般函数的 最小化

问题概述:

我们有一个函数 \(J(\theta_0, \theta_1)\), 也许这是一个线性回归的, 也许是一个需要最小化的其他函数

我们需要一个算法，来最小化函数 \(J(\theta_0, \theta_1)\)

梯度下降的思路:

1.开始给定 \(\theta_0, \theta_1\) 一些初始值， 初始值是什么其实并不重要，但通常的选择是将 \(\theta_0, \theta_1\) 初始化为0 （Start with some \(\theta_0, \theta_1\)）

2.Keep changing \(\theta_0, \theta_1\) to reduce \(J(\theta_0, \theta_1)\) until we hopefully end up at a minimum

梯度下降算法的定义:

进行梯度下降的时候一定要同时更新 $$\theta_0, \theta_1$$

6. 梯度下降理解

1. α 学习率

α（学习率），永远是一个正数，控制我们以多大的幅度更新参数 \(θ_j\)

如果 α 太小，梯度下降会很慢

如果 α 太大，梯度下降可能会越过最低点，甚至无法收敛或者发散

2. 偏导数

如果 \(θ_1\) 已经处在一个局部最优点，你认为下一步梯度下降会怎样？

局部最优点的导数是 0 ，如果已经在局部最优点，\(θ_1\)将不再改变

即使学习速率 α 保持不变，梯度下降法也可以收敛到局部最低点

在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的幅度;

这是因为当我们接近局部最低点时，根据定义，在局部最低点的导数等于零，所以

当我们接近局部最低点时，导数值会自动变得越来越小;

所以梯度下降将自动采取较小的幅度，这就是梯度下降的运行方式。

7. 线性回归 梯度下降

将梯度下降应用到线性回归中：将梯度下降和代价函数结合，得到线性回归算法，它可以用直线模型拟合数据

梯度下降算法：

repeat until convergence {
\(\theta_j := \theta_j - α \frac{\partial}{\partial J(\theta_j)}J(\theta_0, \theta_1)\)

\((for \quad j=1 \quad and \quad j=0)\)

}

线性回归模型:

\[h_\theta = \theta_0 + \theta_1x \\ J(\theta_0, \theta_1) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 \]

将梯度下降应用到最小化方差代价函数中，关键是导数项

推导过程:

\[\frac{\partial}{\partial \theta_j}J(\theta_0, \theta_1) \\ = \frac{\partial}{\partial \theta_j}\frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 \\ =\frac{\partial}{\partial \theta_j}\frac{1}{2m} \sum_{i=1}^{m}(\theta_0 + \theta_1x - y^{(i)})^2 \]

\[j=0:\frac{\partial}{\partial \theta_0}J(\theta_0, \theta_1) = \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}) \\ j=1:\frac{\partial}{\partial \theta_1}J(\theta_0, \theta_1) = \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})*x^{(i)} \\ \]

线性回归算法：

repeat until convergence {

\[\theta_0 := \theta_0 - α \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}) \\ \theta_1 := \theta_1 - α \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})*x^{(i)} \]

}

同时更新 \(\theta_0, \theta_1\)

说明: 线性回归的代价函数，是一个弓形函数，术语叫做凸函数，这个函数没有局部最优解，
只有一个全局最优解。当计算这种代价函数的梯度下降时，只要时使用梯度下降，
它总是会收敛到全局最优

Batch梯度下降算法，意味着每一步梯度下降，我们都历遍了整个训练集的样本。
所以在梯度下降中，当计算偏导数时，我们计算总和。在每一个单独的梯度下降
中，我们最终计算m个训练样本的总和。