diff --git a/image/20180120_105744.png b/image/20180120_105744.png new file mode 100644 index 0000000..097b24a Binary files /dev/null and b/image/20180120_105744.png differ diff --git a/image/20180121_110111.png b/image/20180121_110111.png new file mode 100644 index 0000000..101a08d Binary files /dev/null and b/image/20180121_110111.png differ diff --git a/index.html b/index.html index aa21b0a..794bd47 100644 --- a/index.html +++ b/index.html @@ -220,7 +220,8 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

吴恩达(Andrew Ng)机器学习公开课中文笔记

GitHub 项目首页

 

week1

  1. 引言(Introduction)
  2. 单变量线性回归(Linear Regression with One Variable)

week2

  1. 线性代数回顾(Linear Algebra Review)
  2. 多变量线性回归(Linear Regression with Multiple Variables)
  3. Octave/Matlab 指南(Octave/Matlab Tutorial)

week3

  1. 逻辑回归(Logistic Regression)
  2. 正则化(Regularization)

week4

  1. 神经网络：表达(Neural Networks: Representation)

week5

  1. 神经网络：学习(Neural Networks: Learning)

week6

  1. 机器学习应用的建议(Advice for Applying Machine Learning)
  2. 机器学习系统设计(Machine Learning System Design)

week7

  1. 支持向量机(Support Vector Machines)

week8

  1. 无监督学习(Unsupervised Learning)
  2. 降维(Dimensionality Reduction)

week9

  1. 异常检测(Anomaly Detection)
  2. 推荐系统(Recommender Systems)

week10

  1. 大规模机器学习(Large Scale Machine Learning)

week11

  1. 实战：图像光学识别(Application Example: Photo OCR)

 

 

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

知乎文章

By: Scruel

 

+

吴恩达(Andrew Ng)机器学习公开课中文笔记

GitHub 项目首页

 

week1

  1. 引言(Introduction)
  2. 单变量线性回归(Linear Regression with One Variable)

week2

  1. 线性代数回顾(Linear Algebra Review)
  2. 多变量线性回归(Linear Regression with Multiple Variables)
  3. Octave/Matlab 指南(Octave/Matlab Tutorial)

week3

  1. 逻辑回归(Logistic Regression)
  2. 正则化(Regularization)

week4

  1. 神经网络：表达(Neural Networks: Representation)

week5

  1. 神经网络：学习(Neural Networks: Learning)

week6

  1. 机器学习应用的建议(Advice for Applying Machine Learning)
  2. 机器学习系统设计(Machine Learning System Design)

week7

  1. 支持向量机(Support Vector Machines)

week8

  1. 无监督学习(Unsupervised Learning)
  2. 降维(Dimensionality Reduction)

week9

  1. 异常检测(Anomaly Detection)
  2. 推荐系统(Recommender Systems)

week10

  1. 大规模机器学习(Large Scale Machine Learning)

week11

  1. 实战：图像光学识别(Application Example: Photo OCR)

 

 

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

知乎文章

By: Scruel

 

+

diff --git a/week2.html b/week2.html index 503d5bc..ef95ddf 100644 --- a/week2.html +++ b/week2.html @@ -220,8 +220,8 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

4 多变量线性回归(Linear Regression with Multiple Variables)4.1 多特征(Multiple Features)4.2 多变量梯度下降(Gradient Descent for Multiple Variables)4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)4.5 特征和多项式回归(Features and Polynomial Regression)4.6 正规方程(Normal Equation)4.7 不可逆性正规方程(Normal Equation Noninvertibility)5 Octave/Matlab Tutorial5.1 Basic Operations5.2 Moving Data Around5.3 Computing on Data5.4 Plotting Data5.5 Control Statements: for, while, if statement5.6 向量化(Vectorization)5.x 常用函数整理

4 多变量线性回归(Linear Regression with Multiple Variables)

4.1 多特征(Multiple Features)

对于一个要度量的对象，一般来说会有不同维度的多个特征。比如之前的房屋价格预测例子中，除了房屋的面积大小，可能还有房屋的年限、房屋的层数等等其他特征：

这里由于特征不再只有一个，引入一些新的记号

: 特征的总数

: 代表样本矩阵中第 行，也就是第 个训练实例。

: 代表样本矩阵中第 行的第 列，也就是第 个训练实例的第 个特征。

参照上图，则有

多变量假设函数 表示为：

对于 ，和单特征中一样，我们将其看作基础数值。例如，房价的基础价格。

参数向量的维度为 ，在特征向量中添加 后，其维度也变为 ， 则运用线性代数，可简化 ：

: 矩阵的转置

: 某个样本的特征向量， 维特征量向量

: 为了计算方便我们会假设

注：该部分记号较多，记不住可随时回顾！

 

4.2 多变量梯度下降(Gradient Descent for Multiple Variables)

多变量代价函数类似于单变量代价函数，

即 ，其中 。

前文提到梯度下降对于最小化代价函数的通用性，则多变量梯度下降公式即

解出偏导得：

可展开为：

当然，同单变量梯度下降一样，计算时需要同时更新所有参数。

，则得到同时更新参数的向量化(Vectorization)实现：

: 训练集数据， 维矩阵（包含额外特征 ）

4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)

在应用梯度下降算法实践时，由于各特征值的范围不一，可能会影响代价函数收敛速度。

以房价预测问题为例，这里选取房屋面积大小和房间数量这两个特征。

下图中，左图是以原始数据绘制的代价函数轮廓图，右图为采用特征缩放（都除以最大值）后图像。左图中呈现的图像较扁，相对于使用特征缩放方法的右图，梯度下降算法需要更多次的迭代。

 

为了优化梯度下降的收敛速度，采用特征缩放的技巧，使各特征值的范围尽量一致。

除了以上图人工选择并除以一个参数的方式，均值归一化(Mean normalization)方法更为便捷，可采用它来对所有特征值统一缩放：

使得

对于特征的范围，并不一定需要使得 ，类似于 等也是可取的，而诸如 ，，就显得过大/过小了。

另外注意，一旦采用特征缩放，我们就需对所有的输入采用特征缩放，包括训练集、测试集、预测输入等。

4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)

通常，有两种方法来确定函数是否收敛

  • 多次迭代收敛法

    • 无法确定需要多少次迭代
    • 较易绘制关于迭代次数的图像
    • 根据图像易预测所需的迭代次数

  • 自动化测试收敛法（比较阈值）

    • 不易选取阈值
    • 代价函数近乎直线时无法确定收敛情况

对于梯度下降，一般采用多次迭代收敛法来得出最小化代价函数的参数值，自动化测试收敛法（如设定 时判定收敛）则几乎不会被使用。

我们可以通过绘制代价函数关于迭代次数的图像，可视化梯度下降的执行过程，借助直观的图形来发现代价函数趋向于多少时能趋于收敛，依据图像变化情况，确定诸如学习速率的取值，迭代次数的大小等问题。

对于学习速率 ，一般上图展现的为适中情况，下图中，左图可能表明 过大，代价函数无法收敛，右图可能表明 过小，代价函数收敛的太慢。当然， 足够小时，代价函数在每轮迭代后一定会减少。

通过不断改变 值，绘制并观察图像，并以此来确定合适的学习速率。 尝试时可取 如

4.5 特征和多项式回归(Features and Polynomial Regression)

在特征选取时，我们也可以自己归纳总结，定义一个新的特征，用来取代或拆分旧的一个或多个特征。比如，对于房屋面积特征来说，我们可以将其拆分为长度和宽度两个特征，反之，我们也可以合并长度和宽度这两个特征为面积这一个特征。

线性回归只能以直线来对数据进行拟合，有时候需要使用曲线来对数据进行拟合，即多项式回归(Polynomial Regression)。

比如一个二次方模型：

或者三次方模型：

或者平方根模型：

在使用多项式回归时，要记住非常有必要进行特征缩放，比如 的范围为 1-1000，那么 的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。

4.6 正规方程(Normal Equation)

对于一些线性回归问题来说，正规方程法给出了一个更好的解决问题的方式。

正规方程法，即令 ，通过解析函数的方式直接计算得出参数向量的值 ，Octave/Matlab 代码： theta = inv(X'*X)*X'*y。

: 矩阵 的逆，在 Octave 中，inv 函数用于计算矩阵的逆，类似的还有 pinv 函数。

X': 在 Octave 中表示矩阵 X 的转置，即

下表列出了正规方程法与梯度下降算法的对比

条件梯度下降正规方程
是否需要选取 需要不需要
是否需要迭代运算需要不需要
特征量大1时适用，不适用， 复杂度
适用范围2各类模型只适用线性模型，且矩阵需可逆

正规方程法的推导过程：

展开上式可得

注意到 与 都为标量，实际上是等价的，则

接下来对 求偏导，根据矩阵的求导法则:

所以有:

令, 则有

 

4.7 不可逆性正规方程(Normal Equation Noninvertibility)

（本部分内容为选讲）

正规方程无法应用于不可逆的矩阵，发生这种问题的概率很小，通常由于

  • 特征之间线性相关

    比如同时包含英寸的尺寸和米为单位的尺寸两个特征，它们是线性相关的

    即 。

  • 特征数量大于训练集的数量。

如果发现 的结果不可逆，可尝试：

  • 减少多余/重复特征
  • 增加训练集数量
  • 使用正则化（后文）

对于这类不可逆的矩阵，我们称之为奇异矩阵或退化矩阵。

这种情况下，如果还想使用正规方程法，在Octave中，可以选用 pinv 函数，pinv 区别于 inv，pinv 函数被称为伪逆函数，在矩阵不可逆的时候，使用这个函数仍可正确地计算出 的值。

5 Octave/Matlab Tutorial

复习时可直接倍速回顾视频，笔记整理暂留。

5.1 Basic Operations

5.2 Moving Data Around

5.3 Computing on Data

5.4 Plotting Data

5.5 Control Statements: for, while, if statement

5.6 向量化(Vectorization)

5.x 常用函数整理

-
1 一般来说，当 超过 10000 时，对于正规方程而言，特征量较大。↩
+

4 多变量线性回归(Linear Regression with Multiple Variables)4.1 多特征(Multiple Features)4.2 多变量梯度下降(Gradient Descent for Multiple Variables)4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)4.5 特征和多项式回归(Features and Polynomial Regression)4.6 正规方程(Normal Equation)4.7 不可逆性正规方程(Normal Equation Noninvertibility)5 Octave/Matlab Tutorial5.1 Basic Operations5.2 Moving Data Around5.3 Computing on Data5.4 Plotting Data5.5 Control Statements: for, while, if statement5.6 向量化(Vectorization)5.x 常用函数整理

4 多变量线性回归(Linear Regression with Multiple Variables)

4.1 多特征(Multiple Features)

对于一个要度量的对象，一般来说会有不同维度的多个特征。比如之前的房屋价格预测例子中，除了房屋的面积大小，可能还有房屋的年限、房屋的层数等等其他特征：

这里由于特征不再只有一个，引入一些新的记号

: 特征的总数

: 代表样本矩阵中第 行，也就是第 个训练实例。

: 代表样本矩阵中第 行的第 列，也就是第 个训练实例的第 个特征。

参照上图，则有

多变量假设函数 表示为：

对于 ，和单特征中一样，我们将其看作基础数值。例如，房价的基础价格。

参数向量的维度为 ，在特征向量中添加 后，其维度也变为 ， 则运用线性代数，可简化 ：

: 矩阵的转置

: 某个样本的特征向量， 维特征量向量

: 为了计算方便我们会假设

注：该部分记号较多，记不住可随时回顾！

 

4.2 多变量梯度下降(Gradient Descent for Multiple Variables)

多变量代价函数类似于单变量代价函数，

即 ，其中 。

前文提到梯度下降对于最小化代价函数的通用性，则多变量梯度下降公式即

解出偏导得：

可展开为：

当然，同单变量梯度下降一样，计算时需要同时更新所有参数。

，则得到同时更新参数的向量化(Vectorization)实现：

: 训练集数据， 维矩阵（包含额外特征 ）

4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)

在应用梯度下降算法实践时，由于各特征值的范围不一，可能会影响代价函数收敛速度。

以房价预测问题为例，这里选取房屋面积大小和房间数量这两个特征。

下图中，左图是以原始数据绘制的代价函数轮廓图，右图为采用特征缩放（都除以最大值）后图像。左图中呈现的图像较扁，相对于使用特征缩放方法的右图，梯度下降算法需要更多次的迭代。

 

为了优化梯度下降的收敛速度，采用特征缩放的技巧，使各特征值的范围尽量一致。

除了以上图人工选择并除以一个参数的方式，均值归一化(Mean normalization)方法更为便捷，可采用它来对所有特征值统一缩放：

使得

对于特征的范围，并不一定需要使得 ，类似于 等也是可取的，而诸如 ，，就显得过大/过小了。

另外注意，一旦采用特征缩放，我们就需对所有的输入采用特征缩放，包括训练集、测试集、预测输入等。

4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)

通常，有两种方法来确定函数是否收敛

  • 多次迭代收敛法

    • 无法确定需要多少次迭代
    • 较易绘制关于迭代次数的图像
    • 根据图像易预测所需的迭代次数

  • 自动化测试收敛法（比较阈值）

    • 不易选取阈值
    • 代价函数近乎直线时无法确定收敛情况

对于梯度下降，一般采用多次迭代收敛法来得出最小化代价函数的参数值，自动化测试收敛法（如设定 时判定收敛）则几乎不会被使用。

我们可以通过绘制代价函数关于迭代次数的图像，可视化梯度下降的执行过程，借助直观的图形来发现代价函数趋向于多少时能趋于收敛，依据图像变化情况，确定诸如学习速率的取值，迭代次数的大小等问题。

对于学习速率 ，一般上图展现的为适中情况，下图中，左图可能表明 过大，代价函数无法收敛，右图可能表明 过小，代价函数收敛的太慢。当然， 足够小时，代价函数在每轮迭代后一定会减少。

通过不断改变 值，绘制并观察图像，并以此来确定合适的学习速率。 尝试时可取 如

4.5 特征和多项式回归(Features and Polynomial Regression)

在特征选取时，我们也可以自己归纳总结，定义一个新的特征，用来取代或拆分旧的一个或多个特征。比如，对于房屋面积特征来说，我们可以将其拆分为长度和宽度两个特征，反之，我们也可以合并长度和宽度这两个特征为面积这一个特征。

线性回归只能以直线来对数据进行拟合，有时候需要使用曲线来对数据进行拟合，即多项式回归(Polynomial Regression)。

比如一个二次方模型：

或者三次方模型：

或者平方根模型：

在使用多项式回归时，要记住非常有必要进行特征缩放，比如 的范围为 1-1000，那么 的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。

4.6 正规方程(Normal Equation)

对于一些线性回归问题来说，正规方程法给出了一个更好的解决问题的方式。

正规方程法，即令 ，通过解析函数的方式直接计算得出参数向量的值 ，Octave/Matlab 代码： theta = inv(X'*X)*X'*y。

: 矩阵 的逆，在 Octave 中，inv 函数用于计算矩阵的逆，类似的还有 pinv 函数。

X': 在 Octave 中表示矩阵 X 的转置，即

下表列出了正规方程法与梯度下降算法的对比

条件梯度下降正规方程
是否需要选取 需要不需要
是否需要迭代运算需要不需要
特征量大1时适用，不适用， 复杂度
适用范围2各类模型只适用线性模型，且矩阵需可逆

正规方程法的推导过程：

展开上式可得

注意到 与 都为标量，实际上是等价的，则

接下来对 求偏导，根据矩阵的求导法则:

所以有:

令, 则有

 

4.7 不可逆性正规方程(Normal Equation Noninvertibility)

（本部分内容为选讲）

正规方程无法应用于不可逆的矩阵，发生这种问题的概率很小，通常由于

  • 特征之间线性相关

    比如同时包含英寸的尺寸和米为单位的尺寸两个特征，它们是线性相关的

    即 。

  • 特征数量大于训练集的数量。

如果发现 的结果不可逆，可尝试：

  • 减少多余/重复特征
  • 增加训练集数量
  • 使用正则化（后文）

对于这类不可逆的矩阵，我们称之为奇异矩阵或退化矩阵。

这种情况下，如果还想使用正规方程法，在Octave中，可以选用 pinv 函数，pinv 区别于 inv，pinv 函数被称为伪逆函数，在矩阵不可逆的时候，使用这个函数仍可正确地计算出 的值。

5 Octave/Matlab Tutorial

复习时可直接倍速回顾视频，笔记整理暂留。

5.1 Basic Operations

5.2 Moving Data Around

5.3 Computing on Data

5.4 Plotting Data

5.5 Control Statements: for, while, if statement

5.6 向量化(Vectorization)

5.x 常用函数整理

+
1 一般来说，当 超过 10000 时，对于正规方程而言，特征量较大。↩
2 梯度下降算法的普适性好，而对于特定的线性回归模型，正规方程是很好的替代品。↩
\ No newline at end of file diff --git a/week2.md b/week2.md index 19df81c..7136e43 100644 --- a/week2.md +++ b/week2.md @@ -79,9 +79,9 @@ $$ 除了以上图人工选择并除以一个参数的方式，**均值归一化(Mean normalization)**方法更为便捷，可采用它来对所有特征值统一缩放： - $x_i=\frac{x_i-average(x)}{maximum(x)-minimum(x)}, 使得 $ $x_i \in (-1,1)$ + $x_i:=\frac{x_i-average(x)}{maximum(x)-minimum(x)}, 使得 $ $x_i \in (-1,1)$ -对于特征的范围，并不一定需要使得 $-1 \leqslant x \leqslant 1$，类似于 $1\leqslant x \leqslant 3$ 等也是可取的，而诸如 $-100 \leqslant x \leqslant 100 $，$-0.00001 \leqslant x \leqslant 0.00001$，就显得过大/过小了。 +对于特征的范围，并不一定需要使得 $-1 \leqslant x \leqslant 1​$，类似于 $1\leqslant x \leqslant 3​$ 等也是可取的，而诸如 $-100 \leqslant x \leqslant 100 ​$，$-0.00001 \leqslant x \leqslant 0.00001​$，就显得过大/过小了。 另外注意，一旦采用特征缩放，我们就需对所有的输入采用特征缩放，包括训练集、测试集、预测输入等。 diff --git a/week3.html b/week3.html index 6a6701a..ad2d20f 100644 --- a/week3.html +++ b/week3.html @@ -332,19 +332,18 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

6 逻辑回归(Logistic Regression)6.1 分类(Classification)6.2 假设函数表示(Hypothesis Representation)6.3 决策边界(Decision Boundary)6.4 代价函数(Cost Function)6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent)6.6 进阶优化(Advanced Optimization)6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all)7 正则化(Regularization)7.1 过拟合问题(The Problem of Overfitting)7.2 代价函数(Cost Function)7.3 线性回归正则化(Regularized Linear Regression)7.4 逻辑回归正则化(Regularized Logistic Regression)

6 逻辑回归(Logistic Regression)

6.1 分类(Classification)

在分类问题中，预测的结果是离散值（结果是否属于某一类），逻辑回归算法(Logistic Regression)被用于解决这类分类问题。

  • 垃圾邮件判断
  • 金融欺诈判断
  • 肿瘤诊断

讨论肿瘤诊断问题：

肿瘤诊断问题的目的是告诉病人是否为恶性肿瘤，是一个二元分类问题(binary class problems)，则定义 ，其中 0 表示负向类(negative class)，代表恶性肿瘤("-")，1 为正向类(positive class)，代表良性肿瘤("+")。如图，定义最右边的样本为偏差项。

在未加入偏差项时，线性回归算法给出了品红色的拟合直线，若规定

，预测为 ，即正向类；

，预测为 ，即负向类。

即以 0.5 为阈值(threshold)，则我们就可以根据线性回归结果，得到相对正确的分类结果 。

 

接下来加入偏差项，线性回归算法给出了靛青色的拟合直线，如果阈值仍然为 0.5，可以看到算法在某些情况下会给出完全错误的结果，对于癌症、肿瘤诊断这类要求预测极其精确的问题，这种情况是无法容忍的。

不仅如此，线性回归算法的值域为全体实数集（），则当线性回归函数给出诸如 等很大/很小(负数)的数值时，结果 ，这显得非常怪异。

 

区别于线性回归算法，逻辑回归算法是一个分类算法，其输出值永远在 0 到 1 之间，即 。

6.2 假设函数表示(Hypothesis Representation)

为了使 ，引入逻辑回归模型，定义假设函数

对比线性回归函数 ， 表示逻辑函数(logistic function)，复合起来，则称为逻辑回归函数。

逻辑函数是 S 形函数，会将所有实数映射到 范围。

sigmoid 函数（如下图）是逻辑函数的特殊情况，其公式为 。

sigmoid function

应用 sigmoid 函数，则逻辑回归模型：

逻辑回归模型中， 的作用是，根据输入 以及参数 ，计算得出”输出 “的可能性(estimated probability)，概率学中表示为：

 

以肿瘤诊断为例， 表示病人有 的概率得了恶性肿瘤。

6.3 决策边界(Decision Boundary)

决策边界的概念，可帮助我们更好地理解逻辑回归模型的拟合原理。

在逻辑回归中，有假设函数 。

为了得出分类的结果，这里和前面一样，规定以 为阈值：

回忆一下 sigmoid 函数的图像：

sigmoid function

观察可得当 时，有 ，即 。

同线性回归模型的不同点在于：

直观一点来个例子， 是下图模型的假设函数：

根据上面的讨论，要进行分类，那么只要 时，就预测 ，即预测为正向类。

如果取 ，则有 ，当 即 时，易绘制图中的品红色直线即决策边界，为正向类（以红叉标注的数据）给出 的分类预测结果。

 

上面讨论了逻辑回归模型中线性拟合的例子，下面则是一个多项式拟合的例子，和线性回归中的情况也是类似的。

为了拟合下图数据，建模多项式假设函数：

这里取 ，决策边界对应了一个在原点处的单位圆（），如此便可给出分类结果，如图中品红色曲线：

 

当然，通过一些更为复杂的多项式，还能拟合那些图像显得非常怪异的数据，使得决策边界形似碗状、爱心状等等。

 

简单来说，决策边界就是分类的分界线，分类现在实际就由 (中的 )决定啦。

6.4 代价函数(Cost Function)

那我们怎么知道决策边界是啥样？ 多少时能很好的拟合数据？当然，见招拆招，总要来个 。

如果直接套用线性回归的代价函数：

其中 ，可绘制关于 的图像，如下图

回忆线性回归中的平方损失函数，其是一个二次凸函数（碗状），二次凸函数的重要性质是只有一个局部最小点即全局最小点。上图中有许多局部最小点，这样将使得梯度下降算法无法确定收敛点是全局最优。

如果此处的损失函数也是一个凸函数，是否也有同样的性质，从而最优化？这类讨论凸函数最优值的问题，被称为凸优化问题(Convex optimization)。

当然，损失函数不止平方损失函数一种。

对于逻辑回归，更换平方损失函数为对数损失函数，可由统计学中的最大似然估计方法推出代价函数 ：

则有关于 的图像如下：

如左图，当训练集的结果为 （正样本）时，随着假设函数趋向于 ，代价函数的值会趋于 ，即意味着拟合程度很好。如果假设函数此时趋于 ，则会给出一个很高的代价，拟合程度差，算法会根据其迅速纠正 值，右图 同理。

区别于平方损失函数，对数损失函数也是一个凸函数，但没有局部最优值。

6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent)

由于懒得分类讨论，对于二元分类问题，我们可把代价函数简化为一个函数： -

当 ，左边式子整体为 ，当 ，则 ，右边式子整体为0，也就和上面的分段函数一样了，而一个式子计算起来更方便。

向量化实现：

，

 

为了最优化 ，仍使用梯度下降法，算法同线性回归中一致：

解出偏导得：

注意，虽然形式上梯度下降算法同线性回归一样，但其中的假设函不同，即，不过求导后的结果也相同。

向量化实现：

 

逻辑回归中代价函数求导的推导过程：

令

将 带入得

-

根据求偏导的性质，没有 的项求偏导即为 ，都消去，则得：

所以有：

- - - - - - -

则可得代价函数的导数：

6.6 进阶优化(Advanced Optimization)

运行梯度下降算法，其能最小化代价函数 并得出 的最优值，在使用梯度下降算法时，如果不需要观察代价函数的收敛情况，则直接计算 的导数项即可，而不需要计算 值。

我们编写代码给出代价函数及其偏导数然后传入梯度下降算法中，接下来算法则会为我们最小化代价函数给出参数的最优解。这类算法被称为最优化算法(Optimization Algorithms)，梯度下降算法不是唯一的最小化算法1。

一些最优化算法：

  • 梯度下降法(Gradient Descent)

  • 共轭梯度算法(Conjugate gradient)

  • 牛顿法和拟牛顿法(Newton's method & Quasi-Newton Methods)

    • DFP算法
    • 局部优化法(BFGS)
    • 有限内存局部优化法(L-BFGS)

  • 拉格朗日乘数法(Lagrange multiplier)

比较梯度下降算法：一些最优化算法虽然会更为复杂，难以调试，自行实现又困难重重，开源库又效率也不一，哎，做个调包侠还得碰运气。不过这些算法通常效率更高，并无需选择学习速率 （少一个参数少一份痛苦啊！）。

Octave/Matlab 中对这类高级算法做了封装，易于调用。

 

假设有 ，要求参数 的最优值。

下面为 Octave/Matlab 求解最优化问题的代码实例：

  1. 创建一个函数以返回代价函数及其偏导数：
  1. 将 costFunction 函数及所需参数传入最优化函数 fminunc，以求解最优化问题：

'GradObj', 'on': 启用梯度目标参数（则需要将梯度传入算法）

'MaxIter', 100: 最大迭代次数为 100 次

@xxx: Octave/Matlab 中的函数指针

optTheta: 最优化得到的参数向量

functionVal: 引用函数最后一次的返回值

exitFlag: 标记代价函数是否收敛

注：Octave/Matlab 中可以使用 help fminunc 命令随时查看函数的帮助文档。

  1. 返回结果

6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all)

一直在讨论二元分类问题，这里谈谈多类别分类问题（比如天气预报）。

原理是，转化多类别分类问题为多个二元分类问题，这种方法被称为 One-vs-all。

正式定义：

: 输出 （属于第 个分类）的可能性

: 类别总数，如上图 。

注意多类别分类问题中 的结果不再只是一个实数而是一个向量，如果类别总数为 ，现在 就是一个 维向量。

对于某个样本实例，需计算所有的 种分类情况得到 ，然后看分为哪个类别时预测输出的值最大，就说它输出属于哪个类别，即 。

7 正则化(Regularization)

7.1 过拟合问题(The Problem of Overfitting)

对于拟合的表现，可以分为三类情况：

  • 欠拟合(Underfitting)

    无法很好的拟合训练集中的数据，预测值和实际值的误差很大，这类情况被称为欠拟合。拟合模型比较简单（特征选少了）时易出现这类情况。类似于，你上课不好好听，啥都不会，下课也差不多啥都不会。

  • 优良的拟合(Just right)

    不论是训练集数据还是不在训练集中的预测数据，都能给出较为正确的结果。类似于，学霸学神！

  • 过拟合(Overfitting)

    能很好甚至完美拟合训练集中的数据，即 ，但是对于不在训练集中的新数据，预测值和实际值的误差会很大，泛化能力弱，这类情况被称为过拟合。拟合模型过于复杂（特征选多了）时易出现这类情况。类似于，你上课跟着老师做题都会都听懂了，下课遇到新题就懵了不会拓展。

线性模型中的拟合情况(左图欠拟合，右图过拟合)： +

6 逻辑回归(Logistic Regression)6.1 分类(Classification)6.2 假设函数表示(Hypothesis Representation)6.3 决策边界(Decision Boundary)6.4 代价函数(Cost Function)6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent)6.6 进阶优化(Advanced Optimization)6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all)7 正则化(Regularization)7.1 过拟合问题(The Problem of Overfitting)7.2 代价函数(Cost Function)7.3 线性回归正则化(Regularized Linear Regression)7.4 逻辑回归正则化(Regularized Logistic Regression)

6 逻辑回归(Logistic Regression)

6.1 分类(Classification)

在分类问题中，预测的结果是离散值（结果是否属于某一类），逻辑回归算法(Logistic Regression)被用于解决这类分类问题。

  • 垃圾邮件判断
  • 金融欺诈判断
  • 肿瘤诊断

讨论肿瘤诊断问题：

肿瘤诊断问题的目的是告诉病人是否为恶性肿瘤，是一个二元分类问题(binary class problems)，则定义 ，其中 0 表示负向类(negative class)，代表恶性肿瘤("-")，1 为正向类(positive class)，代表良性肿瘤("+")。如图，定义最右边的样本为偏差项。

在未加入偏差项时，线性回归算法给出了品红色的拟合直线，若规定

，预测为 ，即正向类；

，预测为 ，即负向类。

即以 0.5 为阈值(threshold)，则我们就可以根据线性回归结果，得到相对正确的分类结果 。

 

接下来加入偏差项，线性回归算法给出了靛青色的拟合直线，如果阈值仍然为 0.5，可以看到算法在某些情况下会给出完全错误的结果，对于癌症、肿瘤诊断这类要求预测极其精确的问题，这种情况是无法容忍的。

不仅如此，线性回归算法的值域为全体实数集（），则当线性回归函数给出诸如 等很大/很小(负数)的数值时，结果 ，这显得非常怪异。

 

区别于线性回归算法，逻辑回归算法是一个分类算法，其输出值永远在 0 到 1 之间，即 。

6.2 假设函数表示(Hypothesis Representation)

为了使 ，引入逻辑回归模型，定义假设函数

对比线性回归函数 ， 表示逻辑函数(logistic function)，复合起来，则称为逻辑回归函数。

逻辑函数是 S 形函数，会将所有实数映射到 范围。

sigmoid 函数（如下图）是逻辑函数的特殊情况，其公式为 。

sigmoid function

应用 sigmoid 函数，则逻辑回归模型：

逻辑回归模型中， 的作用是，根据输入 以及参数 ，计算得出”输出 “的可能性(estimated probability)，概率学中表示为：

 

以肿瘤诊断为例， 表示病人有 的概率得了恶性肿瘤。

6.3 决策边界(Decision Boundary)

决策边界的概念，可帮助我们更好地理解逻辑回归模型的拟合原理。

在逻辑回归中，有假设函数 。

为了得出分类的结果，这里和前面一样，规定以 为阈值：

回忆一下 sigmoid 函数的图像：

sigmoid function

观察可得当 时，有 ，即 。

同线性回归模型的不同点在于：

直观一点来个例子， 是下图模型的假设函数：

根据上面的讨论，要进行分类，那么只要 时，就预测 ，即预测为正向类。

如果取 ，则有 ，当 即 时，易绘制图中的品红色直线即决策边界，为正向类（以红叉标注的数据）给出 的分类预测结果。

 

上面讨论了逻辑回归模型中线性拟合的例子，下面则是一个多项式拟合的例子，和线性回归中的情况也是类似的。

为了拟合下图数据，建模多项式假设函数：

这里取 ，决策边界对应了一个在原点处的单位圆（），如此便可给出分类结果，如图中品红色曲线：

 

当然，通过一些更为复杂的多项式，还能拟合那些图像显得非常怪异的数据，使得决策边界形似碗状、爱心状等等。

 

简单来说，决策边界就是分类的分界线，分类现在实际就由 (中的 )决定啦。

6.4 代价函数(Cost Function)

那我们怎么知道决策边界是啥样？ 多少时能很好的拟合数据？当然，见招拆招，总要来个 。

如果直接套用线性回归的代价函数：

其中 ，可绘制关于 的图像，如下图

回忆线性回归中的平方损失函数，其是一个二次凸函数（碗状），二次凸函数的重要性质是只有一个局部最小点即全局最小点。上图中有许多局部最小点，这样将使得梯度下降算法无法确定收敛点是全局最优。

如果此处的损失函数也是一个凸函数，是否也有同样的性质，从而最优化？这类讨论凸函数最优值的问题，被称为凸优化问题(Convex optimization)。

当然，损失函数不止平方损失函数一种。

对于逻辑回归，更换平方损失函数为对数损失函数，可由统计学中的最大似然估计方法推出代价函数 ：

则有关于 的图像如下：

如左图，当训练集的结果为 （正样本）时，随着假设函数趋向于 ，代价函数的值会趋于 ，即意味着拟合程度很好。如果假设函数此时趋于 ，则会给出一个很高的代价，拟合程度差，算法会根据其迅速纠正 值，右图 同理。

区别于平方损失函数，对数损失函数也是一个凸函数，但没有局部最优值。

6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent)

由于懒得分类讨论，对于二元分类问题，我们可把代价函数简化为一个函数： +

当 ，左边式子整体为 ，当 ，则 ，右边式子整体为0，也就和上面的分段函数一样了，而一个式子计算起来更方便。

向量化实现：

，

 

为了最优化 ，仍使用梯度下降法，算法同线性回归中一致：

解出偏导得：

注意，虽然形式上梯度下降算法同线性回归一样，但其中的假设函不同，即，不过求导后的结果也相同。

向量化实现：

 

逻辑回归中代价函数求导的推导过程：

令

忆及 ，将 带入得

+

根据求偏导的性质，没有 的项求偏导即为 ，都消去，则得：

所以有：

+ + + + + +

则可得代价函数的导数：

6.6 进阶优化(Advanced Optimization)

运行梯度下降算法，其能最小化代价函数 并得出 的最优值，在使用梯度下降算法时，如果不需要观察代价函数的收敛情况，则直接计算 的导数项即可，而不需要计算 值。

我们编写代码给出代价函数及其偏导数然后传入梯度下降算法中，接下来算法则会为我们最小化代价函数给出参数的最优解。这类算法被称为最优化算法(Optimization Algorithms)，梯度下降算法不是唯一的最小化算法1。

一些最优化算法：

  • 梯度下降法(Gradient Descent)

  • 共轭梯度算法(Conjugate gradient)

  • 牛顿法和拟牛顿法(Newton's method & Quasi-Newton Methods)

    • DFP算法
    • 局部优化法(BFGS)
    • 有限内存局部优化法(L-BFGS)

  • 拉格朗日乘数法(Lagrange multiplier)

比较梯度下降算法：一些最优化算法虽然会更为复杂，难以调试，自行实现又困难重重，开源库又效率也不一，哎，做个调包侠还得碰运气。不过这些算法通常效率更高，并无需选择学习速率 （少一个参数少一份痛苦啊！）。

Octave/Matlab 中对这类高级算法做了封装，易于调用。

 

假设有 ，要求参数 的最优值。

下面为 Octave/Matlab 求解最优化问题的代码实例：

  1. 创建一个函数以返回代价函数及其偏导数：
  1. 将 costFunction 函数及所需参数传入最优化函数 fminunc，以求解最优化问题：

'GradObj', 'on': 启用梯度目标参数（则需要将梯度传入算法）

'MaxIter', 100: 最大迭代次数为 100 次

@xxx: Octave/Matlab 中的函数指针

optTheta: 最优化得到的参数向量

functionVal: 引用函数最后一次的返回值

exitFlag: 标记代价函数是否收敛

注：Octave/Matlab 中可以使用 help fminunc 命令随时查看函数的帮助文档。

  1. 返回结果

6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all)

一直在讨论二元分类问题，这里谈谈多类别分类问题（比如天气预报）。

原理是，转化多类别分类问题为多个二元分类问题，这种方法被称为 One-vs-all。

正式定义：

: 输出 （属于第 个分类）的可能性

: 类别总数，如上图 。

注意多类别分类问题中 的结果不再只是一个实数而是一个向量，如果类别总数为 ，现在 就是一个 维向量。

对于某个样本实例，需计算所有的 种分类情况得到 ，然后看分为哪个类别时预测输出的值最大，就说它输出属于哪个类别，即 。

7 正则化(Regularization)

7.1 过拟合问题(The Problem of Overfitting)

对于拟合的表现，可以分为三类情况：

  • 欠拟合(Underfitting)

    无法很好的拟合训练集中的数据，预测值和实际值的误差很大，这类情况被称为欠拟合。拟合模型比较简单（特征选少了）时易出现这类情况。类似于，你上课不好好听，啥都不会，下课也差不多啥都不会。

  • 优良的拟合(Just right)

    不论是训练集数据还是不在训练集中的预测数据，都能给出较为正确的结果。类似于，学霸学神！

  • 过拟合(Overfitting)

    能很好甚至完美拟合训练集中的数据，即 ，但是对于不在训练集中的新数据，预测值和实际值的误差会很大，泛化能力弱，这类情况被称为过拟合。拟合模型过于复杂（特征选多了）时易出现这类情况。类似于，你上课跟着老师做题都会都听懂了，下课遇到新题就懵了不会拓展。

线性模型中的拟合情况(左图欠拟合，右图过拟合)：

逻辑分类模型中的拟合情况：

 

为了度量拟合表现，引入：

  • 偏差(bias)

    指模型的预测值与真实值的偏离程度。偏差越大，预测值偏离真实值越厉害。偏差低意味着能较好地反应训练集中的数据情况。

  • 方差(Variance)

    指模型预测值的离散程度或者变化范围。方差越大，数据的分布越分散，函数波动越大，泛化能力越差。方差低意味着拟合曲线的稳定性高，波动小。

据此，我们有对同一数据的各类拟合情况如下图： -

据上图，高偏差意味着欠拟合，高方差意味着过拟合。

我们应尽量使得拟合模型处于低方差（较好地拟合数据）状态且同时处于低偏差（较好地预测新值）的状态。

避免过拟合的方法有：

  • 减少特征的数量

    • 手动选取需保留的特征
    • 使用模型选择算法来选取合适的特征(如 PCA 算法)
    • 减少特征的方式易丢失有用的特征信息

  • 正则化(Regularization)

    • 可保留所有参数（许多有用的特征都能轻微影响结果）
    • 减少/惩罚各参数大小(magnitude)，以减轻各参数对模型的影响程度
    • 当有很多参数对于模型只有轻微影响时，正则化方法的表现很好

7.2 代价函数(Cost Function)

很多时候由于特征数量过多，过拟合时我们很难选出要保留的特征，这时候应用正则化方法则是很好的选择。

上文中， 这样一个复杂的多项式较易过拟合，在不减少特征的情况下，如果能消除类似于 、 等复杂部分，那复杂函数就变得简单了。

为了保留各个参数的信息，不修改假设函数，改而修改代价函数：

上式中，我们在代价函数中增加了 、 的惩罚项(penalty term) ，如果要最小化代价函数，那么势必需要极大地减小 、，从而使得假设函数中的 、 这两项的参数非常小，就相当于没有了，假设函数也就“变得”简单了，从而在保留各参数的情况下避免了过拟合问题。

 

根据上面的讨论，有时也无法决定要减少哪个参数，故统一惩罚除了 外的所有参数。

代价函数：

: 正则化参数(Regularization Parameter)，

: 不惩罚基础参数

: 正则化项

正则化参数类似于学习速率，也需要我们自行对其选择一个合适的值。

  • 过大

    • 导致模型欠拟合(假设可能会变成近乎 的直线 )
    • 无法正常去过拟问题
    • 梯度下降可能无法收敛

  • 过小

    • 无法避免过拟合（等于没有）

正则化符合奥卡姆剃刀(Occam's razor)原理。在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。

正则化是结构风险最小化策略的实现，是去过拟合问题的典型方法，虽然看起来多了个一参数多了一重麻烦，后文会介绍自动选取正则化参数的方法。模型越复杂，正则化参数值就越大。比如，正则化项可以是模型参数向量的范数。

7.3 线性回归正则化(Regularized Linear Regression)

应用正则化的线性回归梯度下降算法：

也可以移项得到更新表达式的另一种表示形式

: 正则化项

 

应用正则化的正规方程法2：

: 正则化项

: 第一行第一列为 的 维单位矩阵

Matlab/Octave 代码：

 

前文提到正则化可以解决正规方程法中不可逆的问题，即增加了 正则化项后，可以保证 可逆(invertible)，即便 不可逆(non-invertible)。

7.4 逻辑回归正则化(Regularized Logistic Regression)

为逻辑回归的代价函数添加正则化项：

前文已经证明过逻辑回归和线性回归的代价函数的求导结果是一样的，此处通过给正则化项添加常数 ，则其求导结果也就一样了。

从而有应用正则化的逻辑回归梯度下降算法：

 

+

据上图，高偏差意味着欠拟合，高方差意味着过拟合。

我们应尽量使得拟合模型处于低方差（较好地拟合数据）状态且同时处于低偏差（较好地预测新值）的状态。

避免过拟合的方法有：

  • 减少特征的数量

    • 手动选取需保留的特征
    • 使用模型选择算法来选取合适的特征(如 PCA 算法)
    • 减少特征的方式易丢失有用的特征信息

  • 正则化(Regularization)

    • 可保留所有参数（许多有用的特征都能轻微影响结果）
    • 减少/惩罚各参数大小(magnitude)，以减轻各参数对模型的影响程度
    • 当有很多参数对于模型只有轻微影响时，正则化方法的表现很好

7.2 代价函数(Cost Function)

很多时候由于特征数量过多，过拟合时我们很难选出要保留的特征，这时候应用正则化方法则是很好的选择。

上文中， 这样一个复杂的多项式较易过拟合，在不减少特征的情况下，如果能消除类似于 、 等复杂部分，那复杂函数就变得简单了。

为了保留各个参数的信息，不修改假设函数，改而修改代价函数：

上式中，我们在代价函数中增加了 、 的惩罚项(penalty term) ，如果要最小化代价函数，那么势必需要极大地减小 、，从而使得假设函数中的 、 这两项的参数非常小，就相当于没有了，假设函数也就“变得”简单了，从而在保留各参数的情况下避免了过拟合问题。

 

根据上面的讨论，有时也无法决定要减少哪个参数，故统一惩罚除了 外的所有参数。

代价函数：

: 正则化参数(Regularization Parameter)，

: 不惩罚基础参数

: 正则化项

正则化参数类似于学习速率，也需要我们自行对其选择一个合适的值。

  • 过大

    • 导致模型欠拟合(假设可能会变成近乎 的直线 )
    • 无法正常去过拟问题
    • 梯度下降可能无法收敛

  • 过小

    • 无法避免过拟合（等于没有）

正则化符合奥卡姆剃刀(Occam's razor)原理。在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。

正则化是结构风险最小化策略的实现，是去过拟合问题的典型方法，虽然看起来多了个一参数多了一重麻烦，后文会介绍自动选取正则化参数的方法。模型越复杂，正则化参数值就越大。比如，正则化项可以是模型参数向量的范数。

7.3 线性回归正则化(Regularized Linear Regression)

应用正则化的线性回归梯度下降算法：

也可以移项得到更新表达式的另一种表示形式

: 正则化项

 

应用正则化的正规方程法2：

: 正则化项

: 第一行第一列为 的 维单位矩阵

Matlab/Octave 代码：

 

前文提到正则化可以解决正规方程法中不可逆的问题，即增加了 正则化项后，可以保证 可逆(invertible)，即便 不可逆(non-invertible)。

7.4 逻辑回归正则化(Regularized Logistic Regression)

为逻辑回归的代价函数添加正则化项：

前文已经证明过逻辑回归和线性回归的代价函数的求导结果是一样的，此处通过给正则化项添加常数 ，则其求导结果也就一样了。

从而有应用正则化的逻辑回归梯度下降算法：

 

1 https://en.wikipedia.org/wiki/List_of_algorithms#Optimization_algorithms↩
2 week2 - 4.6↩
diff --git a/week3.md b/week3.md index 27b368f..cef75bf 100644 --- a/week3.md +++ b/week3.md @@ -173,29 +173,28 @@ $J(\theta) = - \frac{1}{m} \displaystyle \sum_{i=1}^m [y^{(i)}\log (h_\theta (x^ 令 $f(\theta) = {{y}^{(i)}}\log \left( {h_\theta}\left( {{x}^{(i)}} \right) \right)+\left( 1-{{y}^{(i)}} \right)\log \left( 1-{h_\theta}\left( {{x}^{(i)}} \right) \right)$ -将 $h_\theta(x^{(i)}) = g\left(\theta^{T}x^{(i)} \right)=\frac{1}{1+{{e}^{-{\theta^T}{{x}^{(i)}}}}} $ 带入得 +忆及 $z=\Theta^Tx^{(i)}$，将 $h_\theta(x^{(i)}) = g(z) =\frac{1}{1+{{e}^{-{\theta^T}{{x}^{(i)}}}}} $ 带入得 $f(\theta)={{y}^{(i)}}\log \left( \frac{1}{1+{{e}^{-{\theta^T}{{x}^{(i)}}}}} \right)+\left( 1-{{y}^{(i)}} \right)\log \left( 1-\frac{1}{1+{{e}^{-{\theta^T}{{x}^{(i)}}}}} \right)$ -$=-{{y}^{(i)}}\log \left( 1+{{e}^{-{\theta^T}{{x}^{(i)}}}} \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1+{{e}^{{\theta^T}{{x}^{(i)}}}} \right)$ +$=-{{y}^{(i)}}\log \left( 1+{{e}^{-z}} \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1+{{e}^{z}} \right)$ 根据求偏导的性质，没有 $\theta_j$ 的项求偏导即为 $0$，都消去，则得： -$\frac{\partial }{\partial {\theta_{j}}}\left( \theta^Tx^{(i)} \right)=x^{(i)}_j$ +$\frac{\partial z}{\partial {\theta_{j}}}=\frac{\partial }{\partial {\theta_{j}}}\left( \theta^Tx^{(i)} \right)=x^{(i)}_j$ 所以有： -$\frac{\partial }{\partial {\theta_{j}}}f\left( \theta \right)=\frac{\partial }{\partial {\theta_{j}}}[-{{y}^{(i)}}\log \left( 1+{{e}^{-{\theta^{T}}{{x}^{(i)}}}} \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1+{{e}^{{\theta^{T}}{{x}^{(i)}}}} \right)]$ +$\frac{\partial }{\partial {\theta_{j}}}f\left( \theta \right)=\frac{\partial }{\partial {\theta_{j}}}[-{{y}^{(i)}}\log \left( 1+{{e}^{-z}} \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1+{{e}^{z}} \right)]$ -$=-{{y}^{(i)}}\frac{\frac{\partial }{\partial {\theta_{j}}}\left( \theta^Tx^{(i)} \right)\cdot{{e}^{-{\theta^{T}}{{x}^{(i)}}}}}{1+{{e}^{-{\theta^{T}}{{x}^{(i)}}}}}-\left( 1-{{y}^{(i)}} \right)\frac{\frac{\partial }{\partial {\theta_{j}}}\left( \theta^Tx^{(i)} \right)\cdot{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}$ +$=-{{y}^{(i)}}\frac{\frac{\partial }{\partial {\theta_{j}}}\left(-z \right) e^{-z}}{1+e^{-z}}-\left( 1-{{y}^{(i)}} \right)\frac{\frac{\partial }{\partial {\theta_{j}}}\left(z \right){e^{z}}}{1+e^{z}}$ -$=-{{y}^{(i)}}\frac{-x_{j}^{(i)}{{e}^{-{\theta^{T}}{{x}^{(i)}}}}}{1+{{e}^{-{\theta^{T}}{{x}^{(i)}}}}}-\left( 1-{{y}^{(i)}} \right)\frac{x_j^{(i)}{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}$ -$={{y}^{(i)}}\frac{x_j^{(i)}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}-\left( 1-{{y}^{(i)}} \right)\frac{x_j^{(i)}{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}$ -$={\frac{{{y}^{(i)}}x_j^{(i)}-x_j^{(i)}{{e}^{{\theta^T}{{x}^{(i)}}}}+{{y}^{(i)}}x_j^{(i)}{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}}$ -$={\frac{{{y}^{(i)}}\left( 1\text{+}{{e}^{{\theta^T}{{x}^{(i)}}}} \right)-{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}}x_j^{(i)}}$ -$={({{y}^{(i)}}-\frac{{{e}^{{\theta^T}{{x}^{(i)}}}}}{1+{{e}^{{\theta^T}{{x}^{(i)}}}}})x_j^{(i)}}$ -$={({{y}^{(i)}}-\frac{1}{1+{{e}^{-{\theta^T}{{x}^{(i)}}}}})x_j^{(i)}}$ +$=-{{y}^{(i)}}\frac{-x^{(i)}_je^{-z}}{1+e^{-z}}-\left( 1-{{y}^{(i)}} \right)\frac{x^{(i)}_j}{1+e^{-z}}$ +$=\left({{y}^{(i)}}\frac{e^{-z}}{1+e^{-z}}-\left( 1-{{y}^{(i)}} \right)\frac{1}{1+e^{-z}}\right)x^{(i)}_j$ +$=\left({{y}^{(i)}}\frac{e^{-z}}{1+e^{-z}}-\left( 1-{{y}^{(i)}} \right)\frac{1}{1+e^{-z}}\right)x^{(i)}_j$ +$=\left(\frac{{{y}^{(i)}}(e^{-z}+1)-1}{1+e^{-z}}\right)x^{(i)}_j$ +$={({{y}^{(i)}}-\frac{1}{1+{{e}^{-z}}})x_j^{(i)}}$ $={\left({{y}^{(i)}}-{h_\theta}\left( {{x}^{(i)}} \right)\right)x_j^{(i)}}$ -$={\left({h_\theta}\left( {{x}^{(i)}} \right)-{{y}^{(i)}}\right)x_j^{(i)}}$ +$=-{\left({h_\theta}\left( {{x}^{(i)}} \right)-{{y}^{(i)}}\right)x_j^{(i)}}$ 则可得代价函数的导数： diff --git a/week4.html b/week4.html index 2d3a99e..1146d10 100644 --- a/week4.html +++ b/week4.html @@ -220,6 +220,6 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

8 神经网络：表达(Neural Networks: Representation)8.1 非线性假设(Non-linear Hypotheses)8.2 神经网络和大脑(Neurons and the Brain)8.3 模型表示1(Model Representation I)8.4 模型表示2(Model Representation II)8.5 例子和直观理解1(Examples and Intuitions I)8.6 例子和直观理解2(Examples and Intuitions II)8.7 多类别分类(Multiclass Classification)

8 神经网络：表达(Neural Networks: Representation)

8.1 非线性假设(Non-linear Hypotheses)

理论上我们可以用多项式函数去近似任意函数（泰勒极数(Taylor series)），从而可得到任意问题的拟合曲线。

在实际处理时，特征量通常会很多，如果再构造高阶多项式等，特征数量将会急剧增加，这使得回归模型的复杂度太高，可见并不合适。神经网络无需构造高阶多项式，在特征量很大时也可以处理的很好。

那特征能有多大呢？下面是一个计算机视觉中的例子：

如上图，如果选取一小块 像素的灰度图片（一个像素只有亮度一个值），选择每个像素点作为特征，则特征总量 （换成 RGB（一个像素有三个值），则 ），如果将其两两组合作为新特征，则特征数量将为 。

8.2 神经网络和大脑(Neurons and the Brain)

脑科学家通过对动物实验，发现大脑中专用于处理听觉信号的脑皮层也能处理其他诸如视觉等信号，即如果切断其与耳朵的联系，将其与眼睛相连，则这块负责听觉的脑皮层区域也能接受并处理视觉信号，从而学会“看”。脑科学家通过这类换源实验，就推论假设大脑的学习算法只有一种(“one learning algorithm” hypothesis)。那么如果能找出这种学习算法并应用于计算机中，那梦想中和人一样的人工智能就成真了。

神经网络就源于模拟人类大脑，但其需要的计算量很大。随着计算机硬件性能的提高，神经网络逐渐从衰落变为流行，如今已广泛地被应用在各行各业中。

下图是根据研究做的一些应用（有兴趣可回顾视频）：

BrainPort 系统：帮助失明人士通过摄像头以及舌尖感官“看”东西

触觉皮带：在朝北时蜂鸣器会发出声响，可使人拥有方向感（声音信号转换为方向信号）。

8.3 模型表示1(Model Representation I)

既然神经网络模仿的是大脑神经元，那就先看一下大脑的神经元长什么样吧：

来源: http://blog.csdn.net/zzwu/article/details/574931

想象一下印刷厂中流水线的工人（机器人也算哦），每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。

那么类比一下，把上图中的细胞核(nucleus)类比成工人，轴突(axon)类比传送带，树突(dendrite)则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。当然啦，我们大脑的实际上还要更为复杂，而且一个人的神经元数目就比地球上所有流水线的工人之和还要多呢~

人工神经网络中，树突对应输入(input)，细胞核对应激活单元(activation unit)，轴突对应输出(output)。

我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。

图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。中间激活单元应用激活函数(activation_function)处理数据。

下面列出一些已有概念在神经网络中的别称：

  • : 偏置单元(bias unit)，=1
  • : 权重(weight)，即参数。
  • 激活函数: ，即逻辑函数等。
  • 输入层: 对应于训练集中的特征 。
  • 输出层: 对应于训练集中的结果 。

: 第 层的第 个激活单元

: 从第 层映射到第 层时的权重矩阵。

: 从第 层的第 个单元映射到第 层的第 个单元的权重

: 第 层的激活单元数目（不包含偏置单元）

注意：

  • 符号较多，记不住可随时回顾！
  • 每个单元会作用于下一层的所有单元（矩阵乘法运算）。
  • 如果第 层有 个单元，第 层有 个单元， 是一个 维的权重矩阵。即每一层的权重矩阵大小都是非固定的。
  • 其中， 来自于偏置单元，这样意味着输出层不包含偏置单元，输入层和隐藏层需要增加偏置单元。

 

依据本节所给模型，有：

8.4 模型表示2(Model Representation II)

对第 层的所有激活单元应用激活函数，从而得到第 层激活单元的值：

对第 层的所有激活单元应用激活函数，从而得到输出：

上面的计算过程被称为前向传播(Forward propagation)，即从输入层开始，一层一层地向下计算并传递结果。

 

再回顾一下逻辑回归：

是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 。从输入 开始，下一层的每个激活单元都包含了上一层的所有信息（单元值），通过最优化算法不断迭代计算，激活单元能得出关于输入 的更多信息，这就好像是在给假设函数加多项式。中间层的这些单元好似升级版的初始特征，从而能给出更好的预测。

 

向量化实现

定义 ，，

，

则有

预测结果即

 

即有 ，

，，通过该式即可计算神经网络中每一层的值。

扩展到所有样本实例：

，这时 是一个 维矩阵。

: 训练集中的样本实例数量

: 第二层神经网络中激活单元的数量

 

当然，神经网络不仅限于三层，每层的激活单元数量也并不固定：

8.5 例子和直观理解1(Examples and Intuitions I)

为了更好的理解神经网络，举例单层神经网络进行逻辑运算的例子。

下面的例子中， 为二进制数。

逻辑与(AND)运算（都为真值则结果才为真）神经网络：

，。

回顾 sigmoid 函数图像，根据输入则有上图中右边的表格，即 。这样就实现了一个能够进行与运算的神经网络。

sigmoid function

 

再举一例，逻辑或(OR)运算（有一个真值则结果就为真）神经网络：

 

8.6 例子和直观理解2(Examples and Intuitions II)

下面逐步构建复杂一点的神经网络

如上图，我们分别构建了三个单层神经网络，将这三个网络组合起来，可得到一个新的神经网络，其可完成逻辑运算中的异或(XNOR)操作：

这里的组合即为

，，

可见，特征值能不断升级，并抽取出更多信息，直到计算出结果。而如此不断组合，我们就可以逐渐构造出越来越复杂、强大的神经网络，比如用于手写识别的神经网络。

任何布尔函数都可由两层神经网络准确表达，但所需的中间单元的数量随输入呈指数级增长;

任何连续函数都可由两层神经网络以任意精度逼近;

任何函数都可由三层神经网络以任意程度逼近。

8.7 多类别分类(Multiclass Classification)

之前讨论的都是预测结果为单值情况下的神经网络，要实现多类别分类，其实只要修改一下输出层，让输出层包含多个输出单元即可。

举一个 4 分类问题的实例：

有四种分类情况，那么就让输出层包含 4 个输出单元即可，则 为 4 维向量。

神经网络中的多分类算法算是对 one-vs-all 思想的扩展，定义预测结果一共有 4 种情况：

如果预测结果 ，

那么表示 ，即分为第 3 类，对应于图中的摩托车(Motorcycle)。

总结一下，要分为 类，就在输出层放置 个输出单元，对于单个样本实例， 则是一个 维结果向量，最后依据结果向量，得出属于哪个类 。

 

+

8 神经网络：表达(Neural Networks: Representation)8.1 非线性假设(Non-linear Hypotheses)8.2 神经网络和大脑(Neurons and the Brain)8.3 模型表示1(Model Representation I)8.4 模型表示2(Model Representation II)8.5 例子和直观理解1(Examples and Intuitions I)8.6 例子和直观理解2(Examples and Intuitions II)8.7 多类别分类(Multiclass Classification)

8 神经网络：表达(Neural Networks: Representation)

8.1 非线性假设(Non-linear Hypotheses)

理论上我们可以用多项式函数去近似任意函数（泰勒极数(Taylor series)），从而可得到任意问题的拟合曲线。

在实际处理时，特征量通常会很多，如果再构造高阶多项式等，特征数量将会急剧增加，这使得回归模型的复杂度太高，可见并不合适。神经网络无需构造高阶多项式，在特征量很大时也可以处理的很好。

那特征能有多大呢？下面是一个计算机视觉中的例子：

如上图，如果选取一小块 像素的灰度图片（一个像素只有亮度一个值），选择每个像素点作为特征，则特征总量 （换成 RGB（一个像素有三个值），则 ），如果将其两两组合作为新特征，则特征数量将为 。

8.2 神经网络和大脑(Neurons and the Brain)

脑科学家通过对动物实验，发现大脑中专用于处理听觉信号的脑皮层也能处理其他诸如视觉等信号，即如果切断其与耳朵的联系，将其与眼睛相连，则这块负责听觉的脑皮层区域也能接受并处理视觉信号，从而学会“看”。脑科学家通过这类换源实验，就推论假设大脑的学习算法只有一种(“one learning algorithm” hypothesis)。那么如果能找出这种学习算法并应用于计算机中，那梦想中和人一样的人工智能就成真了。

神经网络就源于模拟人类大脑，但其需要的计算量很大。随着计算机硬件性能的提高，神经网络逐渐从衰落变为流行，如今已广泛地被应用在各行各业中。

下图是根据研究做的一些应用（有兴趣可回顾视频）：

BrainPort 系统：帮助失明人士通过摄像头以及舌尖感官“看”东西

触觉皮带：在朝北时蜂鸣器会发出声响，可使人拥有方向感（声音信号转换为方向信号）。

8.3 模型表示1(Model Representation I)

既然神经网络模仿的是大脑神经元，那就先看一下大脑的神经元长什么样吧：

来源: http://blog.csdn.net/zzwu/article/details/574931

想象一下印刷厂中流水线的工人（机器人也算哦），每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。

那么类比一下，把上图中的细胞核(nucleus)类比成工人，轴突(axon)类比传送带，树突(dendrite)则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。当然啦，我们大脑的实际上还要更为复杂，而且一个人的神经元数目就比地球上所有流水线的工人之和还要多呢~

人工神经网络中，树突对应输入(input)，细胞核对应激活单元(activation unit)，轴突对应输出(output)。

我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。

图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。中间激活单元应用激活函数(activation_function)处理数据。

下面列出一些已有概念在神经网络中的别称：

  • : 偏置单元(bias unit)，=1
  • : 权重(weight)，即参数。
  • 激活函数: ，即逻辑函数等。
  • 输入层: 对应于训练集中的特征 。
  • 输出层: 对应于训练集中的结果 。

: 第 层的第 个激活单元

: 从第 层映射到第 层时的权重矩阵。

: 从第 层的第 个单元映射到第 层的第 个单元的权重

: 第 层的激活单元数目（不包含偏置单元）

注意：

  • 符号较多，记不住可随时回顾！
  • 每个单元会作用于下一层的所有单元（矩阵乘法运算）。
  • 如果第 层有 个单元，第 层有 个单元， 是一个 维的权重矩阵。即每一层的权重矩阵大小都是非固定的。
  • 其中， 来自于偏置单元，这样意味着输出层不包含偏置单元，输入层和隐藏层需要增加偏置单元。

 

依据本节所给模型，有：

8.4 模型表示2(Model Representation II)

对第 层的所有激活单元应用激活函数，从而得到第 层激活单元的值：

对第 层的所有激活单元应用激活函数，从而得到输出：

上面的计算过程被称为前向传播(Forward propagation)，即从输入层开始，一层一层地向下计算并传递结果。

 

再回顾一下逻辑回归：

是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 。从输入 开始，下一层的每个激活单元都包含了上一层的所有信息（单元值），通过最优化算法不断迭代计算，激活单元能得出关于输入 的更多信息，这就好像是在给假设函数加多项式。隐藏层的这些单元好似升级版的初始特征，从而能给出更好的预测。

 

向量化实现

定义 ，，

，

则有

预测结果即

 

即有 ，

，，通过该式即可计算神经网络中每一层的值。

扩展到所有样本实例：

，这时 是一个 维矩阵。

: 训练集中的样本实例数量

: 第二层神经网络中激活单元的数量

 

当然，神经网络不仅限于三层，每层的激活单元数量也并不固定：

8.5 例子和直观理解1(Examples and Intuitions I)

为了更好的理解神经网络，举例单层神经网络进行逻辑运算的例子。

下面的例子中， 为二进制数。

逻辑与(AND)运算（都为真值则结果才为真）神经网络：

，。

回顾 sigmoid 函数图像，根据输入则有上图中右边的表格，即 。这样就实现了一个能够进行与运算的神经网络。

sigmoid function

 

再举一例，逻辑或(OR)运算（有一个真值则结果就为真）神经网络：

 

8.6 例子和直观理解2(Examples and Intuitions II)

下面逐步构建复杂一点的神经网络

如上图，我们分别构建了三个单层神经网络，将这三个网络组合起来，可得到一个新的神经网络，其可完成逻辑运算中的异或(XNOR)操作：

这里的组合即为

，，

可见，特征值能不断升级，并抽取出更多信息，直到计算出结果。而如此不断组合，我们就可以逐渐构造出越来越复杂、强大的神经网络，比如用于手写识别的神经网络。

任何布尔函数都可由两层神经网络准确表达，但所需的中间单元的数量随输入呈指数级增长;

任何连续函数都可由两层神经网络以任意精度逼近;

任何函数都可由三层神经网络以任意程度逼近。

8.7 多类别分类(Multiclass Classification)

之前讨论的都是预测结果为单值情况下的神经网络，要实现多类别分类，其实只要修改一下输出层，让输出层包含多个输出单元即可。

举一个 4 分类问题的实例：

有四种分类情况，那么就让输出层包含 4 个输出单元即可，则 为 4 维向量。

神经网络中的多分类算法算是对 one-vs-all 思想的扩展，定义预测结果一共有 4 种情况：

如果预测结果 ，

那么表示 ，即分为第 3 类，对应于图中的摩托车(Motorcycle)。

总结一下，要分为 类，就在输出层放置 个输出单元，对于单个样本实例， 则是一个 维结果向量，最后依据结果向量，得出属于哪个类 。

 

\ No newline at end of file diff --git a/week4.md b/week4.md index 96753b8..cdfbd4f 100644 --- a/week4.md +++ b/week4.md @@ -100,7 +100,7 @@ $h_\Theta(x) = a_1^{(3)} = g(\Theta_{10}^{(2)}a_0^{(2)} + \Theta_{11}^{(2)}a_1^{ ${h_\theta}\left( x \right)=g\left( {\theta_0}+{\theta_1}{x_1}+{\theta_{2}}{x_{2}}+{\theta_{3}}x_3 \right)$ -是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 $a_1^{(j)}, a_2^{(j)}, \dots, a_n^{(j)}$。从输入 $x$ 开始，下一层的每个激活单元都包含了上一层的所有信息（单元值），通过最优化算法不断迭代计算，激活单元能得出关于输入 $x$ 的更多信息，这就好像是在给假设函数加多项式。中间层的这些单元好似升级版的初始特征，从而能给出更好的预测。 +是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 $a_1^{(j)}, a_2^{(j)}, \dots, a_n^{(j)}$。从输入 $x$ 开始，下一层的每个激活单元都包含了上一层的所有信息（单元值），通过最优化算法不断迭代计算，激活单元能得出关于输入 $x$ 的更多信息，这就好像是在给假设函数加多项式。隐藏层的这些单元好似升级版的初始特征，从而能给出更好的预测。