4.7 正规方程及不可逆性（可选）

参考视频: 4 - 7 - Normal Equation Noninvertibility (Optional) (6 min).mkv

在这段视频中谈谈正规方程 ( normal equation )，以及它们的不可逆性。 由于这是一种较为深入的概念，并且总有人问我有关这方面的问题，因此，我想在这里

来讨论它，由于概念较为深入，所以对这段可选材料大家放轻松吧，也许你可能会深入地探 索下去，并且会觉得理解以后会非常有用。但即使你没有理解正规方程和线性回归的关系，

也没有关系。

我们要讲的问题如下：

XT X 1 XT y

有些同学曾经问过我，当计算 θ=inv(X'X ) X'y ，那对于矩阵 X'X 的结果是不可逆的情况 咋办呢?

如果你懂一点线性代数的知识，你或许会知道，有些矩阵可逆，而有些矩阵不可逆。我 们称那些不可逆矩阵为奇异或退化矩阵。

问题的重点在于 X'X 的不可逆的问题很少发生，在 Octave 里，如果你用它来实现 θ 的 计算，你将会得到一个正常的解。在 Octave 里，有两个函数可以求解矩阵的逆，一个被称 为 pinv()，另一个是 inv()，这两者之间的差异是些许计算过程上的，一个是所谓的伪逆，另 一个被称为逆。使用 pinv() 函数可以展现数学上的过程，这将计算出 θ 的值，即便矩阵 X'X 是不可逆的。

在 pinv() 和 inv() 之间，又有哪些具体区别呢 ?

其中 inv() 引入了先进的数值计算的概念。例如，在预测住房价格时，如果 x1 是以英尺 为尺寸规格计算的房子，x2 是以平方米为尺寸规格计算的房子，同时，你也知道 1 米等于 3.28 英尺 ( 四舍五入到两位小数 )，这样，你的这两个特征值将始终满足约束：x1=x2* (3.28)2。

实际上，你可以用这样的一个线性方程，来展示那两个相关联的特征值，矩阵 X'X 将是 不可逆的。

第二个原因是，在你想用大量的特征值，尝试实践你的学习算法的时候，可能会导致矩 阵 X'X 的结果是不可逆的。

具体地说，在 m 小于或等于 n 的时候，例如，有 m 等于 10 个的训练样本也有 n 等于

100 的特征数量。要找到适合的 ( n +1 ) 维参数矢量 θ 这是第 n+1 维，这将会变成一个 101

维的矢量，尝试从 10 个训练样本中找到满足 101 个参数的值，这工作可能会让你花上一阵

子时间，但这并不总是一个好主意。因为，正如我们所看到 你只有 10 个样本，以适应这

100 或 101 个参数，数据还是有些少。

稍后我们将看到，如何使用小数据样本以得到这 100 或 101 个参数，通常，我们会使用 一种叫做正则化的线性代数方法，通过删除某些特征或者是使用某些技术，来解决当 m 比 n 小的时候的问题。即使你有一个相对较小的训练集，也可使用很多的特征来找到很多合适的 参数。

总之当你发现的矩阵 X'X 的结果是奇异矩阵，或者找到的其它矩阵是不可逆的，我会建 议你这么做。

首先，看特征值里是否有一些多余的特征，像这些 x1 和 x2 是线性相关的，互为线性函 数。同时，当有一些多余的特征时，可以删除这两个重复特征里的其中一个，无须两个特征

同时保留，将解决不可逆性的问题。因此，首先应该通过观察所有特征检查是否有多余的特 征，如果有多余的就删除掉，直到他们不再是多余的为止，如果特征数量实在太多，我会删 除些 用较少的特征来反映尽可能多内容，否则我会考虑使用正规化方法。

如果矩阵 X'X 是不可逆的，（通常来说，不会出现这种情况），如果在 Octave 里，可 以用伪逆函数 pinv ( ) 来实现。这种使用不同的线性代数库的方法被称为伪逆。即使 X'X 的 结果是不可逆的，但算法执行的流程是正确的。总之，出现不可逆矩阵的情况极少发生，所

以在大多数实现线性回归中，出现不可逆的问题不应该过多的关注 XTX 是不可逆的。