8.4 模型表示 2

参考视频: 8 - 4 - Model Representation II (12 min).mkv

( FORWARD PROPAGATION ) 相对与使用循环来编码,利用向量化的方法会使得计算更 为简便。以上面的神经网络为例,试着计算第二层的值:

我们令 ,则 ,计算后添加 。 计算输出的值为:

我们令 ,则 。 这只是针对训练集中一个训练实例所进行的计算。如果我们要对整个训练集进行计算,

我们需要将训练集特征矩阵进行转置,使得同一个实例的特征都在同一列里。即:

为了更好了了解 Neuron Networks 的工作原理,我们先把左半部分遮住:

右半部分其实就是以 a0,a1,a2,a3 按照 Logistic Regression 的方式输出 h(x):

其实神经网络就像是 logistic regression,只不过我们把 logistic regression 中的输入向量

[x1~x3]变成了中间层的[a(2)1~a(2)3], 即

h(x)=g(θ(2)0 a(2)0+θ(2)1 a(2)1+θ(2)2 a(2)2+θ(2)3 a(2)3)

我们可以把 a0,a1,a2,a3 看成更为高级的特征值,也就是 x0,x1,x2,x3 的进化体,并且它们是 由 x 与决定的,因为是梯度下降的,所以 a 是变化的,并且变得越来越厉害,所以这些更高 级的特征值远比仅仅将 x 次方厉害,也能更好的预测新数据。

这就是神经网络相比于逻辑回归和线性回归的优势。