在一元线性回归中,我们提到为了要让模型尽量契合训练集,我们要使代价函数(cost function)尽量得小。
简化问题
总结前文,
- 我们想要得到是一个线性模型用于预测房价:fw,b(x)=wx+b
- 其中w和b两个参数决定了模型的预测值:
- 用于判断误差大小的代价函数为:
- 我们的目标是将代价函数最小化。
同时判断w和b两个参数有一定的难度,为了简化问题,可以先设b值为0。
此时,
- 预测模型是:fw(x)=wx
- 模型是一条必经过原点的直线。
- 代价函数仍为:
模型和代价函数的关系
使w=1,此时模型如左图,根据代价函数公式;易得在代价函数图像中,(横轴为w,纵轴为J)对应(1,0)的点。
同理,可以将不同的w带入模型,
带入更多的w值,可以得到代价函数J的图像为一条抛物线。
表达式为a2+b2+c2+······
因此,代价函数最小化就是在求抛物线最小值所对应的w值。
那么,如果b值不为0呢?
类似于上文,我们可以先假定w值不变,也就是只沿着y轴(预测值)移动斜率恒定的直线。
得出的b-J图像也应为一条抛物线。
结合两个二维图像可以得到如下的三维图像。
三位图像的表达较为复杂,可以利用等值线将其简化为平面图像。类似于地理等高线。