代价函数（cost function）

在一元线性回归中，我们提到为了要让模型尽量契合训练集，我们要使代价函数（cost function）尽量得小。

简化问题

总结前文，

• 我们想要得到是一个线性模型用于预测房价：f_w,b(x)=wx+b
• 其中w和b两个参数决定了模型的预测值：
  
  
• 用于判断误差大小的代价函数为：
  
• 我们的目标是将代价函数最小化。

同时判断w和b两个参数有一定的难度，为了简化问题，可以先设b值为0。

此时，

• 预测模型是：f_w(x)=wx
• 模型是一条必经过原点的直线。
• 代价函数仍为：
  

模型和代价函数的关系

使w=1，此时模型如左图，根据代价函数公式；易得在代价函数图像中，（横轴为w，纵轴为J）对应(1,0)的点。

同理，可以将不同的w带入模型，

带入更多的w值，可以得到代价函数J的图像为一条抛物线。
表达式为a²+b²+c²+······

因此，代价函数最小化就是在求抛物线最小值所对应的w值。

那么，如果b值不为0呢？

类似于上文，我们可以先假定w值不变，也就是只沿着y轴（预测值）移动斜率恒定的直线。

得出的b-J图像也应为一条抛物线。

结合两个二维图像可以得到如下的三维图像。

三位图像的表达较为复杂，可以利用等值线将其简化为平面图像。类似于地理等高线。