本文转载自我在 CSDN 的旧博客:机器学习笔记(7)——逻辑回归:代价函数(写于 2018-04-19),迁移时整理了格式。
逻辑回归:代价函数#
为了训练得到参数 w 和 b,我们需要定义一个代价函数。
概述:

(tips:
是第 i 个训练样本)
损失函数#
损失函数计算出了预测值
和希望得到的输出结果
之间的差异。换言之,损失函数计算出了单一训练样本的误差。

- 如果
,那么
应该接近于 1 - 如果
,那么
应该接近于 0
代价函数#
代价函数是整个训练集的损失函数的均值。我们将找到能使得代价函数值尽可能小的参数 w 和 b。

留言