损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是代价函数 + 正则化项）。代价函数最小化，降低经验风险，正则化项最小化降低
Loss 是单个示例与其目标值的差异的度量，而 Cost 是训练集上损失的度量
逻辑损失函数：
逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。
逻辑回归成本函数：
其中，
逻辑回归拟合模型
from sklearn.linear_model import LogisticRegression
import numpy as np
X = np.array([[0.5, 1.5], [1,1], [1.5, 0.5], [3, 0.5], [2, 2], [1, 2.5]])
y = np.array([0, 0, 0, 1, 1, 1])
lr_model = LogisticRegression()
lr_model.fit(X, y)模型预测
y_pred = lr_model.predict(X)
print("Prediction on training set:", y_pred)评分函数计算模型精度
print("Accuracy on training set:", lr_model.score(X, y))过拟合、欠拟合、正则化
- 成本函数在线性回归和逻辑回归之间存在显着差异，但在方程中添加正则化是相同的。
- 线性回归和逻辑回归的梯度函数非常相似。它们的区别仅在于执行 𝑓𝑤𝑏
正则化线性回归的成本函数
文章来源：https://www.toymoban.com/news/detail-434357.html
正则化逻辑回归的成本函数
文章来源地址https://www.toymoban.com/news/detail-434357.html
到了这里，关于机器学习随记（1）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
