logistic回归又称logistic回归分析（logistic regressive），是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

————百度百科。

In statistics, the logistic model (or logit model) is a widely used statistical model that, in its basic form, uses a logistic function to model a binary dependent variable; many more complex extensions exist. In regression analysis, logistic regression (or logit regression) is estimating the parameters of a logistic model; it is a form of binomial regression.

————Wikipedia.

Logistic regression is an algorithm for binary classification.

对于遇到的一个问题，这个问题求解只有是与不是（true or false ， 1 or 0）。并且对于问题的目标，其拥有n个特征。以单样本单图片为例，单图片由像素A*B*3（3为R，G，B值）表示，对于这一张图片就可以将其RGB的三个矩阵数值对应放入一个矩阵中，对于一个64*64的图片来说，其对应矩阵（多行单列）为单列，12288行。称为x^(1)，其对应y(1 or 0)为y^(1)。

而对于m个样本来说，训练集为{(x^(1),y^(1)),(x^(2),y^(2)),……(x^(m),y^(m))}

那么对于一个训练集来说，我们给出一个函数，我们希望 输入x，能够获得对应的y，而y介于0到1之间（因为问题求解只有1 or 0），所以使用sigmoid函数。

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。

用损失函数来衡量预测输出值和实际值有多接近。（用误差值的平方（平方损失）看起来似乎很合理，但是使用梯度下降法就不好用，因为可能会产生多个local optimal（非凸），而导致找不到全局最优点。）因此在此采用交叉熵损失

代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

在此为

我们的目的是通过训练让J(w,b)尽可能的小。

目标函数（Object Function）定义为：最终需要优化的函数。

Andrew Ng《神经网络和深度学习》网络公开课程笔记。