先算出损失函数¶

$$\widehat{p}=\sigma(\theta^{T}\cdot x_{b})=\frac{1}{1+e^{\theta^{T}\cdot x_{b}}}$$

估计的代表概率

MSE：损失函数？

不能推导出正规方程解、没有数学公式解；只能使用梯度下降法

不能直接套公式，算出数学解

也是个凸函数，没有局部最优解，只有唯一的一个全局最优解

梯度下降法¶

$$J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}y^{(i)}log(\sigma(X_{b}^{(i)}\theta))+(1-y^{(i)})log(1-\sigma(X_{b}^{(i)}\theta))$$

• 对 $\theta$ 的每一维度求导

先解决 $\sigma$函数的导数¶

$$\frac{J(\theta)}{\theta_{j}}=\frac{1}{m} \sum_{i=1}^{m}(\sigma(X_{b}^{(i)}\theta)-y^{(i)})X_{j}^{(i)}$$ $$=\frac{1}{m} \sum_{i=1}^{m}(\widehat{y}^{(i)}-y^{(i)})X_{j}^{(i)}$$

$\sigma(X_{b}^{(i)}\theta)$ 第i行乘以 $\theta$ 就是逻辑回归中预测第i行对应的概率是多少！

计算梯度，搜索出 $\sigma$ 值就可以了