模型

常规表示 $$ y=\boldsymbol{w}^{T}\boldsymbol{x}+b $$

增广表示 $$ y=\boldsymbol{w}^{T}\boldsymbol{\chi} $$ where

• $\boldsymbol{w}=\begin{bmatrix}w_{1} & \dots & w_{n} & b\end{bmatrix}^{T}$
• $\boldsymbol{\chi}=\begin{bmatrix}x_{1} & \dots & x_{n} & 1\end{bmatrix}^{T}$

损失函数

$$ L(\omega)=\frac{1}{n}\sum\frac{1}{2}(\hat{y}-y)^{2}=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{2} (y^{(i)}-\boldsymbol{w}^{T}\boldsymbol{\chi^{(i)}})^{2} $$

最优参数

$$ \omega=(X^{T}X)^{-1}XY $$