协方差

$$ \mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y) $$

其中对于 $E(XY)$

• 【离散型】$$E(XY)=\sum_{i} \sum_{j} x_{i} y_{j} P\left{ X=x_{i}, Y=y{j} \right}$$
• 【连续性】$$E(XY)=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xyf(x,y) , \mathrm{d}x , \mathrm{d}y $$

性质

1. 【对称】
   1. $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
   2. $\mathrm{Cov}(X,X)=D(X)$
2. 【线性】
   1. $\mathrm{Cov}(X,c)=0$
   2. $\mathrm{Cov}\left( \sum_{i=1}^{n}\lambda_{i}X_{i} , Y\right)=\sum_{i=1}^{n}\lambda_{i}\mathrm{Cov}(X_{i},Y)$
3. 【统计】
   1. $\mathrm{Cov(X_{i}, \bar{X})}=\frac{\sigma^{2}}{n}$
   2. $\mathrm{Cov}(X_{i},X_{{j}})=0$

相关系数

$$ \rho_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{ D(X)D(Y) }} $$ $\rho_{XY} = 0$ 则 $X,Y$ 不相关 $\rho_{XY} \ne 0$ 则 $X,Y$ 相关 且 $\left| \rho_{XY} \right|$ 越接近 $1$ 则 $X,Y$ 越接近线性关系

性质

1. 【有界】$\left| \rho_{XY} \right| \le 1$
2. 【对称】
   1. $\rho_{XY}=\rho_{YX}$
   2. $\rho_{XX}=1$
3. 【线性取最】如果 $Y=aX+b$ 则 $\rho_{XY}=\mathrm{sgn}(a)$

独立与相关

1. 四个相关性等价命题
   1. $\mathrm{Cov}(X,Y)=0$
   2. $\rho_{XY}=0$
   3. $E(XY)=E(X)E(Y)$
   4. $D(X\pm Y)=D(X)+D(Y)$
2. 独立 $\Rightarrow$ 不相关
   1. 独立: 任意关系无关
   2. 不相关: 线性关系无关

矩

协方差矩阵

定义 $c_{i,j}=\mathrm{Cov}(X_{i},X_{j})$

则协方差矩阵定义为 $$ C=\begin{pmatrix} c_{11} & c_{12} & \dots & c_{1n} \ c_{21} & c_{22} & \dots & c_{2n} \ \vdots & \vdots & \ddots & \vdots \ c_{n1} & c_{n2} & \dots & c_{nn} \end{pmatrix} $$