协方差矩阵

1. 协方差矩阵

a的协方差矩阵就是E(aa')。其中E代表数学期望，a'代表a的转置。我这里默认你这个a是写成列向量的形式的。
所以a/||a||的协方差矩阵就是E(aa')/||a||^2，就是把a的协方差矩阵里的每个元素都除以||a||^2。
当a的协方差矩阵是单位阵时，a的任意一个元素（都是随机变量）的方差都是1，而且任意两个元素不相关（不相关不代表独立）。

2. 协方差矩阵

用matlab算：
a=[-1.54    -5.93    -258.1    -3.5    2.26    0.13];
cov(a)

ans =
1.0963e+004
或者：
a=[-1.54    -5.93    -258.1  ;  -3.5    2.26    0.13];
 cov(a)

ans =
  1.0e+004 *
    0.0002   -0.0008   -0.0253
   -0.0008    0.0034    0.1057
   -0.0253    0.1057    3.3341
或者：
 a=[-1.54    -5.93  ;  -258.1    -3.5 ;   2.26    0.13]
 cov(a)

ans =
  1.0e+004 *
    2.2271    0.0057
    0.0057    0.0009

3. 协方差的矩阵

分别为m与n个标量元素的列向量随机变量X与Y，这两个变量之间的协方差定义为m×n矩阵.其中X包含变量X1.X2......Xm,Y包含变量Y1.Y2......Yn,假设X1的期望值为μ1，Y2的期望值为v2，那么在协方差矩阵中（1,2）的元素就是X1和Y2的协方差。两个向量变量的协方差Cov(X,Y)与Cov(Y,X)互为转置矩阵。协方差有时也称为是两个随机

4. 协方差矩阵

 在统计学上，协方差用来刻画两个随机变量之间的相关性，反映的是变量之间的二阶统计特性，两个随机变量Xi和Yj的协方差定义为
                                           所以
                                           是一个矩阵，其  i ,  j  位置的元素是第  i  个与第  j  个随机向量（即随机变量构成的向量）之间的协方差。   设X1，X2，...,Xn为一组随机变量，记X=(X1，X2，...,Xn)T为由这n个随机变量构成的随机向量，假设每个随机变量有m个样本，将所有的样本拼接在一起可以得到如下的 样本矩阵 
                                           协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。因此样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值。 但是 peghoty 博客中用的是矩阵第i行元素表示第i个随机变量Xi的m个样本 ，所以以下分析暂时用的peghoty的方案。
   引入向量αi和βi
                                           αi是样本矩阵的行向量，βi是样本矩阵的列向量，所以样本矩阵表示为
                                           对于n维的随机变量X=(X1,X2,…,Xn)T的协方差矩阵定义为
   
                                           
    协方差矩阵中的对角线元素表示方差，非对角线元素表示随机向量X的不同随机量之间的协方差 ，因此协方差矩阵可以作为 刻画不同分量之间相关性的一个评判量 ，不同分量之间的相关性越小，则C的非对角线元素的值就越小，特别地，如果不同分量彼此不相关，那么C就变成一个 对角阵 。    注意：我们并不能得到协方差矩阵C的真实性，只能根据所提供的X的样本数据，对其进行近似估计，因此，这样计算得到的协方差矩阵是依赖于样本数据的，通常提供的样本数目越多（m越大），样本在总体中的覆盖面就越广，所得协方差矩阵就越可靠。 
   **协方差公式推导

5. 协方差矩阵的意义

协方差矩阵的意义是每一个元素是表示的随机向量 X 的不同分量之间的协方差,而不是不同样本之间的协方 差,如元素 Cij 就是反映的随机变量 Xi, Xj 的协方差。
协方差矩阵是统计学与概率论概念。外文名为covariance matrix。

统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会科学和自然科学的各个领域。

统计学的英文statistics最早源于现代拉丁文Statisticum Collegium（国会）、意大利文Statista（国民或政治家）以及德文Statistik，最早是由Gottfried Achenwall于1749年使用，代表对国家的资料进行分析的学问，也就是“研究国家的科学”。十九世纪，统计学在广泛的数据以及资料中探究其意义，并且由John Sinclair引进到英语世界。

6. 协方差矩阵的理解

  为了便于理解和验证，可以参考一下， http://www.ab126.com/shuxue/2788.html 所提供的协方差的在线计算器。
  
   统计里最基本的概念就是样本的均值，方差，或者再加个标准差。假定有一个含有n个样本的集合X={X1,…,Xn}，依次给出这些概念的公式描述:
  
   
     很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的。
     
     而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。
  
   
     看出方差与标准差关系没有?
     为什么除以n-1而不是除以n? 这个称为贝塞尔修正。在统计学中样本的均差多是除以自由度（n-1)，它的意思是样本能自由选择的程度,当选到只剩一个时，它不可能再有自由了，所以自由度是（n-1)。这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。
  
   下面采用Python演算一下:
     参考: https://blog.csdn.net/lyl771857509/article/details/79439184 
  
 计算步骤:
   求和：   1+2+3+4=10
   平均值：   =2.5
  
   
     
     
     
  
 方差：  
  
   上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，这个时候怎么办？
     协方差该出场了！
     协方差可以通俗的理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？
  
 换种说法:
     协方差是度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。
   与方差对比:
     方差是用来度量单个变量“自身变异”大小的总体参数，方差越大表明该变量的变异越大
     协方差是用来度量两个变量之间“协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。
  
   采用协方差在线计算器练习一下：
       输入值 X=1 ,5 ,6
       输入值 Y=4, 2,  9
  
 计算步骤:
  
   在分析协方差矩阵之前有必要搞清矩阵维数的概念！以女孩子找对象为例，一般关心几个点
     
   这里是5个维数。如果同时有几个男孩子备选，则会形成多个行，有对比才有会伤害。
  
   
     可以这样形象理解：在女孩心中，多个男孩形成一个个行向量，即多个样本。
     另外，再回忆一下系数矩阵的来历。含有n个未知量，由m个方程组成线性方程组的一般形式为：
     
   将系数按它们的位置排列形成一个表格：
     
   这个表格就是方程组的系数矩阵，它的维数是由未知量个数即n来决定的。
     下面介绍的协方差矩阵仅与维数有关，和样本数量无关。
  
   
   设  为n维随机变量，称矩阵
     
   为n维随机变量  的协方差矩阵（covariance matrix），也记为  ，其中
     
  
   为了简易起见，先举一个简单的三变量的例子，假设数据集有{x,y,z}三个维度，
  
   
  
 则协方差矩阵为：
  
   
   更进一步:
   矩阵
     
   其协方差矩阵为
     
   还是有点抽象???
   那就结合实例来理解，可能更方便一些。
   假定有下列矩阵:
     
  
 我们来计算一下协方差矩阵。
  
 结果如下:
     
   可以看出
  
 验算一下:
     
   输入值 X= [1, 5,  6]
   输入值 Y= [4 ,3 , 9]
  
 再验算一下:
     
   输入值 X= [4 ,3 , 9]
   输入值 Y= [4 ,7 , 2]

7. 协方差矩阵的介绍

在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机向量的自然推广。

8. 如何求协方差矩阵

(1) 取列向量c和s,分别以cos(theta_i)和sin(theta_i)为分量
那么原来的矩阵是I+XY^T,其中X=[c,s],Y=[s,c]
利用Sylvester恒等式det(I+XY^T)=det(I+Y^TX)即可,后面那个二阶行列式可以算出来
(2) 记原矩阵为A,再取多项式f(x)=a1+a_2x+...+a_nx^{n-1}
再取一个Vandermonde矩阵W,W由x^n-2=0的n个复根x_1,...,x_n生成
那么AW=WD,其中D是对角阵,对角元为f(x_1),...,f(x_n),所以det(A)=det(D)