什么是协方差矩阵

1. 什么是协方差矩阵

在统计学与概率论中,，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的方差。是从标量随机变量到高维度随机向量的自然推广。 　　假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的期望值, 即, μk = E(Xk), 协方差矩阵然后被定义为： 　　Σ=E{(X-E[X])(X-E[X])T}=(如图) 　　矩阵中的第(i,j)个元素是Xi与Xj的协方差. 这个概念是对于标量随机变量方差的一般化推广

2. 协方差的矩阵

分别为m与n个标量元素的列向量随机变量X与Y，这两个变量之间的协方差定义为m×n矩阵.其中X包含变量X1.X2......Xm,Y包含变量Y1.Y2......Yn,假设X1的期望值为μ1，Y2的期望值为v2，那么在协方差矩阵中（1,2）的元素就是X1和Y2的协方差。两个向量变量的协方差Cov(X,Y)与Cov(Y,X)互为转置矩阵。协方差有时也称为是两个随机

3. 协方差和协方差矩阵

 均值：        方差：        均值、方差和标准差可用于描述数据的集中趋势和离散程度。
   方差一般用来描述一维数据，而实际上我们接触的数据集大多是多维的。
   此时可以用协方差来度量两个随机变量之间的关系。
   参照方差的定义：        度量两个随机变量关系的协方差可以这样定义：        两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。
   由于随机变量的取值范围不同，两个协方差不具备可比性。
   如  是三个不同的随机变量，想要比较  与  的线性相关程度强还是  与  的线性相关程度强，通过  和  是无法比较得知的。
   我们可以定义一个相关系数  ：     
   通过对协方差  归一化，得到相关系数  ，取值范围为[-1,1]。1表示完全线性正相关，-1表示完全线性负相关，0表示线性无关。
   对于多维数据，往往需要计算各维度两两之间的协方差，这样各协方差组成了一个n x n的矩阵，称为协方差矩阵。协方差矩阵是个 对称矩阵 ， 对角线上的元素是各维度上随机变量的方差 。
   定义协方差矩阵为  ：     
    StatQuest-Covariance and Correlation(视频)     协方差与协方差矩阵     均值，方差和协方差矩阵 

4. 协方差矩阵？

1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素Cij就是反映的随机变量Xi, Xj的协方差。2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。 在概率论和统计学中，相关或称相关系数或关联系数，显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点而定义的用来衡量数据相关的系数。对于不同数据特点，可以使用不同的系数。最常用的是皮尔逊积差相关系数。其定义是两个变量协方差除以两个变量的标准差（方差）。皮尔逊积差系数
数学特征其中，E是数学期望，cov表示协方差。因为μX = E(X)，σX2 = E(X2) �6�1 E2(X)，同样地，对于Y，可以写成
当两个变量的标准差都不为零，相关系数才有定义。从柯西—施瓦茨不等式可知，相关系数不超过1. 当两个变量的线性关系增强时，相关系数趋于1或-1。当一个变量增加而另一变量也增加时，相关系数大于0。当一个变量的增加而另一变量减少时，相关系数小于0。当两个变量独立时，相关系数为0.但反之并不成立。 这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说，X是区间［－１，１］上的一个均匀分布的随机变量。Y = X2. 那么Y是完全由X确定。因此Y 和X是不独立的。但是相关系数为0。或者说他们是不相关的。当Y 和X服从联合正态分布时，其相互独立和不相关是等价的。当一个或两个变量带有测量误差时，他们的相关性就受到削弱，这时，“反衰减”性（disattenuation）是一个更准确的系数。

5. 研究协方差矩阵的意义是什么？有什么作用？

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度来看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。
建议参考百度百科：http://baike.baidu.com/link?url=ub9DWs-hDL5iA-8bOd9OAxj9Bu4eGuGTCZ47ebsUjXNaWRcWBr-3P0wF9IpvDgJwmxFKgOdkjZ9kHDyQvbsPj_

6. 协方差矩阵有什么意义

1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素Cij就是反映的随机变量Xi,Xj的协方差。 

2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。 

3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。

 4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。

7. 协方差矩阵

a的协方差矩阵就是E(aa')。其中E代表数学期望，a'代表a的转置。我这里默认你这个a是写成列向量的形式的。
所以a/||a||的协方差矩阵就是E(aa')/||a||^2，就是把a的协方差矩阵里的每个元素都除以||a||^2。
当a的协方差矩阵是单位阵时，a的任意一个元素（都是随机变量）的方差都是1，而且任意两个元素不相关（不相关不代表独立）。

8. 我要提问题什么叫协方差矩阵

英语名：covariance matrix　　在统计学与概率论中,，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机向量的自然推广。
假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的期望值, 即, μk = E(xk), 协方差矩阵然后被定义为：
Σ=E{(X-E[X])(X-E[X])}=(如图)
矩阵中的第(i,j)个元素是xi与xj的协方差. 这个概念是对于标量随机变量方差的一般化推广。
尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。