摘要：關(guān)于協(xié)方差矩陣的解讀協(xié)方差矩陣實在是太重要了，無論是在計量，金融工程還是隨機分析中，我們都會到用到協(xié)方差矩陣。

在做機器學習時，用到協(xié)方差，之前對之意義不是很理解，今天著重研究一下。

學過概率統(tǒng)計的孩子都知道，統(tǒng)計里最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合關(guān)于協(xié)方差矩陣的概念及意義，依次給出這些概念的公式描述，這些高中學過數(shù)學的孩子都應(yīng)該知道吧，一帶而過。

很顯然，均值描述的是樣本集合的中間點，它告訴我們的信息是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，后者是1.8，顯然后者較為集中，故其標準差小一些，標準差描述的就是這種“散布度”。之所以除以n-1而不是除以n，是因為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統(tǒng)計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。

上面幾個統(tǒng)計量看似已經(jīng)描述的差不多了，但我們應(yīng)該注意到，標準差和方差一般是用來描述一維數(shù)據(jù)的，但現(xiàn)實生活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡單的大家上學時免不了要統(tǒng)計多個學科的考試成績。面對這樣的數(shù)據(jù)集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯(lián)系啊，嘿嘿~協(xié)方差就是這樣一種用來度量兩個隨機變量關(guān)系的統(tǒng)計量，我們可以仿照方差的定義：

來度量各個維度偏離其均值的程度，標準差可以這么來定義：

協(xié)方差的結(jié)果有什么意義呢？如果結(jié)果為正值，則說明兩者是正相關(guān)的(從協(xié)方差可以引出“相關(guān)系數(shù)”的定義)，也就是說一個人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的~結(jié)果為負值就說明負相關(guān)的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統(tǒng)計上說的“相互獨立”。（sh199210注：該結(jié)論有誤，協(xié)方差為零不能說明獨立）

在概率論中，兩個隨機變量 X 與 Y 之間相互關(guān)系，大致有下列3種情況：

當 X, Y 的聯(lián)合分布像上圖那樣時，我們可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，這種情況，我們稱為“正相關(guān)”。

當X, Y 的聯(lián)合分布像上圖那樣時，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情況，我們稱為“負相關(guān)”。

當X, Y 的聯(lián)合分布像上圖那樣時，我們可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，這種情況我們稱為“不相關(guān)”。

怎樣將這3種相關(guān)情況，用一個簡單的數(shù)字表達出來呢？

在圖中的區(qū)域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在圖中的區(qū)域（2）中，有 X0 ，所以(X-EX)(Y-EY)<0；

在圖中的區(qū)域（3）中，有 X0；

在圖中的區(qū)域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

當X 與Y 正相關(guān)時，它們的分布大部分在區(qū)域（1）和（3）中，小部分在區(qū)域（2）和（4）中，所以平均來說，有E(X-EX)(Y-EY)>0 。
當 X與 Y負相關(guān)時，它們的分布大部分在區(qū)域（2）和（4）中，小部分在區(qū)域（1）和（3）中，所以平均來說，有(X-EX)(Y-EY)<0 。
當 X與 Y不相關(guān)時，它們在區(qū)域（1）和（3）中的分布，與在區(qū)域（2）和（4）中的分布幾乎一樣多，所以平均來說，有(X-EX)(Y-EY)=0 。

所以，我們可以定義一個表示X, Y 相互關(guān)系的數(shù)字特征，也就是協(xié)方差。

cov(X, Y) = E(X-EX)(Y-EY)

當 cov(X, Y)>0時，表明 X與Y 正相關(guān)；

當 cov(X, Y)<0時，表明X與Y負相關(guān)；

當 cov(X, Y)=0時，表明X與Y不相關(guān)。

這就是協(xié)方差的意義。

上一節(jié)提到的猥瑣和受歡迎的問題是典型二維問題，而協(xié)方差也只能處理二維問題，那維數(shù)多了自然就需要計算多個協(xié)方差，比如n維的數(shù)據(jù)集就需要計算關(guān)于協(xié)方差矩陣的概念及意義個協(xié)方差，那自然而然的我們會想到使用矩陣來組織這些數(shù)據(jù)。給出協(xié)方差矩陣的定義：

這個定義還是很容易理解的，我們可以舉一個簡單的三維的例子，假設(shè)數(shù)據(jù)集有{x,y,z}關(guān)于協(xié)方差矩陣的概念及意義三個維度，則協(xié)方差矩陣為

可見，協(xié)方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。

協(xié)方差矩陣實在是太重要了，無論是在計量，金融工程還是隨機分析中，我們都會到用到協(xié)方差矩陣。

其實，這三者都利用了協(xié)方差矩陣本身的含義，即隨機變量之間的線性相關(guān)關(guān)系（當然，相關(guān)系數(shù)矩陣在此處更為貼切），也利用了協(xié)方差矩陣為半正定矩陣的性質(zhì)。下面具體道來:

在金融隨機分析中我們可以采用Monte Carlo方法對期權(quán)進行定價，如果對于普通的歐式期權(quán)，那么我們只要產(chǎn)生N個正態(tài)分布的隨機數(shù)即可。但是，對于那些依賴于多個相關(guān)隨機過程（Correlated Brownian Motion）的資產(chǎn)的定價，我們就要產(chǎn)生滿足特定相關(guān)關(guān)系的隨機變量，而這正是依靠協(xié)方差矩陣和上面所述的Cholesky分解完成的。比如，Quanto（Quantity Adjusting Option）雙幣種期權(quán)就是滿足上述特征的期權(quán)。這里我復(fù)制我的BLOG中的一段，
Quanto Nikkei Option. Consider a Nikkei quanto into dollar call option. Assuming both the USD/JPY and Nikkei are both lognormal process, i.e.

where S and X are the equity and FX process. On a spreadsheet, simulate the process, and show that by delta hedging alone, you can replicate the quanto call option. Assume the maturity of the option is one year.
在使用Monte Carlo方法對于上述期權(quán)定價時，核心是要模擬兩個具有相關(guān)性的布朗運動，這時候，我們就可以利用之前提到的協(xié)方差矩陣的Cholesky分解。Matlab code:

Sigma = [siga^2 siga*sigb*rho;
siga*sigb*rho sigb^2];
B = randn(2,n);
C=chol(Sigma);
V = C" * B;
STa = S0a * exp((mua - (siga^2)/2)*T + sqrt(T)*V(1,:));
STb = S0b * exp((mub - (sigb^2)/2)*T + sqrt(T)*V(2,:));

numpy.cov()的作用是計算協(xié)方差矩陣，下面給出幾個例子

>>> x = np.array([[0, 2], [1, 1], [2, 0]]).T
>>> x
array([[0, 1, 2],
       [2, 1, 0]])

打印：

>>> np.cov(x)
array([[ 1., -1.],
       [-1.,  1.]])

相關(guān)文章：協(xié)方差代表的意義是什么?