摘要：關(guān)于協(xié)方差矩陣的解讀協(xié)方差矩陣實(shí)在是太重要了，無(wú)論是在計(jì)量，金融工程還是隨機(jī)分析中，我們都會(huì)到用到協(xié)方差矩陣。

在做機(jī)器學(xué)習(xí)時(shí)，用到協(xié)方差，之前對(duì)之意義不是很理解，今天著重研究一下。

學(xué)過(guò)概率統(tǒng)計(jì)的孩子都知道，統(tǒng)計(jì)里最基本的概念就是樣本的均值，方差，或者再加個(gè)標(biāo)準(zhǔn)差。首先我們給你一個(gè)含有n個(gè)樣本的集合關(guān)于協(xié)方差矩陣的概念及意義，依次給出這些概念的公式描述，這些高中學(xué)過(guò)數(shù)學(xué)的孩子都應(yīng)該知道吧，一帶而過(guò)。

很顯然，均值描述的是樣本集合的中間點(diǎn)，它告訴我們的信息是很有限的，而標(biāo)準(zhǔn)差給我們描述的則是樣本集合的各個(gè)樣本點(diǎn)到均值的距離之平均。以這兩個(gè)集合為例，[0，8，12，20]和[8，9，11，12]，兩個(gè)集合的均值都是10，但顯然兩個(gè)集合差別是很大的，計(jì)算兩者的標(biāo)準(zhǔn)差，前者是8.3，后者是1.8，顯然后者較為集中，故其標(biāo)準(zhǔn)差小一些，標(biāo)準(zhǔn)差描述的就是這種“散布度”。之所以除以n-1而不是除以n，是因?yàn)檫@樣能使我們以較小的樣本集更好的逼近總體的標(biāo)準(zhǔn)差，即統(tǒng)計(jì)上所謂的“無(wú)偏估計(jì)”。而方差則僅僅是標(biāo)準(zhǔn)差的平方。

上面幾個(gè)統(tǒng)計(jì)量看似已經(jīng)描述的差不多了，但我們應(yīng)該注意到，標(biāo)準(zhǔn)差和方差一般是用來(lái)描述一維數(shù)據(jù)的，但現(xiàn)實(shí)生活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡(jiǎn)單的大家上學(xué)時(shí)免不了要統(tǒng)計(jì)多個(gè)學(xué)科的考試成績(jī)。面對(duì)這樣的數(shù)據(jù)集，我們當(dāng)然可以按照每一維獨(dú)立的計(jì)算其方差，但是通常我們還想了解更多，比如，一個(gè)男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯(lián)系啊，嘿嘿~協(xié)方差就是這樣一種用來(lái)度量?jī)蓚€(gè)隨機(jī)變量關(guān)系的統(tǒng)計(jì)量，我們可以仿照方差的定義：

來(lái)度量各個(gè)維度偏離其均值的程度，標(biāo)準(zhǔn)差可以這么來(lái)定義：

協(xié)方差的結(jié)果有什么意義呢？如果結(jié)果為正值，則說(shuō)明兩者是正相關(guān)的(從協(xié)方差可以引出“相關(guān)系數(shù)”的定義)，也就是說(shuō)一個(gè)人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的~結(jié)果為負(fù)值就說(shuō)明負(fù)相關(guān)的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統(tǒng)計(jì)上說(shuō)的“相互獨(dú)立”。（sh199210注：該結(jié)論有誤，協(xié)方差為零不能說(shuō)明獨(dú)立）

在概率論中，兩個(gè)隨機(jī)變量 X 與 Y 之間相互關(guān)系，大致有下列3種情況：

當(dāng) X, Y 的聯(lián)合分布像上圖那樣時(shí)，我們可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，這種情況，我們稱為“正相關(guān)”。

當(dāng)X, Y 的聯(lián)合分布像上圖那樣時(shí)，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情況，我們稱為“負(fù)相關(guān)”。

當(dāng)X, Y 的聯(lián)合分布像上圖那樣時(shí)，我們可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，這種情況我們稱為“不相關(guān)”。

怎樣將這3種相關(guān)情況，用一個(gè)簡(jiǎn)單的數(shù)字表達(dá)出來(lái)呢？

在圖中的區(qū)域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在圖中的區(qū)域（2）中，有 X0 ，所以(X-EX)(Y-EY)<0；

在圖中的區(qū)域（3）中，有 X0；

在圖中的區(qū)域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

當(dāng)X 與Y 正相關(guān)時(shí)，它們的分布大部分在區(qū)域（1）和（3）中，小部分在區(qū)域（2）和（4）中，所以平均來(lái)說(shuō)，有E(X-EX)(Y-EY)>0 。
當(dāng) X與 Y負(fù)相關(guān)時(shí)，它們的分布大部分在區(qū)域（2）和（4）中，小部分在區(qū)域（1）和（3）中，所以平均來(lái)說(shuō)，有(X-EX)(Y-EY)<0 。
當(dāng) X與 Y不相關(guān)時(shí)，它們?cè)趨^(qū)域（1）和（3）中的分布，與在區(qū)域（2）和（4）中的分布幾乎一樣多，所以平均來(lái)說(shuō)，有(X-EX)(Y-EY)=0 。

所以，我們可以定義一個(gè)表示X, Y 相互關(guān)系的數(shù)字特征，也就是協(xié)方差。

cov(X, Y) = E(X-EX)(Y-EY)

當(dāng) cov(X, Y)>0時(shí)，表明 X與Y 正相關(guān)；

當(dāng) cov(X, Y)<0時(shí)，表明X與Y負(fù)相關(guān)；

當(dāng) cov(X, Y)=0時(shí)，表明X與Y不相關(guān)。

這就是協(xié)方差的意義。

上一節(jié)提到的猥瑣和受歡迎的問(wèn)題是典型二維問(wèn)題，而協(xié)方差也只能處理二維問(wèn)題，那維數(shù)多了自然就需要計(jì)算多個(gè)協(xié)方差，比如n維的數(shù)據(jù)集就需要計(jì)算關(guān)于協(xié)方差矩陣的概念及意義個(gè)協(xié)方差，那自然而然的我們會(huì)想到使用矩陣來(lái)組織這些數(shù)據(jù)。給出協(xié)方差矩陣的定義：

這個(gè)定義還是很容易理解的，我們可以舉一個(gè)簡(jiǎn)單的三維的例子，假設(shè)數(shù)據(jù)集有{x,y,z}關(guān)于協(xié)方差矩陣的概念及意義三個(gè)維度，則協(xié)方差矩陣為

可見(jiàn)，協(xié)方差矩陣是一個(gè)對(duì)稱的矩陣，而且對(duì)角線是各個(gè)維度上的方差。

協(xié)方差矩陣實(shí)在是太重要了，無(wú)論是在計(jì)量，金融工程還是隨機(jī)分析中，我們都會(huì)到用到協(xié)方差矩陣。

其實(shí)，這三者都利用了協(xié)方差矩陣本身的含義，即隨機(jī)變量之間的線性相關(guān)關(guān)系（當(dāng)然，相關(guān)系數(shù)矩陣在此處更為貼切），也利用了協(xié)方差矩陣為半正定矩陣的性質(zhì)。下面具體道來(lái):

在金融隨機(jī)分析中我們可以采用Monte Carlo方法對(duì)期權(quán)進(jìn)行定價(jià)，如果對(duì)于普通的歐式期權(quán)，那么我們只要產(chǎn)生N個(gè)正態(tài)分布的隨機(jī)數(shù)即可。但是，對(duì)于那些依賴于多個(gè)相關(guān)隨機(jī)過(guò)程（Correlated Brownian Motion）的資產(chǎn)的定價(jià)，我們就要產(chǎn)生滿足特定相關(guān)關(guān)系的隨機(jī)變量，而這正是依靠協(xié)方差矩陣和上面所述的Cholesky分解完成的。比如，Quanto（Quantity Adjusting Option）雙幣種期權(quán)就是滿足上述特征的期權(quán)。這里我復(fù)制我的BLOG中的一段，
Quanto Nikkei Option. Consider a Nikkei quanto into dollar call option. Assuming both the USD/JPY and Nikkei are both lognormal process, i.e.

where S and X are the equity and FX process. On a spreadsheet, simulate the process, and show that by delta hedging alone, you can replicate the quanto call option. Assume the maturity of the option is one year.
在使用Monte Carlo方法對(duì)于上述期權(quán)定價(jià)時(shí)，核心是要模擬兩個(gè)具有相關(guān)性的布朗運(yùn)動(dòng)，這時(shí)候，我們就可以利用之前提到的協(xié)方差矩陣的Cholesky分解。Matlab code:

Sigma = [siga^2 siga*sigb*rho;
siga*sigb*rho sigb^2];
B = randn(2,n);
C=chol(Sigma);
V = C" * B;
STa = S0a * exp((mua - (siga^2)/2)*T + sqrt(T)*V(1,:));
STb = S0b * exp((mub - (sigb^2)/2)*T + sqrt(T)*V(2,:));

numpy.cov()的作用是計(jì)算協(xié)方差矩陣，下面給出幾個(gè)例子

>>> x = np.array([[0, 2], [1, 1], [2, 0]]).T
>>> x
array([[0, 1, 2],
       [2, 1, 0]])

打?。?/p>

>>> np.cov(x)
array([[ 1., -1.],
       [-1.,  1.]])

相關(guān)文章：協(xié)方差代表的意義是什么?