Vektor értékű normális eloszlású valószínűségi változók és Wishart mátrixok.

E jegyzet témája a Bolla–Krámli könyv ötödik fejezete, amely a többváltozós normális eloszlásokkal kapcsolatos statisztikai problémákkal foglalkozik. E problémák szorosan kapcsolódnak az úgynevezett Wishart mátrixokhoz. A könyvben kidolgozott bizonyítások sok technikai részletét elhagyom, elsősorban arra koncentrálok, hogy a bizonyítások hátterét, és azokat a részleteit magyarázzam el, amelyek részletesebb kifejtést érdemelnek.

Először felidézek néhány olyan eredményt a vektor értékű normális eloszlásokról és a lineáris algebrából, amelyeket használni fogunk.

Egy normális eloszlású véletlen vektor eloszlását meghatározza várható érték vektora és kovarianciamátrixa. A kovarianciamátrix mindig pozitív szemidefinit, és akkor és csak akkor van egy normális eloszlású véletlen vektornak sűrűségfüggvénye, ha a kovarianciamátrixa szigorúan pozitív definit, vagy ami ezzel ekvivalens, invertálható. Ebben a jegyzetben csak invertálható kovarianciamátrixú normális eloszlású véletlen vektorokkal fogunk foglalkozni. Emlékeztetek arra is, hogy ha egy normális eloszlású véletlen vektor koordinátái korrelálatlanok, akkor függetlenek is. (Ennél valamivel élesebb állítás is igaz, amely a koordináták részhalmazai által indexelt vektorokra állítja ugyanezt.) Ugyancsak felidézem azt a tényt, hogy ha egy normális eloszlású véletlen vektort megszorzunk egy mátrixszal, akkor megint normális eloszlású véletlen vektort kapunk. Ez akkor is igaz, ha téglalap alakú mátrixszal szorzunk. Egyébként a könyvhöz hasonlóan N_{p}(m, C)-vel fogjuk jelölni a p dimenziós normális eloszlást m várható érték vektorral és C kovarianciamátrixszal.

Alkalmazkodva a könyv jelöléséhez ebben a jegyzetben oszlopvektorokkal fogok dolgozni. A mátrixokkal kapcsolatban először azt az eredményt idézem fel, hogy egy A szimmetrikus mátrixnak van úgynevezett spektrál felbontása, azaz A = U^{T} ΛU alakú előállítása, ahol Λ diagonális U pedig ortogonális mátrix. A Λ diagonális mátrixban az A mátrix sajátértékei, az U ortogonális mátrixban pedig az A mátrix hozzájuk tartozó 1 normájú sajátvektorai vannak.

Felmerül a kérdés, hogy mennyire egyértelmű szimmetrikus mátrixok spektrálfelbontása. A Λ mátrix egyértelműen meghatározott, eltekintve a mátrix diagonálisában levő λ_{j} sajátértékek sorrendjétől. Ezt rögzíthetjük például úgy, hogy a sajátértékeket monoton csökkenő sorrendben soroljuk fel a diagonálisban. Ha a sajátértékek között vannak megegyezőek, akkor az U ortogonális mátrix megadása nem egyértelmű. Ha az összes sajátérték különböző, akkor az U mátrix előállítása lényegében egyértelmű. Annyi szabadságunk van, hogy a benne szereplő sajátvektorokat beszorozhatjuk ±1gyel.

Fogunk dolgozni mátrixok nyomával (trace). Egy négyzetes, nem feltétlenül szimmetrikus A mátrixnak definiáljuk a nyomát, amit úgy jelölünk, hogy tr A. Ez egyenlő a mátrix diagonálisában levő elemek összegével. Egy mátrixok nyomáról szóló fontos azonosság az, hogy mátrixok szorzatának a nyoma nem változik, ha a a mátrixokat ciklikusan eltoljuk, azaz ha adva van n darab A_{1}, … A_{n} mátrix, akkor

tr (A_{1}A_{2} ⋯ A_{n}) = tr (A_{k}A_{k+1} ⋯ A_{n}A_{1} ⋯ A_{k−1})

minden k = 1, …, n indexre. Ebben az azonosságban téglalap alakú mátrixok is szerepelhetnek, az egyetlen megkötés az, hogy a mátrixok mérete olyan, hogy a szorzatuknak van értelme, és az összes mátrix szorzata négyzet alakú mátrix. Tehát az A_{j} mátrix mérete N_{j} × N_{j+1}, 1 ≤ j ≤ n, és N_{n+1} = N_{1}.

A fenti azonosság egyik következménye az, hogy szimmetrikus mátrix nyoma megegyezik a sajátértékei összegével, mert véve egy A szimmetrikus mátrix spektrálfelbontását azt kapjuk, hogy

tr A = tr (U^{T} ΛU) = tr (UU^{T} Λ) = tr Λ.

Felidézek még néhány eredményt (négyzetes) mátrixok determinánsáról is. A könyv jelölését követve egy A mátrix determinánsát úgy fogom jelölni, hogy |A|. Egy fontos azonosság az, hogy |AB| = |A||B|. Ezenkívül |I| = 1, ahol I az identitás mátrix, és |A^{T} | = |A|. Innen |U| = ±1 egy ortogonális mátrixra, mert |U|^{2} = |UU^{T} | = |I| = 1. Egy A szimmetrikus mátrixra A = U^{T} ΛU spektrálfelbontással |A| = |Λ| = λ_{1} ⋯ λ_{n}, ahol λ_{j}, 1 ≤ j ≤ n, az A mátrix sajátértékei.

Legyen adva egy A = (a_{i,j}), 1 ≤ i, j ≤ n, n × n méretű mátrix. Vezessük be a könyv jelöléséhez hasonlóan az A mátrix adj (A) adjungáltját, amit úgy definiálunk, hogy adj (A) = ((−1)^{i+j}|A_{j,i}|), 1 ≤ i, j ≤ n, ahol |A_{i,j}| annak az (n − 1) × (n − 1) méretű mátrixnak a determinánsa, amelyet úgy kapunk, hogy az A mátrixnak elhagyjuk az i-edik sorát és j-edik oszlopát. Ismeretes, hogy

|A| = ∑_{j=1}^{n} a_{i,j}(−1)^{(i+j)}|A_{i,j}| minden i = 1, …, n indexre.  (1)

Ezenkívül

0 = ∑_{j=1}^{n} a_{i′,j}(−1)^{(i+j)}|A_{i′,j}| ha i ≠ i′.

Innen nem nehéz belátni, hogy

A^{−1} = \frac{1}{|A|}adj (A).

Tekintsük az |A| determinánst, mint n^{2} változós függvényt a_{i,j}, 1 ≤ i, j ≤ n, argumentumokkal. Szükségünk lesz a következő eredményre is.

\frac{∂|A|}{∂a_{i,j}} = (−1)^{(i+j)}|A_{i,j}|.

Ez az azonosság egyszerűen következik az (1) formulából.

Használni fogjuk azt a tényt is, hogy ha C pozitív szemidefinit mátrix, akkor létezik olyan (egyértelműen meghatározott) pozitív szemidefinit C^{1/2} mátrix, amelyre (C^{1/2})^{2} = C. Adva egy X N_{p}(m, C) eloszlású p-dimenziós véletlen vektor invertálható C mátrixszal, definiáljuk az Y = (C^{1/2})^{−1}(X − m) véletlen vektort. Ez az Y vektor N_{p}(0, I), azaz standard normális eloszlású. Ezt felhasználva nem nehéz belátni a az 5. fejezet alább megfogalmazott 1.3 Tételét.

1.3 Tétel. Ha X N_{p}(m, C) eloszlású véletlen vektor, és C invertálható mátrix, akkor az (X−m)^{T} C^{−1}(X−m) valószínűségi változó eloszlása χ^{2}(p).

Meg akarjuk találni az egydimenziós normális eloszlások statisztikai vizsgálatában használt eredmények többdimenziós megfelelőit. Az egyik fontos egydimenziós eredmény a következő. Legyenek X_{1}, …, X_{n} független normális eloszlású valószínűségi változók m várható értékkel és σ^{2} szórásnégyzettel. Ekkor az X̄ = \frac{1}{n} ∑_{j=1}^{n} X_{j} átlag és \frac{S}{n−1} = \frac{1}{n−1} ∑_{j=1}^{n}(X_{j} − X̄)^{2} empirikus szórásnégyzet független valószínűségi változók, \frac{\sqrt{n}}{σ}(X̄ − m) standard normális, \frac{S}{σ^{2}} pedig χ^{2}(n − 1) eloszlású valószínűségi változó.

Ezen eredmény többdimenziós megfelelőjében független N_{p}(m, C) eloszlású X_{1}, …, X_{n} véletlen vektorokat tekintünk. Segítségükkel definiáljuk az

X̄ = \frac{1}{n} ∑_{j=1}^{n} X_{j}  (2)

véletlen vektort és

S = ∑_{j=1}^{n}(X_{j} − X̄)(X_{j} − X̄)^{T}  (3)

véletlen mátrixot, és meg akarjuk határozni ezek együttes eloszlását. Az együttes eloszlás megadásában megjelennek a Wishart mátrixok. Ezek eloszlásai veszik át a χ^{2} eloszlások szerepét a többváltozós eredményekben.

Wishart mátrix definiciója. A p×p méretű véletlen mátrixot p dimenziós n szabadságfokú Wishart mátrixnak nevezünk C (mátrix)paraméterrel, ha az előáll W = XX^{T} alakban, ahol X olyan p×n méretű véletlen mátrix, amelynek oszlopai független N_{p}(0, C) véletlen vektorok. E W vektor eloszlását p-dimenziós n szabadságfokú Wishart eloszlásnak hívjuk C paraméterrel, és úgy jelöljük, hogy W_{p}(n, C). A W_{p}(n, I_{p}) eloszlást, ahol I_{p} a p-dimenziós identitás mátrix p-dimenziós n szabadságfokú standard Wishart eloszlásnak nevezzük.

Megjegyzés. Ha egy Wishart mátrix W = XX^{T} alakban van megadva, ahol X = (X_{1}, …, X_{n}), és X_{1}, …, X_{n} független N_{p}(0, C) eloszlású véletlen vektorok, akkor W felírható W = ∑_{j=1}^{n} X_{j}X_{j}^{T} alakban is. E képlet alapján tekinthetjük a Wishart eloszlásokat a χ^{2}(·) eloszlások természetes többdimenziós általánosításainak.

Nem nehéz az 1.3 Tételhez hasonlóan belátni a következő a könyv 5. fejezetének 4.1 tételében megfogalmazott eredményt.

4.1 Tétel. Legyen a C mátrix szigorúan pozitív definit. Egy W véletlen mátrix eloszlása akkor és csak akkor W_{p}(0, C), ha C^{−1/2}WC^{−1/2} eloszlása W_{p}(0, I_{p}).

Az alábbi a könyv 5. fejezet 4.3 tétele tartalmazza az előbb említett egy dimenziós állítás többdimenziós megfelelőjét.

4.3 Tétel. Legyenek X_{1}, ….X_{n} független véletlen vektorok N_{p}(m, C) eloszlással, és definiáljuk segítségükkel a (2) képletben szereplő X̄ véletlen vektort és a (3) képletben szereplő S véletlen mátrixot. Az alábbi állítások érvényesek.

(1) X̄ N_{p} (m, \frac{1}{n}C) eloszlású véletlen vektor.

(2) S W_{p}(n − 1, C) eloszlású véletlen mátrix.

(3) X̄ és S függetlenek egymástól.

A 4.3 tétel bizonyítása hasonló az egydimenziós esethez. Egy olyan n × n méretű ortogonális Q mátrixot veszünk amelynek utolsó sora az (\frac{1}{\sqrt{n}}, ⋯, \frac{1}{\sqrt{n}}) vektor, és tekintjük az (Y_{1}, …, Y_{n})^{T} = Q(X_{1}, …, X_{n})^{T} véletlen mátrixot. E véletlen mátrix Y_{1}, …, Y_{n} oszlopvektorainak a tulajdonságait vizsgáljuk. Először meghatározzuk e vektorok eloszlásait.

Némi számolás mutatja, hogy az Y_{1}, …, Y_{n} vektorok független normális eloszlású véletlen vektorok C kovarianciamátrixszal, a várható értékükre pedig teljesül az EY_{j} = 0, ha j ≠ n, és EY_{n} = \sqrt{n}m azonosság. Ezen állítások igazolásában felhasználjuk, hogy a normális eloszlású vektorok tulajdonságai miatt elég ellenőrízni a korrelálatlanságot a függetlenség bizonyításához. Azokat a könybben megtalálható számolásokat kell elvégezni, amelyek szerint E(Y_{i} − EY_{i})(Y_{i} − EY_{i})^{T} = C, E(Y_{i} − EY_{i})(Y_{i} − EY_{i})^{T} = 0, ha i ≠ j, EY_{i} = 0, ha 1 ≤ i ≤ n − 1, EY_{n} = \sqrt{n}m.

Továbbá, Y_{n} = \sqrt{n}X̄, és S = ∑_{j=1}^{n−1} Y_{j}Y_{j}^{T}. Az utóbbi állítás azért igaz, mert

∑_{j=1}^{n} Y_{j}Y_{j}^{T} = (Y_{1}, …, Y_{n})(Y_{1}, …, Y_{n})^{T}
= (X_{1}, …, X_{n})Q^{T} Q(X_{1}, …, X_{n})^{T}
= (X_{1}, …, X_{n})(X_{1}, …, X_{n})^{T} = ∑_{j=1}^{n} X_{j}X_{j}^{T} .

Innen

∑_{j=1}^{n−1} Y_{j}Y_{j}^{T} = ∑_{j=1}^{n} X^{j}X_{j}^{T} − Y_{n}Y_{n}^{T} = ∑_{j=1}^{n} X^{j}X_{j}^{T} − nX̄X̄^{T}
= ∑_{j=1}^{n}(X_{j} − X̄)(X_{j}^{T} − X̄^{T}) = S.

A fenti relációk segítségével nem nehéz belátni a 4.3 tételt.

Ezután a könyv a várható érték és a kovarianciamátrix maximum likelihood becslését határozza meg. Azt a feladatot vizsgálja, hogy adva egy (X_{1}, …, X_{n}) minta N_{p}(m, C) eloszlással hogyan számoljuk ki az m várható érték vektor és C kovarianciamátrix maximum likelihood becslését, ha mindkettő ismeretlen. A következő eredményt bizonyítja be.

5.1 Tétel. Legyenek X_{1}, …, X_{n} független N_{p}(m, C) eloszlású véletlen vektorok. Tegyük fel, hogy a C mátrix szigorúan pozitív definit, és n > p. Az ismeretlen m várható érték vektor és C kovarianciamátrix maximum likelihood becslése e minta alapján

m̂ = X̄, és Ĉ = \frac{1}{n}S,

ahol X̄ a (2) és S a (3) képletben van definiálva.

E tétel bizonyításának csak a vázlatát ismertetem.

Első lépésben felírjuk a N_{p}(m, C) eloszlású (X_{1}, …, X_{n}) minta

f_{m,C}(X_{1}, …, X_{n}), X_{j} ∈ R^{p}, 1 ≤ j ≤ n,

sűrűségfüggvényét számunkra alkalmasabb alakban. A sűrűségfüggvény eredeti alakja

f_{m,C}(X_{1}, …, X_{n}) = \frac{1}{(2π)^{np/2}|C|^{n/2}} exp \{−\frac{1}{2} ∑_{j=1}^{n}(X_{j} − m)^{T} C^{−1}(X_{j} − m)\}

(4)

Belátjuk, hogy ez

f_{m,C}(X_{1}, …, X_{n}) = \frac{1}{(2π)^{np/2}|C|^{n/2}}  (5)
exp \{−\frac{1}{2}tr (C^{−1}S)\} exp \{−\frac{1}{2}n(X̄ − m)^{T} C^{−1}(X̄ − m)\}

alakban írható. Ez következik az alábbi számolásból.

∑_{j=1}^{n}(X_{j} − m)^{T} C^{−1}(X_{j} − m)

= ∑_{j=1}^{n}(X_{j} − X̄)^{T} C^{−1}(X_{j} − X̄) + n(X̄ − m)^{T} C^{−1}(X̄ − m)

= ∑_{j=1}^{n} tr (X_{j} − X̄)^{T} C^{−1}(X_{j} − X̄) + n(X̄ − m)^{T} C^{−1}(X̄ − m)

= ∑_{j=1}^{n} tr C^{−1}(X_{j} − X̄)(X_{j} − X̄)^{T} + n(X̄ − m)^{T} C^{−1}(X̄ − m)

= tr C^{−1} (∑_{j=1}^{n}(X_{j} − X̄)(X_{j} − X̄)^{T} ) + n(X̄ − m)^{T} C^{−1}(X̄ − m)

= tr C^{−1}S + n(X̄ − m)^{T} C^{−1}(X̄ − m).

Megjegyzem, hogy a sűrűségfüggvényt ebben a képletben a X̄ véletlen vektor és S véletlen mátrix által alkotott elégséges statisztika segítségével fejeztük ki.

A (5) formula segítségével nem nehéz belátni, hogy az m várható érték maximum likelihood becslése a m̂ = X̄ kifejezés. Ez nem függ a C mátrix értékétől. Ezt a kifejezést behelyettesítjük a sűrűségfüggvénybe, és a maximum likelihood becslésben ennek a maximumát keressük a C^{−1} mátrix koordinátáinak a függvényében.

Jelölje c_{i,j} a C, és c^{i,j} az inverz C^{−1} mátrix i-ik sorának j-ik elemét, és legyen S = (s_{i,j}), 1 ≤ i, j ≤ p, a (3) formulában definiált mátrix. A C mátrix maximum likelihood becslésében azzal a sűrűségfüggvénnyel kell dolgoznunk, amelyet úgy kapunk, hogy az f_{m,C} sűrűségfüggvényében elvégezzük az m = m̂ helyettesítést. Ez a következő alakú.

f_{m̂,C}(X_{1}, …, X_{n}) = \frac{1}{(2π)^{np/2}|C|^{n/2}} exp \{−\frac{1}{2}tr (C^{−1}S)\} .

Felírva e sűrűségfüggvény logaritmusát, és azt deriválva a c^{i,j} argumentumok szerint azt kapjuk, hogy a maximum likelihood egyenlet az c^{i,j} változókra a következő.

n\frac{∂ log |C^{−1}|}{∂c^{i,j}} = s_{i,j}, 1 ≤ i, j ≤ p.

Másrészt,

\frac{∂ log |C^{−1}|}{∂c^{i,j}} = \frac{1}{|C^{−1}|}(−1)^{(i+j)}|C_{i,j}^{−1}|,

ahol C_{i,j}^{−1} az a mátrix, amelyet úgy kapunk, hogy tekintük a C^{−1} mátrixot, és elhagyjuk annak az i-ik sorát és j-ik oszlopát. Továbbá, felhasználva, hogy C a C^{−1} mátrix inverze ki tudjuk fejezni a C mátrix c_{j,i} elemét az inverziós formula segítségével azt kapjuk, hogy

c_{j,i} = \frac{1}{|C^{−1}|}(−1)^{(i+j)}|C_{i,j}^{−1}| = \frac{∂ log |C^{−1}|}{∂c^{i,j}}.

Innen a maximum likelihood egyenlet nc_{j,i} = s_{i,j}, ahonnan a becslőfüggvény ĉ_{j,i} = \frac{s_{i,j}}{n} = \frac{s_{j,i}}{n}. Innen következik a tétel állítása. Megjegyzem, hogy a becsülendő paraméterek a C^{−1} inverz mátrix c^{i,j} koordinátái voltak, de ezzel ekvivalens C mátrix c_{i,j} koordinátáinak a maximum likelihood becslése.

Érdemes néhány megjegyzést tenni az előző számolásokkal kapcsolatban. A következő feladatot oldottuk meg. Tekintsük a p × p méretű pozitív determinánsú C mátrixokat, és ezek között határozzuk meg a C mátrix egy megadott függvényének a maximumát. Ezt, mint egy p^{2} változós függvény maximumát találtuk meg parciális deriválások segítségével. A változók paraméterei az (i, j), 1 ≤ i, j ≤ p, párok. Kiderült, hogy a megoldás speciális tulajdonságokkal rendelkezik. Az egy szimmetrikus (és pozitív definit) mátrix, amelynek koordinátáira ĉ_{i,j} = ĉ_{j,i}. Ilyen módon megtaláltuk a megoldást a minket érdeklő feladatra is, amelyikben az optimumot a szimmetrikus (és pozitív definit) mátrixok terében keressük, ami egy \frac{p(p+1)}{2} dimenziós tér. Ha a szimmetrikus mátrixok terében dolgoznánk, akkor kissé másképpen kellene számolnunk. (Például a determináns deriválásáról szóló képlet megváltozik.)

A könyv 5. fejezetének a következő két tételét csak kimondom, mert a bizonyítás meglehetősen nehéz, és az eredmények nem tartoznak szorosan a könyv témaköréhez. Ezek az eredmények a Wishart mátrix sűrűségfüggvényéről szólnak, illetve a Wishart mátrix sajátértékeinek az eloszlásáról. Megjegyzem, hogy Lalley

https://galton.uchicago.edu/ lalley/Courses/386/ClassicalEnsembles.pdf interneten elérhető jegyzetében e téma részletesebb kifejtése található, és

hivatkozni fogok e jegyzet bizonyos eredményeire.

5.2 Tétel. Legyenek X_{1}, …, X_{n} N_{p}(0, I), azaz p dimenziós standard normális eloszlású véletlen vektorok, és definiáljuk az X = (X_{1}, …, X_{n}) p × n méretű véletlen mátrixot és W = XX^{T} p-dimenziós, n szabadságfokú standard Wishart eloszlású véletlen mátrixot. Ennek sűrűségfüggvénye

c_{n,p}|W|^{(n−p−1)/2} exp \{−\frac{tr W}{2} \} ,

ha n ≥ p, ahol c_{n,p} egy csak az n és p paraméterektől függő normalizáló konstans.

Megjegyzés. A Lalley jegyzet kissé élesebb eredményét fogalmaztam meg. Ez az n ≥ p és nem az n > p feltétel mellett mondta ki ezt az állítást. Az n ≥ p feltétel szükséges, mert különben p-dimenziós, n < p vagy kisebb rangú, tehát szinguláris mátrixokra lenne koncentrálva a standard Wishart mérték.

Kiegészítés az 5.2 tétel jelentéséről. Az 5.2 Tételben szereplő p-dimenziós, n szabadságfokú standard Wishart eloszlású mátrixok úgy tekintendőek, mint olyan valószínűségi változók, amelyek értékeiket a p×p méretű szimmetrikus mátrixok terén veszik fel. Egy A = (a_{i,j}), 1 ≤ i, j ≤ p, p × p méretű szimmetrikus mátrix értékét meghatározzák az a_{i,j}, 1 ≤ i ≤ j ≤ p, koordinátái. Ennek alapján azt mondjuk, hogy egy véletlen A = (a_{(i,j}), 1 ≤ i, j ≤ p, szimmetrikus p × p méretű mátrixnak van g(x_{(i,j)}, 1 ≤ i ≤ j ≤ p), sűrűségfüggvénye, ha az a_{(i,j)}, 1 ≤ i ≤ j ≤ p koordinátáknak van g(x_{(i,j)}, 1 ≤ i ≤ j ≤ p), együttes sűrűségfüggvénye a Lebesgue mérték szerint a p(p+1)/2 dimenziós Euklideszi térben, amelynek koordinátáit az (i, j), 1 ≤ i ≤ j ≤ p, számpárokkal indexeljük.

A következő 5.4 tétel megadja egy standard Wishart mátrix sajátértékeinek az eloszlását.

5.4 Tétel. Legyen W egy p dimenziós n szabadságfokú standard Wishart mátrix, n ≥ p. E véletlen mátrix λ_{1} > λ_{2} > ⋯ > λ_{p} > 0 sajátértékeinek az eloszlása

κ_{n,p} (∏_{j=1}^{p} λ_{j})^{(n−p−1)/2} exp \{−\frac{1}{2} ∑_{j=1}^{p} λ_{j}\} ∏_{1≤j<k≤p}(λ_{j} − λ_{k}),

ahol κ_{n,p} alkalmas csak az n és p paraméterektől függő normáló konstans.

Megjegyzem, hogy az 5.2 tétel alapján egy p dimenziós n szabadságfokú, n ≥ p, W standard Wishart mátrix sűrűségfüggvényét a következő módon lehet felírni a W mátrix λ_{1} > λ_{2} > ⋯ > λ_{p} > 0 sajátértékeinek a segítségével.

g(λ_{1}, …, λ_{p}) = c_{n,p} (∏_{j=1}^{p} λ_{j})^{(n−p−1)/2} exp \{−\frac{1}{2} ∑_{j=1}^{p} λ_{j}\} .

A Lalley jegyzet Theorem 1 eredménye ismerteti az úgynevezett Weyl integrációs formulát, amely megadja egy véletlen ortogonális mátrix sajátértékeinek az eloszlását abban az esetben, ha e véletlen mátrix eloszlásának van sűrűségfüggvénye, és az kifejezhető, mint a sajátértékek szimmetrikus függvénye. Az 5.2 tétel alapján e tétel feltételei teljesülnek a standard Wishart mátrixokra, és az 5.4 tétel a Weyl integrációs formula következménye.

Érdemes megfogalmazni az 5.4 tétel alábbi következményét.

Következmény. Egy p dimenziós n szabadságfokú W standard Wishart mátrix az n ≥ p esetben 1 valószínűséggel invertálható.

Valóban, az 5.4 tétel szerint ebben az esetben a W mátrixnak 1 valószínűséggel nincs 0 sajátértéke. Innen következik a Következmény állítása. Ha n < p, akkor W 1 valószínűséggel nem invertálható, mert ekkor W egy p dimenziós mátrix, amelynek rangja kisebb vagy egyenlő, mint n ≤ p. Megjegyzem, hogy az n ≥ p esetben a W standard Wishart mátrix sajátértékei különbözőek.

Az 5. fejezet befejező része többdimenziós normális eloszlással kapcsolatos hipotézisvizsgálati problémákkal foglalkozik. Ezekben fontos szerepet játszik az alábbi 6.1 tétel. Ez az úgynevezett Hotteling-féle T^{2} eloszlásoknak adja meg az explicit alakját. A tétel megfogalmazása előtt először a Hotteling eloszlás fogalmát ismertetem.

Hotteling-féle T^{2} eloszlás definiciója. Legyen adva egy W_{p}(n, C) Wishart mátrix, n ≥ p, és egy tőle független ξ = (ξ_{1}, …, ξ_{p})^{T} N_{p}(m, C) eloszlású véletlen vektor. E vektor C kovarianciamátrixa és a Wishart mátrix C paramétere megegyezik. Ekkor a

T^{2} = ξ^{T} W^{−1}ξ

valószínűségi változót Hotteling eloszlásúnak nevezzük n, p, C és m paraméterekkel. Az n paramétert a Hotelling eloszlás szabadsági fokának nevezzük.

Érvényes a következő eredmény.

6.1 Tétel. Ha m = 0, akkor az n, p és C paraméterű T^{2} eloszlás megegyezik az F(p, n − p + 1) Fisher eloszlással, azaz egy olyan valószínűségi változó eloszlásával, amelyet úgy kapunk, hogy egy χ^{2}(p) eloszlású valószínűségi változót elosztunk egy tőle független χ^{2}(n−p+1) eloszlású valószínűségi változóval.

A 6.1 tétel a következő két eredmény segítségével bizonyítható.

6.2 Lemma. Legyen X p × n méretű mátrix, amelynek X_{i,j}, 1 ≤ i ≤ p, 1 ≤ j ≤ n, elemei független, standard normális eloszlású valószínűségi változók. Legyen Q az X mátrixtól független véletlen ortogonális n × n méretű mátrix. Ekkor az XQ és X mátrix eloszlása megegyezik, és az XQ mátrix is független Q-tól.

6.3 Lemma. Legyen az X p × n, p ≤ n, ugyanaz a véletlen mátrix, mint a 6.2 lemmában. Definiáljuk az S = XX^{T} Wishart mátrixot, és jelölje S_{1} azt a mátrixot, amelyet úgy kapunk, hogy vesszük az S mátrixot, és elhagyjuk annak utolsó sorát és utolsó oszlopát. Ekkor az \frac{|S|}{|S_{1}|} valószínűségi változó eloszlása χ^{2}(n − p + 1).

A 6.2 lemma bizonyítása egyszerű. Azt kell kihasználni, hogy tetszőleges i indexre az X_{i} = (X_{i,1}, …, X_{i,n})^{T} vektor eloszlásának sűrűségfüggvénye csak az X_{i} vektor hosszától függ, ezért minden Q ortogonális mátrixra X_{i} és X_{i}Q eloszlása megegyezik. Innen következik, hogy ha a Q véletlen ortogonális mátrix független az X mátrixtól, akkor az XQ mátrix feltételes eloszlása feltéve Q értékét megegyezik az X mátrix eloszlásával. Ebből következik a 6.2 lemma.

A 6.3 lemma bizonyítása bonyolultabb. Csak a bizonyítás vázát írom le, illetve egy megjegyzést teszek arról, hogy hol kellett volna a könyvben részletesebb indoklást adni.

A bizonyítás lényeges része egy olyan indukciós állítás bizonyítása, amely szerint az \frac{|S|}{|S_{1}|} tört eloszlása megegyezik akkor, ha X p × n mátrix és ha alkalmasan definiált (p − 1) × (n − 1) méretű mátrix. Ennek érdekében konstruálunk olyan az (X_{1,1}, …, X_{1,n}) koordinátáktól függő Q ortogonális mátrixot, amelyre (X_{1,1}, …, X_{1,n})Q = (R, 0, …, 0), ahol R^{2} = ∑_{j=1}^{n} X_{1,j}^{2}. Ekkor (XQ)(XQ)^{T} = XX^{T} = S. Jelölje X^{∗} azt a (p − 1) × (n − 1) méretű mátrixot, amelyet úgy kapunk, hogy az XQ mátrixnak elhagyjuk az első sorát és első oszlopát. A könyv megmutatja, hogy az X és X^{∗} mátrix segítségével kiszámított \frac{|S|}{|S_{1}|} hányados egyenlő. Ebből akarjuk levezetni az indukciós állítást. Ez lehetséges, de ehhez azt is észre kell venni, hogy a 6.2 lemma és a konstrukció alapján az X^{∗} mátrix koordinátái független, standard normális eloszlású valószínűségi változók. (Ez a lépés hiányzik a könyv magyarázatából.)

A bizonyítás befejezéséhez még meg kell mutatni, hogy a p = 2 esetben, ha X 2×n méretű mátrix az \frac{|S|}{|S_{1}|} hányados χ^{2}(n−1) eloszlású. (Ez az indukció kezdő lépése.) Ez hasonlóan történik az indukciós lépés bizonyításához. A technikai részleteket elhagyom.

A 6.1 tétel bizonyítása azon alapszik, hogy alkalmas transzformációkkal a T^{2} = ξ^{T} W^{−1}ξ kifejezést, ahol W = XX^{T}, olyan alakra hozzuk, amely lehetővé teszi, hogy meghatározzuk az eloszlását a 6.1 és 6.2 lemma segítségével.

Először az 1.3 Tétel bizonyításához hasonló C^{−1/2} transzformációt alkalmazva mind a ξ vektorra, mind az X mátrixra a tételt redukáljuk arra a speciális esetre, amikor C = I_{p}, a p dimenziós identitás mátrix. Ezután veszünk egy olyan a ξ vektortól függő Q véletlen p × p méretű ortogonális mátrixot, amelyre ξ^{T} Q = (ξ_{1}, …, ξ_{p})Q = (0, …, 0, t) ahol t^{2} = ∑_{j=1}^{p} ξ_{j}^{2}. Ekkor mivel Q^{T} Q = I_{p}

T^{2} = (ξ^{T} Q)(Q^{T} W^{−1}Q)(Q^{T} ξ) = (0, …, 0, t)(Q^{T} W^{−1}Q)(0, …, 0, t)^{T} , ami egyenlő t^{2} szorozva a Q^{T} W^{−1}Q mátrix p-edik sorában és p-ik oszlopában álló taggal. Jelöljük ezt Z_{p}-vél. Továbbá t^{2} χ^{2}(p) eloszlású valószínűségi változó, és

Q^{T} W^{−1}Q = (Q^{T} WQ)^{−1} = (Q^{T} XX^{T} Q)^{−1} = ((Q^{T} X)(Q^{T} X)^{T})^{−1},

és Q^{T} X olyan p × n méretű mátrix amelynek elemei standard normális eloszású valószínűségi változók, és a 6.2 lemma némi élesítése azt adja, hogy a Q^{T} X mátrix független a t^{2} valószínűségi változótól. Azt kell észrevenni, hogy a Q^{T} X mátrix feltételes eloszlása az X mátrix eloszlásával egyenlő akkor is, ha a a ξ vektor értékét és a (tőle függő) Q mátrixot rögzítjük a feltételben. Ez azt jelenti,hogy Z_{p} független a t^{2} valószínűségi változótól, és egy p-dimenziós n szabadságfokú standard Wishart mátrix inverzének a p-ik sorában és pik oszlopában levő elem. Ezért a mátrixok inverzének kiszámításáról szóló formula és a 6.3 lemma azt adja, hogy \frac{1}{Z_{p}} eloszlása χ^{2}(n − p + 1). Innen következik a 6.1 tétel.

Az 5. fejezet utolsó témája annak tesztelése egy minta alapján, hogy egy többváltozós normális eloszlású vektor várható értéke egy feltételezett m_{0} vektor-e, illetve annak tesztelése, hogy két többváltozós normális eloszlású vektornak, amelyek mindegyikéről egy mintával rendelkezünk, és amelyeknek megegyezik a kovariancamátrixuk megegyezik-e a várható értékük is. Külön vizsgálják azt az esetet, amikor a vizsgált véletlen vektor(ok) kovarianciamátrixának az értékét ismerjük, és amikor nem ismerjük azt. A feladat ismert kovarianciamátrixok esetén lényegesen egyszerűbb. Ennek tárgyalását, ami a könyvben megtalálható, elhagyom. Viszont ismertetem röviden az eredményeket, majd összehasonlítom őket azokkal az ezután tárgyalt eredményekkel, amelyeket akkor kapunk, ha e feladatok azon analogonjait tekintjük, amelyekben a kovarianciamátrix ismeretlen.

Az m = m_{0} nullhipotézist az n((X̄ − m_{0})^{T} C^{−1}(X̄ − m_{0}) statisztika segítségével vizsgáljuk, amely a nullhipotézis teljesülése esetén χ^{2}(p) eloszlású. Akkor fogadjuk el a nullhipotézist, ha e statisztika értéke egy az ε elsőfajú hibától függő számnál kisebb. Látni fogjuk, hogy ismeretlen kovarianciamátrix esetén hasonló eredmény érvényes, csak ekkor a felhasznált statisztikát megadó képletben a C kovarianciamátrixot annak \frac{S}{n} maximum likelihood becslésével helyettesítjük, és ez a statisztika Hotteling eloszlású alkalmas paraméterekkel.

A másik feladat az, hogy ha adva van két független p-dimenziós normális eloszlású vektorokból álló minta n és m elemszámmal, mind a kettő ismert C kovarianciamátrixszal, akkor hogyan ellenőrízzük azt a nullhipotézist, hogy a két minta elemeinek ugyanaz a várható értéke. Ezt a következő statisztika segítségével érdemes megtenni.

\frac{nm}{n + m}(X̄ − Ȳ)^{T} C^{−1}(X̄ − Ȳ),

ahol X̄ és Ȳ a két minta átlaga. Ez a statisztika χ^{2}(p) eloszlású a nullhipotézis teljesülése esetén. Ha a kovarianciamátrixot nem ismerjük, akkor olyan statisztikát veszünk amelyben a C kovarianciamátrixot annak természetes becslésével helyettesítjük, és ez a módosított statisztika Hotteling eloszlású.

Lényegesen nehezebb a feladat akkor, ha a kovarianciamátrixot nem ismerjük. Ismertetem annak a feladatnak a vizsgálatát, hogy hogyan ellenőrizzük egy n elemű minta segítségével azt, hogy egy ismeretlen kovarianciájú többváltozós normális eloszlású vektor várható értéke egy előírt m_{0} vektor-e. Először arról írok, hogy milyen matematikai feladatot kell megoldani egy jó ellenőrzési eljárás kidolgozásához.

A következő feladatot tekintjük. Vegyünk egy független p-dimenziós normális eloszlású vektorokból álló X_{1}, …, X_{n} sorozatot m várható értékkel és C kovarianciamátrixszal, és tekintsük e sorozatnak az f_{m,C}(X_{1}, …, X_{n}) sűrűségfüggvényét. Ezt érdemes az (5) formában megadni.

Az úgynevezett likelihood hányados próbát alkalmazzuk. Ez a következőt jelenti.

Tekintsük az f_{m,C}(X_{1}, …, X_{n}) sűrűségfüggvény maximumát az m = m_{0} esetben, mint a C kovarianciafüggvény maximumát, azaz az

L_{0}^{∗} = L_{0}^{∗}(X_{1}, …, X_{n}) = sup_{C} f_{m_{0},C}(X_{1}, …, X_{n})

függvényt, ahol a maximum a C kovarianciamátrixokra van véve. Definiáljuk hasonlóan az

L_{1}^{∗} = L_{1}^{∗}(X_{1}, …, X_{n}) = sup_{m,C} f_{m,C}(X_{1}, …, X_{n})

függvényt, ahol a maximum az m várható érték vektorra és C kovariancia mátrixokra van véve.

Számoljuk ki az L_{0}^{∗}(X_{1}, …, X_{n}) és L_{1}^{∗}(X_{1}, …, X_{n}) függvények értékét, és vegyük ezek

λ_{n} = λ_{n}(X_{1}, …, X_{n}) = \frac{L_{0}^{∗}(X_{1}, …, X_{n})}{L_{1}^{∗}(X_{1}, …, X_{n})}

hányadosát. Határozzuk meg a λ_{n}(X_{1}, …, X_{n}) valószínűségi változó eloszlását. Az m = m_{0} nullhipotézist akkor fogadjuk el, ha λ_{n} > B(ε), ahol a B(ε) számot úgy választjuk, hogy az elsőfajú hiba ε legyen. Ahhoz, hogy ezt az eljárást végrehajtsuk, ismernünk kell a λ_{n} valószínűségi változó eloszlását. Ezen eloszlás kiszámítását ismertetem.

Először meg kell határozni az L_{0}^{∗}(X_{1}, …, X_{n}) és L_{1}^{∗}(X_{1}, …, X_{n}) valószínűségi változók értékét. Ezt a könyv megadja. Azt állítja, hogy

L_{0}^{∗} = (2π)^{−np/2} |\frac{1}{n} ∑_{j=1}^{n}(X_{j} − m_{0})(X_{j} − m_{0})^{T} |^{−n/2} e^{−np/2},

és

L_{1}^{∗} = (2π)^{−np/2} |\frac{1}{n}S|^{−n/2} e^{−np/2}.

Az L_{1}^{∗}-re adott képlet egyszerűen következik a korábbi számolásokból, de az L_{0}^{∗} mennyiségre adott képlet magyarázatra szorul.

Először azt kell észrevenni, hogy a korábbi esethez hasonló számolással kapjuk a sűrűségfüggvényre (4) formulában megadott képlet segítségével, hogy az m = m_{0} esetben a maximum a Ĉ = \frac{1}{n} ∑_{j=1}^{n}(X_{j} − m_{0})(X_{j} − m_{0})^{T} helyen vétetik fel. Ezután az L_{0}^{∗}-ra adott formula könnyen kiszámítható a következő észrevétel segítségével.

∑_{j=1}^{n}(X_{j} − m_{0})^{T} Ĉ^{−1}(X_{j} − m_{0}) = ∑_{j=1}^{n} tr (X_{j} − m_{0})^{T} Ĉ^{−1}(X_{j} − m_{0})

= ∑_{j=1}^{n} tr Ĉ^{−1}(X_{j} − m_{0})(X_{j} − m_{0})^{T}

= tr Ĉ^{−1} (∑_{j=1}^{n}(X_{j} − m_{0})(X_{j} − m_{0})^{T} ) = tr Ĉ^{−1}(nĈ) = ntr I_{p} = np.

A következő számolások segítségével tudjuk meghatározni λ_{n} eloszlását.

\frac{1}{λ_{n}} = \frac{L_{1}^{∗}}{L_{0}^{∗}} = (\frac{|S|}{|∑_{j=1}^{n}(X_{j} − m_{0})(X_{j} − m_{0})^{T} |})^{−n/2}

= |S^{−1} ∑_{j=1}^{n}(X_{j} − m_{0})(X_{j} − m_{0})^{T} |^{n/2}

= |S^{−1} [∑_{j=1}^{n}(X_{j} − X̄)(X_{j} − X̄)^{T} + n(X̄ − m_{0})(X̄ − m_{0})^{T} ]|^{n/2}
= |S^{−1} [S + n(X̄ − m_{0})(X̄ − m_{0})^{T} ]|^{n/2}
= |I_{p} + nS^{−1}(X̄ − m_{0})(X̄ − m_{0})^{T} |^{n/2} .

Vegyük észre, hogy e formula utolsó sorában egy olyan mátrix determinánsa van, amelynek egy kivételével az összes sajátértéke 1, mivel az S^{−1}(X̄ − m_{0})(X̄ − m_{0})^{T} mátrix rangja 1. Ezen 1 rangú mátrixnak a nem nulla sajátértéke tr S^{−1}(X̄ − m_{0})(X̄ − m_{0})^{T} = tr (X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0}) = (X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0}). Innen

\frac{1}{λ_{n}} = [1 + n(X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0})]^{n/2} .

A 4.3 tételből következik, hogy az n(X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0}) kifejezés teljesíti a 6.1 tétel feltételeit n − 1 és p paraméterrel. Ezért az F(p, n − p) eloszlású. Ezen észrevétel segítségével a λ_{n} valószínűségi változó eloszlását is ki tudjuk számolni. Továbbá a λ_{n}-t az (X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0}) valószínűségi változó monoton csökkenő függvényeként fejeztük ki, ezért a javasolt teszt eljárást így is megadhatjuk: Akkor fogadjuk el az m = m_{0} nullhipotézist, ha (X̄ − m_{0})^{T} S^{−1}(X̄ − m_{0}) < C(ε), alkalmas az ε elsőfajú hibától függő C(ε) konstanssal.

A könyv megemlíti az 5. fejezet végén azt a problémát, hogy hogyan ellenőrizzük azt a hipotézist, hogy két különböző N_{p}(m, C) eloszlású független valószínűségi változókból álló minta elemeinek a várható értéke megegyezik, feltéve, hogy azok kovarianciamátrixa egyenlő. A feladat tehát a következő. Legyen adva független N_{p}(m_{0}, C) eloszlású valószínűségi változók X_{1}, …, X_{n} sorozata és független N_{p}(m_{1}, C) eloszlású valószínűségi változók Y_{1}, …, Y_{m} sorozata úgy, hogy ez a két sorozat egymástól is független. Ellenőrizzük eme minták alapján az m_{0} = m_{1} nullhipotézist.

A könyv megadja e feladat megoldását bizonyítás nélkül. A következő eljárást javasolja. Legyen

S = S_{1} + S_{2} = ∑_{j=1}^{n}(X_{j} − X̄)(X_{j} − X̄)^{T} + ∑_{j=1}^{m}(Y_{j} − Ȳ)(Y_{j} − Ȳ)^{T} .

Be lehet látni, hogy a nullhipotézis teljesülése esetén

T^{2} = \frac{nm}{n + m}(X̄ − Ȳ)S^{−1}(X̄ − Ȳ)^{T}

Hotteling eloszlású p, n+m−2 és C paraméterekkel, ezért Fisher-féle F(p, n+ m − p − 1) eloszlású. Ennek alapján a null-hipotézist elfogadjuk, ha T^{2} < C(ε) alkalmas az ε elsőfajú hibától függő konstanssal, amit a Fisher-féle F(p, n + m − p − 1) eloszlás segítségével határozunk meg.

A fent leírt módszer megalapozását nyújtó elmélet tárgyalását elhagyom. Az megtalálható Giri N. (1977) Multivariate Statistical inference. Acad. Press, New York. könyvében.