A Valószínűségszámítás I. előadássorozat tizenkettedik előadása. 2007. május 8.

A többváltozós centrális határeloszlástétel

Láttuk, hogy a centrális határeloszlástétel értékes információt ad arról, hogy hogyan viselkedik (nagyszámú) független, egyforma eloszlású valószínűségi változó összegének az eloszlása. Bizonyos kérdések vizsgálatában felmerül ennek a problémának olyan általánosabb változata, ahol nem valós, hanem vektorértékű független, egyforma eloszlású valószínűségi változók összegeinek a viselkedése érdekel minket. Lássunk néhány olyan problémát, ahol ilyen kérdések jelennek meg.

a.) Tekintsünk egy dobókockát. Feldobjuk sokszor, felírjuk a dobások eredményét, és ennek alapján akarjuk eldönteni, hogy a dobókocka szabályos-e. Természetes azt várni, hogy a dobókocka akkor szabályos, ha mindegyik dobáseredmény a dobásszámok egyhatoda plusz egy kis eltérés. De mely eltéréseket tekinthetünk kicsinek? Ha csak azt nézzük, mennyi annak a valószínűsége annak, hogy például a hatos dobások számának eltérése a dobások számának egyhatodától kisebb mint egy adott szám, akkor a centrális határeloszlástétel pontos leírást ad erre a problémára. De ha a különböző dobáseredmények együttes viselkedésére vagyunk kiváncsiak, akkor új eredményre van szükségünk.

b.) Legyenek ξ_{1}, …, ξ_{n} független a [−\frac{1}{2}, \frac{1}{2}] intervallumban egyenletes eloszlású való-

színűségi változók. Ekkor a ∑_{j=1}^{n} ξ_{j} összeg normalizáltjának az eloszlására jó leírást

ad a centrális határeloszlástétel. Hasonló állítást mondhatunk a ∑_{j=1}^{n} ξ_{j}^{2} összeg nor-

malizáltjának az eloszlására. De tudunk-e hasonló eredményt adni a ∑_{j=1}^{n} ξ_{j} és ∑_{j=1}^{n} ξ_{j}^{2}

összegek normalizáltjának az együttes eloszlására?

Létezik a centrális határeloszlástételnek olyan több-dimenziós változata, amelyet az irodalomban többváltozós centrális határeloszlástételnek neveznek. A fenti kérdések vizsgálatában ez az eredmény bizonyult hasznosnak. Ezt hasonlóan lehet bizonyítani a már tárgyalt egyváltozós centrális határeloszlástételhez. Jelen előadás fő célja nem a bizonyítás, hanem az eredmény megértése. Elsősorban azt kell megértenünk, hogy mi a centrális határeloszlástétel megfogalmazásában megjelenő normális eloszlás többváltozós megfelelője. Ennek keretében tisztáznunk kell azt is, hogy mi a valós értékű valószínűségi változók esetében bevezetett várható érték és szórásnégyzet megfelelője vektor értékű valószínűségi változók esetében. Ugyancsak fontos megérteni vektorértékű valószínűségi változók eloszlásban való konvergenciájának a definicióját, illetve annak legfontosabb tulajdonságait.

Legyenek ξ^{(j)} = (ξ_{1}^{(j)}, …, ξ_{k}^{(j)}), j = 1, 2, …, független, egyforma eloszlású kdimenziós valószínűségi változók, (véletlen vektorok), ahol rögzített j indexre semmilyen (függetlenség jellegű) feltételt nem teszünk fel az ξ_{1}^{(j)}, …, ξ_{k}^{(j)} valószínűségi változók között. (Több-dimenziós valószínűségi változók függetlenségének a fogalmát ismertettem a 9. előadás elején, és az megtalálható az előadás ismertetésének első és második oldalán.) Tegyük fel továbbá, hogy Eξ_{s}^{(j)}^{2} < ∞ minden 1 ≤ s ≤ k indexre. Tekintsük

az S_{n} = (S_{n,1}, …, S_{n,k}) = ∑_{j=1}^{n} ξ^{(j)} = ( ∑_{j=1}^{n} ξ_{1}^{(j)}, …, ∑_{j=1}^{n} ξ_{k}^{(j)}), n = 1, 2, …, véletlen

összegeket. Célunk annak bizonyítása, hogy az S_{n} véletlen vektorok alkalmas normalizáltjának létezik határeloszlása, és a határeloszlást pontosan le akarjuk írni. Látni fogjuk, hogy ez lehetséges. A határeloszlástételben megjelenő határeloszlásokat fogjuk több-dimenziós normális eloszlásnak nevezni.

Lássuk, hogyan lehet tárgyalni az előbb említett két problémát egy ilyen jellegű eredmény segítségével. Az a) feladat vizsgálatának érdekében vezessük be a következő valószínűségi változókat: Ha a dobókockát n alkalommal dobjuk fel, akkor legyen ξ_{j}, 1 ≤ j ≤ n, a következő 6-dimenziós valószínűségi változó: A ξ_{j} valószínűségi változó l-ik koordinátája 1, ha a j-ik dobás értéke l, 1 ≤ l ≤ 6, és ξ_{j} összes többi koordinátája nulla. Ekkor a ξ_{j} valószínűségi változók függetlenek, (az egyes valószínűségi változók

koordinátái nem feltétlenül függetlenek), és az S_{n} = ∑_{j=1}^{n} ξ_{j} összeg l-ik koordinátája

egyenlő az l értékű dobások számával minden 1 ≤ l ≤ 6 index esetén. Ezért egy az S_{n} véletlen összeg aszimptotikus viselkedését nagy n számokra leíró határeloszlástétel hasznos lehet a számunkra. Hasonló a helyzet a b) példában, ha olyan η_{j} = (ξ_{j}, ξ_{j}^{2}),

1 ≤ j ≤ n, két-dimenziós független vektorok, S_{n} = ∑_{j=1}^{n} η_{j} összegét vizsgáljuk, ame-

lyekre ξ_{1}, …, ξ_{n} független, a [−\frac{1}{2}, \frac{1}{2}] intervallumban egyenletes eloszlású valószínűségi változók.

Ismertetni fogom a centrális határoszlástétel természetes megfelelőjét abban az esetben, ha független és egyforma eloszlású véletlen vektorok alkalmasan normált összegének a viselkedését vizsgáljuk. Annak érdekében, hogy ezt megtehessem, be kell vezetnem a határeloszlásban megjelenő normális eloszlás több-dimenziós megfelelőjét, amit többdimenziós normális eloszlásnak fogunk nevezni. De ehhez előbb be kell vezetnem az egydimenziós esetben definiált várható érték és szórásnégyzet több-dimenziós megfelelőjét. Ezenkívül meg kell érteni, hogy a várható érték és szórásnégyzet tulajdonságai hogyan öröklődnek, ha azokanak a több-dimenziós esetben megjelenő megfelelőit vizsgáljuk. Az egy-dimenziós esetben definiált várható értéknek megfelelő több-dimenziós várható érték (vektor) fogalmának és tulajdonságainak a megértése viszonylag egyszerű, de a szórásnégyzetnek megfelelő kovariancia mátrix tulajdonságainak jó megértése szükségessé teszi néhány a lineáris algebrában tanult fogalom és eredmény felelevenítését. Megjegyzem hogy most és a továbbiakban is a több-dimenziós vektorokat mint sorvektorokat tekintem. Valójában mind a sor mind az oszlopvektor jelölés lehetséges. Egyik jelőlés sem jobb a másiknál, és az irodalomban nem egységes a jelölés. A fontos az, hogy következetes jelölést alkalmazzunk.

Több-dimenziós valószínűségi változó várható értékének és kovariancia mátrixának a definiciója. Legyen Z = (Z_{1}, …, Z_{k}) k-dimenziós véletlen vektor, amelynek minden koordinátája teljesíti az EZ_{j}^{2} < ∞, 1 ≤ j ≤ k, feltételt. E véletlen vektor várható értéke az EZ = (EZ_{1}, …, EZ_{k}) k-dimenziós vektor, kovariancia mátrixa pedig az a D = (d_{j,l}), 1 ≤ j, l ≤ k, k × k méretű mátrix, mely mátrix j-ik sorában és l-ik oszlopában lévő elem a d_{j,l} = Cov (Z_{j}, Z_{l}) = EZ_{j}Z_{l} − EZ_{j}EZ_{l} szám.

Megfogalmazom a vektorértékű valószínűségi változók várható értékének és kovariancia mátrixának néhány fontos tulajdonságát. Ezek egyszerű következményei a valós szám értékű valószínűségi változók már tárgyalt tulajdonságainak, ezért a bizonyítást elhagyom.

Tétel vektor értékű valószínűségi változók várható értékének és kovariancia mátrixának néhány tulajdonságáról. Legyenek Z^{(j)} = (Z_{1}^{(j)}, …, Z_{k}^{(j)}), 1 ≤ j ≤ n, véletlen k-dimenziós vektorok ugyanazon az (Ω, A, P) valószínűségi mezőn. Ekkor a Z^{(1)} + ⋯ + Z^{(n)} összeg várható értéke megegyezik a Z^{(j)} vektorok várható értékeinek az összegével, azaz

E (Z^{(1)} + ⋯ + Z^{(n)}) = EZ^{(1)} + ⋯ + EZ^{(n)}.

Ha a Z^{(j)}, 1 ≤ j ≤ n, véletlen vektorok függetlenek, akkor a kovariancia mátrix is additív, azaz, ha a Z^{(j)} mátrix kovariancia mátrixa a D_{j} mátrix, 1 ≤ j ≤ n, akkor a Z^{(1)} +⋯+Z^{(n)} véletlen összeg kovariancia mátrixa a D_{1} +⋯+D_{n} mátrix. Ha egy Z = (Z_{1}, …, Z_{k}), véletlen vektor várható értéke M = (M_{1}, …, M_{k}), kovariancia mátrixa a D k ×k méretű mátrix, a tetszőleges valós szám, akkor az aZ = (aZ_{1}, …, aZ_{k}), véletlen vektor várható értéke aM, kovariancia mátrixa pedig az a^{2}D kovariancia mátrix. Legyen továbbá x = (x_{1}, …, x_{k}) tetszőleges k-dimenziós vektor. Ekkor E(Z + x) = EZ + x, a Z + x vektor kovariancia mátrixa pedig megegyezik a Z vektor kovariancia mátrixával.

A következő eredmény célja annak jellemzése, hogy milyen mátrixok jelenhetnek meg, mint alkalmas véletlen vektor kovariancia mátrixa. Ennek az eredménynek az ismertetésében és bizonyításában fel kell használnunk a lineáris algebra néhány alapvető fogalmát és eredményét. Igyekszem az állításokat úgy leírni, hogy önmagukban érthetőek legyenek, Egy kiegészítésben leírom a felhasznált eredmények ismertetését és bizonyítását.

Először idézzük fel a következő lineáris algebrai fogalmat.

Szimmetrikus és pozitív (szemi)definit mátrixok definiciója. Legyen D = (d_{j,l}) egy k × k méretű mátrix. Azt mondjuk, hogy a D mátrix szimmetrikus, ha minden 1 ≤ j, l ≤ k indexre d_{j,l} = d_{l,j}. Pontosabban azt követeljük meg, (ha nemcsak valós, hanem általános komplex értékű elemekkel rendelkező mátrixokat is tekintünk, ami ebben az előadásban nem fog előfordulni), hogy d_{j,l} = d̄_{l,j}, ahol z̄ a z komplex szám konjugáltja, azaz, ha z = a + ib, akkor z̄ = a − ib. Egy k × k méretű szimmetrikus D = (d_{j,l}) mátrix positív (szemi)definit, ha minden x = (x_{1}, …, x_{k}) k-dimenziós vektorra xDx^{∗} =

∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}d_{j,l}x_{l} ≥ 0. (Ebben a formulában x^{∗} jelöli az x vektor transzponáltját, azaz

azt az oszlopvektort, amelynek fölülről számíva l-ik eleme megegyezik az x vektor balról számított l-ik elemével. Ekkor xDx^{∗} a szokásos vektorszorzást jelöli.

A D = (d_{i,j}) szimmetrikus mátrixot (szigorúan) pozitív definitnek nevezünk, ha

pozitív szemidefinit, és ráadásul az xDx^{∗} = ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}d_{j,l}x_{l} = 0 reláció csak abban a

triviális esetben teljesül, ha x_{1} = x_{2} = ⋯ = x_{k} = 0.

Az eredmények és fogalmak jobb megértése érdekében érdemes megadni a fent leírt koordinátarendszerben leírt definiciók koordinátarendszertől független ,,absztrakt” definicióját is és megérteni a két definició kapcsolatát. Ennek leírását (a bizonyítások többségének elhagyásával) tartalmazza a lineáris algebrai összefoglaló. A következő eredményben megfogalmazom azt a fontos eredményt, amely megadja a kovariancia mátrixok jellemzését. A bizonyítás felhasznál bizonyos nem triviális lineáris algebrai eredményeket is.

Tétel a kovariancia mátrixok jellemzéséről. Legyen Z = (Z_{1}, …, Z_{k}) egy kdimenziós véletlen vektor. Ekkor a Z vektor kovariancia mátrixa szimmetrikus és pozitív szemidefinit mátrix. Megfordítva, tetszőleges D szimmetrikus, pozitív szemidefinit mátrixhoz létezik olyan Z = (Z_{1}, …, Z_{k}) véletlen vektor, amelynek ez a D mátrix a kovariancia mátrixa. Sőt igaz a következő tartalmasabb állítás is: Legyen Y = (Y_{1}, …, Y_{k}) olyan véletlen vektor, amelynek a kovariancia mátrixa az identitás mátrix, azaz Var Y_{j} = 1, 1 ≤ j ≤ k, Cov (Y_{j}, Y_{l}) = 0, ha 1 ≤ j, l ≤ k, és j ≠ l. (Ez a helyzet például akkor, ha az Y_{j}, 1 ≤ j ≤ k valószínűségi változók függetlenek, és Var Y_{j} = 1.) Ekkor létezik olyan A = (a_{j,l}) k×k méretű mátrix, amelyre igaz, hogy a Z = (Z_{1}, …, Z_{k}) = (Y_{1}, …, Y_{k})A =

( ∑_{p=1}^{k} a_{1,p}Y_{p}, …, ∑_{p=1}^{k} a_{k,p}Y_{p}) véletlen vektor kovariancia mátrixa a D mátrix.

Igaz továbbá a következő állítás is. Egy Z = (Z_{1}, …, Z_{k}) véletlen vektor kovariancia mátrixa akkor és csak akkor (szigorúan) pozitív definit, ha e vektor koordinátái között

nincs lineáris összefüggés, azaz ha x_{1}, …, x_{k} valós számokra ∑_{j=1}^{k} x_{j}Z_{j} = K valamilyen

K (determinisztikus) valós számra egy valószínűséggel, akkor x_{1} = ⋯ = x_{k} = 0.

Megjegyzés: Ez az állítás annak a valószínűségi változókról szóló egyszerű eredménynek több-dimenziós megfelelője, amely szerint egy valószínűségi változó szórásnégyzete nem negatív szám. Továbbá azt is tudjuk, hogy egy valószínűségi változó szórásnégyzete szigorúan pozitív, ha ez a valószínűségi változó nem egyenlő egy konstanssal egy valószínűséggel. Ennek a ténynek a megfelelője a tétel végén kimondott állítás, amely szerint egy véletlen vektor kovariancia mátrixa pozitív definit, ha nincs a véletlen vektor koordinátáinak olyan lineáris kombinációja, amelyik egy valószínűséggel megegyezik egy számmal. Ugyanis a nem negatív számoknak a pozitív szemidefinit mátrixok a pozitív számoknak pedig a pozitív definit mátrixok felelnek meg magasabb dimenzióban. Magának a tételnek a bizonyítása egy alább megfogalmazandó nem triviális lineáris algebrai eredményen alapul, amelyik azt mondja ki, hogy egy pozitív szemidefinit mátrix felírható, mint egy alkalmas mátrix nényzete. Ez az állítás annnak a ténynek a többdimenziós megfelelője, amely szerint pozitív számokból lehet négyzetgyököt vonni. Jegyezzük meg, hogy a pozitív szemidefinit mátrixokból vont négyzetgyök nem egyértelműen meghatározott, mint ahogy a valós számok között is csak akkor egyértelmű a gyökvonás, ha csak a pozitív gyököt tekintjük.

Tétel a lineáris algebrából. Legyen D pozitív szemidefinit mátrix. Ekkor létezik olyan A mátrix, amelyre érvényes a D = A^{∗}A azonosság, ahol A^{∗} az A mátrix transzponáltját jelöli. Sőt, olyan A mátrixot is választhatunk, amelyre az A mátrix önadjungált és szemidefinit, és D = A^{2}. Eme megszorítás esetén az D = A^{∗}A = AA egyenlet megoldása egyértelmű. (Egy A = (a_{j,l}) k ×k méretű mátrix transzponáltja az A^{∗} = (a_{l,j}), illetve az általános komplex számokat is tartalmazó mátrixok esetében az A^{∗} = (ā_{l,j}) k ×k méretű mátrix, ahol z̄ a z komplex szám konjugáltja.)

A tétel bizonyítása a lineáris algebráról kimondott tétel segítségével. Tekintsünk először egy Z = (Z_{1}, …, Z_{k}) egy k-dimenziós véletlen vektort és annak D = (d_{j,l}), d_{j,l} = Cov (Z_{j}, Z_{l}), 1 ≤ j, l ≤ k, kovariancia mátrixát. Ekkor D szimmetrikus mátrix, mert d_{j,l} = d_{l,j}, azaz Cov (Z_{j}, Z_{l}) = Cov (Z_{l}, Z_{j}). Másrészt tetszőleges x = (x_{1}, …, x_{k}) k-dimenziós vektorra

Var (∑_{j=1}^{k} x_{j}Z_{j}) = ∑_{j=1}^{k} ∑_{l=1}^{k} E (x_{j}x_{l}(Z_{j}Z_{l} − EZ_{j}EZ_{l})) = ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}x_{l}Cov (Z_{j}, Z_{l})

= ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}x_{l}d_{j,l} = xDx^{∗},

és Var ( ∑_{j=1}^{k} x_{j}Z_{j}) ≥ 0. Innen következik, hogy xDx^{∗} ≥ 0 tetszőleges x = (x_{1}, …, x_{k})

k-dimenziós vektorra, azaz D szimmetrikus, pozitív szemidefinit mátrix.

Megfordítva, legyen D pozitív szemidefinit mátrix, és Y = (Y_{1}, …, Y_{k}) olyan véletlen vektor, amelynek a kovariancia mátrixa az identitás mátrix, azaz Var Y_{j} = 1, 1 ≤ j ≤ k, Cov (Y_{j}, Y_{l}) = 0, ha 1 ≤ j, l ≤ k, és j ≠ l. A kimondott lineáris algebrai eredmény szerint létezik olyan A = (a_{j,l}), 1 ≤ j, l ≤ k k × k méretű mátrix, amelyre D = A^{∗}A. Azt állítom, hogy a Z = (Z_{1}, …, Z_{k}) = Y A, azaz a Z = (Z_{1}, …, Z_{k}), Z_{j} =

∑_{p=1}^{k} a_{p,j}Y_{p}, 1 ≤ j ≤ k, véletlen vektor kovariancia mátrixa a D mátrix. Innen következik

a feladat második állítása is. Viszont Cov (Z_{j}, Z_{l}) = Cov ( ∑_{p=1}^{k} a_{p,j}Y_{p}, ∑_{q=1}^{k} a_{q,l}Y_{q}), ezért

Cov (Z_{j}, Z_{l}) = ∑_{p=1}^{k} ∑_{q=1}^{k} a_{p,j}a_{q,l}Cov (Y_{p}, Y_{q}), ahonnan, mivel Cov (Y_{p}, Y_{q}) = 0, ha p ≠ q,

és Cov (Y_{p}, Y_{p}) = 1, Cov (Z_{j}, Z_{l}) = ∑_{p=1}^{k} a_{p,j}a_{p,l} = d_{j,l}, ahol d_{j,l} a D = A^{∗}A mátrix j-ik

sorában és l-ik oszlopában szereplő konstans.

Végül a D kovariancia mátrix akkor és csak akkor (szigorúan) pozitív definit, ha

xDx^{∗} > 0, azaz Var ( ∑_{j=1}^{k} x_{j}ξ_{j}) > 0, azaz ∑_{j=1}^{k} x_{j}ξ_{j} ≠ K valamilyen konstanssal minden

nem azonosan nulla (x_{1}, …, x_{k}) ≠ 0 vektorra.

Ezután be tudjuk vezetni a több-dimenziós normális eloszlásfüggvények fogalmát, és meg tudjuk fogalmazni a több-dimenziós centrális határeloszlástételt.

Több-dimenziós normális eloszlások definiciója. Definiáljuk először a több-di-menziós standard normális eloszlást. Azt mondjuk, hogy egy (ξ_{1}, …, ξ_{k}) véletlen vektor eloszlása a k-dimenziós standard normális eloszlás, ha a ξ_{1}, …, ξ_{k} valószínűségi változók függetlenek, és mindegyik ξ_{j} valószínűségi változó, 1 ≤ j ≤ k, standard normális eloszlású. Ekvivalens megfogalmazásban azt mondhatjuk, hogy egy (ξ_{1}, …, ξ_{k}) véletlen vektor eloszlása a k-dimenziós standard normális eloszlás, ha e véletlen vektornak létezik

sűrűségfüggvénye, és az az f(u_{1}, …, u_{k}) = \frac{1}{(2π)^{k/2}} exp \{−\frac{1}{2} ∑_{j=1}^{k} u_{j}^{2}\} függvény.

Egy (η_{1}, …, η_{k}) k dimenziós véletlen vektor k dimenziós normális eloszlású vektor nulla várható értékkel, ha e véletlen vektor eloszlása megegyezik valamely (η̄_{1}, …, η̄_{k}) = (ξ_{1}, …, ξ_{k})A k-dimenziós vektor eloszlásával, ahol A egy k × k méretű mátrix, továbbá (ξ_{1}, …, ξ_{k}) egy k-dimenziós standard normális eloszlású véletlen vektor.

Egy (ζ_{1}, …, ζ_{k}) véletlen vektor k-dimenziós normális eloszlású vektor, ha eloszlása megegyezik egy (η_{1}, …, η_{k}) + (m_{1}, …, m_{k}) véletlen vektor eloszlásával, ahol (η_{1}, …, η_{k}) egy k-dimenziós normális eloszlású véletlen vektor, amelynek a várható értéke nulla, és (m_{1}, …, m_{k}) k-dimenziós determinisztikus vektor.

Megjegyzés: A több-dimenziós normális eloszlás definiciójából, illetve a 10. előadás elején tárgyalt feladat azon következményéből, hogy független normális eloszlású valószínűségi változók lineáris kombinációi is normális eloszlásúak következik, hogy egy több-válto-zós normális eloszlású valószínűségi változó minden koordinátája normális eloszlású. Az állítás megfordítása nem igaz. Később látni fogunk példát olyan kétváltozós valószínűségi változóra, amelynek mind a két koordinátája normális eloszlású, ő maga mégsem kétváltozós normális eloszlású véletlen vektor.

Megfogalmazok még egy később bizonyítandó eredményt, amely szükséges a többdimenziós centrális eloszlástétel kimondásához.

Tétel a több-dimenziós normális eloszlás tulajdonságairól. Tekintsünk egy kdimenziós (η_{1}, …, η_{k}) = (ξ_{1}, …, ξ_{k})A + (m_{1}, …, m_{k}) normális eloszlású valószínűségi változót, ahol A egy k × k méretű mátrix, m = (m_{1}, …, m_{k}) k-dimenziós (véletlentől nem függő) vektor és (ξ_{1}, …, ξ_{k}) egy k-dimenziós standard normális eloszlású véletlen vektor. Akkor (η_{1}, …, η_{k}) m = (m_{1}, …, m_{k}) várható értékű és D = A^{∗}A kovariancia mátrixú véletlen vektor. Egy normális eloszlású véletlen vektor kovariancia mátrixa pozitív (szemi)definit, és megfordítva, minden k×k méretű pozitív (szemi)definit mátrixhoz és k dimenziós vektorhoz létezik olyan k-változós normális eloszlású véletlen vektor, amelynek ez a kovariancia mátrixa és várható érték vektora. Továbbá egy k-dimenziós normális eloszlású valószínűségi változó eloszlását meghatározza annak m várható érték vektora és D kovariancia mátrixa.

Jegyezzük meg, hogy rögzített D (szimmetrikus és pozitív szemidefinit) mátrixra az A^{∗}A = D egyenletnek nem egyértelmű a megoldása. Tekintsünk két különböző A és B mátrixot, amelyre A^{∗}A = B^{∗}B. A fenti tétel szerint, ha tekintünk egy kdimenziós standard normális eloszlású (ξ_{1}, …, ξ_{k}) vektort, illetve a segítségével definiált (ξ_{1}, …, ξ_{k})A és (ξ_{1}, …, ξ_{k})B véletlen vektorokat, akkor bár ez az utóbbi két véletlen vektor különböző, eloszlásuk megegyezik. Ugyanis mind a két (normális eloszlású) vektor nulla várható értékű és A^{∗}A = B^{∗}B kovariancia mátrixú. Ez a tulajdonság erősen kihasználja azt, hogy normális eloszlású valószínűségi változókról van szó. Annak, hogy egy több-dimenzós normális eloszlást egyértelműen meghatároz annak várható érték vektora és kovariancia mátrixa fontos következményei vannak. Ehhez a kérdéshez később visszatérek.

Tanulságos lehet a következő példa, amely segíthet az előző tétel jobb megértésében. Legyen ξ = (ξ_{1}, …, ξ_{k}) k-dimenziós standard normális eloszlású véletlen vektor és U egy unitér transzformáció a k-dimenziós térben, azaz legyen UU^{∗} = U^{∗}U = I, ahol I az identitás mátrix a k-dimenziós térben. Az előző tétel szerint a ξ = ξI és η = ξU véletlen vektorok eloszlása megegyezik, mert mind a két vektor normális eloszlású, (minden koordinátában) nulla várható értékkel és UU^{∗} = I kovariancia mátrix-szal. Ez annak ellenére így van, hogy az U unitér mátrix lényegesen különbözhet az I identitás mátrixtól.

Viszont a fenti példa állításának okát meg tudjuk érteni, ha felidézzük az unitér transzformáció szemléletes jelentését. Egy unitér transzformáció távolságtartó lineáris leképezés, ezért a tér egy forgatása (és utána esetleg a tükrözése egy k − 1 dimenziós altérre). Másrészt láttuk, hogy egy standard normális eloszlású véletlen vektor sűrűségfüggvénye egy x pontban csak e pontnak az origótól mért |x| távolságától függ. Ezért egy ilyen valószínűségi változó eloszlása nem változik, ha elforgatjuk, (és akkor sem, ha utána esetleg tükrözzük egy k − 1-dimenziós altérre). A fenti példa ezt a tényt fejezi ki.

Megfogalmazom ezen előadás fő eredményét.

A többváltozós centrális határeloszlástétel. Legyenek ξ^{(j)} = (ξ_{1}^{(j)}, …, ξ_{k}^{(j)}), j = 1, 2, …, független, egyforma eloszlású k-dimenziós valószínűségi változók, amelyekre teljesül az Eξ_{l}^{(1)}^{2} < ∞, 1 ≤ l ≤ k feltétel. Legyen a ξ^{(1)} = (ξ_{1}^{(1)}, …, ξ_{k}^{(1)}) vektor várható

értéke Eξ^{(1)} = (Eξ_{1}^{(1)}, …, Eξ_{k}^{(1)}), kovariancia mátrixa pedig egy D k×k méretű mátrix.

Definiáljuk az S^{(n)} = (S_{1}^{(n)}, …, S_{k}^{(n)}) = ∑_{j=1}^{n} ξ^{(j)} = ( ∑_{j=1}^{n} ξ_{1}^{(j)}, …, ∑_{j=1}^{n} ξ_{k}^{(j)}) összegeket,

n = 1, 2, . . .. Ekkor minden (x_{1}, …, x_{k}) k-dimenziós vektorra érvényes a

lim_{n→∞} P (\frac{1}{\sqrt{n}} (S_{1}^{(n)} − ES_{1}^{(n)}) < x_{1}, …, \frac{1}{\sqrt{n}} (S_{k}^{(n)} − ES_{k}^{(n)}) < x_{k}) = Φ_{D}(x_{1}, …, x_{k})

azonosság, ahol Φ_{D}(x_{1}, …, x_{k}) a k-dimenziós nulla várható értékű D kovariancia mátrixú normális eloszlásfüggvény értéke az (x_{1}, …, x_{k}) pontban.

1. megjegyzés. Ahhoz, hogy lássuk, hogy a fenti többváltozós centrális határeloszlástétel értelmes, tudnunk kell a következő két állítást:

i) Tetszőleges (véges) kovariancia mátrix-szal rendelkező véletlen vektorhoz létezik egy vele megegyező kovariancia mátrixú (és nulla várható értékű normális eloszlású vektor. ii) A tételben szereplő határeloszlást egyételműen megadtuk, azaz egy nulla várható

érték vektorral rendelkező normális eloszlású véletlen vektor eloszlását egyértelműen meghatározza annak kovariancia mátrixa. A fenti két tulajdonság következik a több-dimenziós normális eloszlás tulajdonságairól szóló tételből. E tétel legtöbb állítását már igazoltuk. De még meg kell indokolni, hogy egy több-dimenziós normális eloszlást miért határoz meg annak várható érték vektora és kovariancia mátrixa.

2. megjegyzés. Az egy és többváltozós centrális határeloszlástétel megfogalmazásában másfajta normalizálást használtunk. Az egyváltozós esetben az összeg szórásával, azaz \sqrt{n}σ osztottunk, ahol σ^{2} = Var ξ, míg a többváltozós esetben \sqrt{n}-nel. Az egyváltozós esetben is oszthattunk volna \sqrt{n}-nel, és akkor a határeloszlás egy nulla várható értékű és σ^{2} szórásnégyzetű normális eloszlású valószínűségi változó eloszlása lett volna. A többváltozós esetben az egyváltozós esethez hasonló normalizálás az n^{−1/2}Σ^{−1} mátrix-szal való szorzás lenne, ahol Σ^{2} a tekintett véletlen vektorok kovariancia mátrixa, Σ ennek pozitív négyzetgyöke, azaz az az egyértelműen meghatározott pozitív definit Σ mátrix, amelynek négyzete a Σ^{2} kovariancia mátrix, Σ^{−1} pedig ennek a mátrixnak az inverze. Ilyen normalizálást akkor választhatunk, ha a Σ^{2} mátrix invertálható. Ez akkor teljesül, ha Σ^{2} szigorúan pozitív definit. Ekkor a limesz egy standard normális eloszlású véletlen vektor. De bizonyos fontos esetekben ez a feltétel nem teljesül. Például, ha az előadás elején tekintett (szabályos) kocka véletlen dobásait tekintjük, akkor, mint a következő feladat mutatja, nem invertálható kovariancia mátrix jelenik meg a határeloszlásban. Ez azzal függ össze, hogy a különböző eredményű dobások számának az összege (nem véletlen) konstans, mert egyenlő az összes dobás számával.

Feladat:

Legyenek ξ^{(j)} = (ξ_{1}^{(j)}, …, ξ_{6}^{(j)}) független, 1 ≤ j ≤ n, egyforma eloszlású véletlen vektorok P (ξ_{k}^{(j)} = 1) = \frac{1}{6}, minden 1 ≤ k ≤ 6, 1 ≤ j ≤ n indexre, és ξ_{k′}^{(j)} = 0, ha

k′ ≠ k, és ξ_{k}^{(j)} = 1, minden 1 ≤ k, k′ ≤ 6 indexre. Legyen S = \frac{1}{\sqrt{n}} ∑_{j=1}^{n} ξ_{j} e véletlen

vektorok normalizált összege. Ekkor a ξ^{(j)} és S vektorok kovariancia mátrixa az a D = (d_{i,k}), 1 ≤ i, k ≤ 6, mátrix, amelyre d_{i,k} = −\frac{1}{36}, ha i ≠ k, d_{k,k} = \frac{5}{36}. A D mátrix nem invertálható. Megoldás: A ξ^{(j)} vektor D mátrixának elemei d_{i,k} = Eξ_{i}^{(j)}ξ_{k}^{(j)} − Eξ_{i}^{(j)}Eξ_{k}^{(j)} =

−Eξ_{i}^{(j)}Eξ_{k}^{(j)} = −\frac{1}{36},ha i ≠ k, és d_{k,k} = E (ξ_{k}^{(j)})^{2} − (Eξ_{k}^{(j)})^{2} = \frac{1}{6} − (\frac{1}{6})^{2} = \frac{5}{36}. Az S véletlen vektor kovariancia mátrixa ugyanez a D mátrix. A D mátrix nem invertálható, mert a sorösszegei nullával egyenlőek.

Megjegyzem továbbá, hogy az egyváltozós esethez hasonlóan a többváltozós centrális határeloszlástételnek is létezik általánosítása független nem feltétlenül egyforma eloszlású véletlen vektorok normalizált összegeinek határeloszlására nagyon általános feltételek mellett. Ezzel a kérdéssel azonban itt nem foglalkozunk.

A többváltozós centrális határeloszlástétel bizonyítása hasonló a klasszikus egyváltozós esethez. Az ott bevezetett fogalmaknak és eredményeknek megadhatóak a több-dimenziós általánosításaik, és a megfelelő eredmények hasonlóan bizonyíthatóak. Ezért csak a fogalmakat és az eredményeket fogom ismertetni. A bizonyítás a karakterisztikus függvény fogalmának több-dimenziós általánosításán alapul, illetve azon, hogy az egydimenziós esetben bizonyítható eredmények természetes módon általánosíthatóak a több-dimenziós esetre is. Ennek a kérdésnek rövid tárgyalását a kiegészítésben írom le, ami nem része a fő anyagnak. Viszont az előadás fő részében ismertetem (bizonyítás nélkül) azokat az eredményeket, amelyek segítenek a többváltozós centrális határeloszlástétellel kapcsolatos feladatok megoldásában.

Több-dimenziós eloszlásfüggvények eloszlásban való konvergenciájának a definiciója. Legyen F_{n}(x_{1}, …, x_{k}), n = 1, 2, …, k-dimenziós eloszlásfüggvények sorozata. Azt mondjuk, hogy az F_{n}(x_{1}, …, x_{k}) eloszlásfüggvények eloszlásban konvergálnak egy kdimenziós F (x_{1}, …, x_{k}) eloszlásfüggvényhez, ha lim_{n→∞} F_{n}(x_{1}, …, x_{k}) = F (x_{1}, …, x_{k}) az F (·) (határ)eloszlásfüggvény minden (x_{1}, …, x_{k}) folytonossági pontjában.

Tétel az eloszlásban való konvergencia jellemzéséről folytonos függvények segítségével. F_{n}(u_{1}, …, u_{k}), n = 1, 2, … k-dimenziós eloszlásfüggvények sorozata akkor és csak akkor konvergál eloszlásban egy F (u_{1}, …, u_{k}) k-dimenziós eloszlásfüggvényhez, ha minden a k-dimenziós téren értelmezett folytonos, korlátos g(u_{1}, …, u_{k}) függvényre teljesül a

lim_{n→∞} ∫ g(u_{1}, …, u_{k}) F_{n}( du_{1}, …, du_{k}) = ∫ g(u_{1}, …, u_{k}) F ( du_{1}, …, du_{k})

azonosság.

Megjegyzés: A többváltozós centrális határeloszlástétel valójában azt mondja ki, hogy a tekintett normalizált összegeknek van határeloszlása, és az a tételben definiált többdimenziós normális eloszlás. Ez a tétel megfelel céljainknak, de ha precízek vagyunk, akkor az általunk kimondott tétel némi magyarázatra szorul. Ugyanis az ott kimondott limesz reláció nem következik a normalizált összegek eloszlásban való konvergenciájából abban az esetben, ha a határeloszlásként megjelenő több-dimenziós normális eloszlás kovariancia mátrixa nem invertálható. Ekkor ugyanis ez az eloszlás egy altérre van koncentrálva, és a határeloszlás nem folytonos minden pontban. A tételben kimondott állítás ekkor is érvényes, de erre a tényre nincs szükségünk. Ennek az állításnak az igazolásához azt kell kihasználni, hogy a tételben szereplő összeadandók eloszlása ugyanabba az altérbe van koncentrálva, mint a határeloszlás.

Az egydimenziós esetben ki tudtuk számolni a centrális határeloszlástétel alapján annak (közelítő) valószínűségét, hogy sok független valószínűségi változó normalizált összege egy intervallumba esik. A több-dimenziós esetben is szeretnénk hasonló eredményeket alkalmazni. De ebben az esetben egy általánosabb probléma jelenik meg. Olyan eredményre van szükségünk, amely segít kiszámítani annak valószínűségét, hogy független véletlen vektorok normalizált összegei valamilyen általános geometriai alakzatba, például egy gömbbe vagy ellipszoidba esnek. Olyan eredmények érdekelnek minket, amelyek azt mondják ki, hogy ilyen valószínűségek határértéke is létezik, és ez a határérték egyenlő azzal a számmal, amit a többváltozós centrális határeloszlástétel sugall. A következő két tétel valamelyikéből, amelyek az eloszlásban való konvergencia tulajdonságairól szólnak, levezethetjük a centrális határeloszlás ilyen irányú következményeit.

1. Tétel az eloszlásbeli konvergencia tulajdonságairól. Legyen ξ_{n}, n = 1, 2, …, k-dimenziós véletlen vektorok sorozata, amelyek eloszlásban konvergálnak egy ξ_{0} k-di-menziós véletlen vektorhoz, és legyen F a k-dimenziós téren értelmezett folytonos függvény. (Az egyszerűség érdekében tekintsünk valós értékű függvényeket, de valójában tekinthetünk tetszőleges l-dimenziós téren értelmezett függvényt.) Ekkor az η_{k} = F (ξ_{k}), k = 1, 2, …, valószínűségi változók eloszlásban konvergálnak az η_{0} = F (ξ_{0}) valószínűségi változóhoz.

2. Tétel az eloszlásbeli konvergencia tulajdonságairól. Legyen F_{n}, n = 1, 2, …, k-dimenziós eloszlások sorozata, amelyek eloszlásban konvergálnak egy F_{0} k-dimenziós eloszláshoz. Jelölje μ_{F_{n}} az F_{n} eloszlás szerint indukált Stieltjes mértéket. Ha A olyan halmaz a k-dimenziós téren, amelynek ∂A határa teljesíti a μ_{F_{0}}(∂A) = 0 azonosságot az F_{0} határeloszlásmérték szerinti μ_{F_{0}} Stieltes mérték szerint, akkor lim_{n→∞} μ_{F_{n}}(A) = μ_{F_{0}}(A).

A fenti két tétel bizonyítását elhagyom, noha azok nem nehezek. Valójában e tételek sokkal általánosabb változata is érvényes és viszonylag egyszerűen bizonyítható szeparábilis metrikus tereken definiált valószínűségi mértékekre. (De ehhez egy általánosabb fogalomrendszer bevezetésére lenne szükségünk, amivel itt nem fogok foglalkozni.) Viszont megmutatom, hogyan lehet megoldani a fenti két eredmény valamelyikének és a többváltozós centrális határeloszlástétel segítségével az előadás elején megfogalmazott feladatot kockák szabályosságának az ellenőrzéséről.

Megmutatom, hogy hogyan lehet az eloszlásbeli konvergencia tulajdonságairól szóló 1. tétel segítségével segítségével megoldani a bevezetés elején megfogalmazott feladatot kockák szabályosságának ellenőrzését alkalmas dobássorozat megfigyelésének segítségével. (A 2. tételt is alkalmazhatnánk, de az első tétel alkalmazása kissé kényelmesebbnek bizonyult.) Valójában egy általánosabb eredményt fogok tárgyalni, amely elvezet a matematikai statisztika egyik fontos módszeréhez, az úgynevezett χ-négyzet próbához.

Tekintsük a következő feladatot:

Legyen adva k urna, és ellenőrizzük azt a feltevést, amely szerint ha egy golyót véletlenül bedobunk ezen urnák valamelyikébe, akkor az p_{j}, p_{j} > 0, valószínűséggel esik a j-

ik urnába, ∑_{j=1}^{k} p_{j} = 1. Ezen feltevés ellenőrzésének az érdekében dobjunk egymástól

függetlenül n golyót ezekbe az urnákba, és jelölje ν_{n}(j) a j-ik urnába eső golyók számát.

Be fogjuk látni, hogy feltevésünk teljesülése esetén a ∑_{j=1}^{k} \frac{(ν_{n}(j)−np_{j})^{2}}{np_{j}} valószínűségi vál-

tozóknak létezik határeloszlásuk n → ∞ esetén, és ez a határeloszlás az úgynevezett k − 1 szabadságfokú χ^{2} eloszlás.

Megfogalmazom ezt az eredményt pontosabban is. Előtte bevezetem a χ^{2} eloszlások definicióját.

A k szabadságfokú χ^{2} eloszlás definiciója. Legyen ξ_{1}, …, ξ_{k} k darab független

standard normális eloszlású valószínűségi változó. Ekkor a ∑_{j=1}^{k} ξ_{j}^{2} valószínűségi változó

eloszlását nevezzük k szabadságfokú χ^{2}(k) eloszlásnak.

Megjegyzés: Láttuk a 9. előadás 5. feladatában, hogy a 2 szabadságfokú χ^{2}(2) eloszlás a λ = \frac{1}{2} paraméterű exponenciális eloszlás, azaz az az eloszlás, amelynek sűrűségfüggvénye az f(x) = \frac{1}{2}e^{−x/2}, ha x ≥ 0, és f(x) = 0, ha x < 0.

Ezután megfogalmazom a χ^{2} próba alapjául szolgáló eredményt. A bizonyítás ismerete nem kötelező a vizsgán.

Tétel urnadobás eredményének aszimptotikus viselkedéséről. Legyen adva k darab urna, amelyekbe bedobunk egymástól függetlenül golyókat úgy, hogy mindegyik

golyó p_{j} valószínűséggel esik a j-ik urnába, 1 ≤ j ≤ k, ∑_{j=1}^{k} p_{j} = 1. Jelölje ν_{n}(j) a

j-ik urnába eső golyók számát az n-ik dobás után. Ekkor a

∑_{j=1}^{k} \frac{(ν_{n}(j) − np_{j})^{2}}{np_{j}} , n = 1, 2, …

valószínűségi változók eloszlásban konvergálnak a k − 1 szabadságfokú χ^{2}(k − 1) eloszláshoz, ha n → ∞. (Az urnák k száma rögzített.)

Megjegyzem, hogy a fenti tételben megjelenő határeloszlás csak az urnák k számától függ, de nem függ a p_{j}, 1 ≤ j ≤ k, valószínűségektől. Ez jelzi azt, hogy természetes statisztikát vezettünk be, olyat amelyben a különböző urnákban levő golyók számának az eltérése annak várható értékétől egyforma fontos szerepet játszik. Az, hogy a határeloszlás a k − 1 szabadságfogú χ^{2}(k − 1) eloszlás, azzal függ össze, hogy bár k véletlen szám súlyozott négyzetösszegét tekintettük, (az egyes urnákba eső golyók számának eltérését tekintettük azok várható értékétől), de ezek között van egy determinisztikus összefüggés. Nevezetesen az, hogy az összes urnába eső golyók száma minusz azok várható értéke nullával egyenlő. Ezt informálisan úgy szokták interpretálni, hogy k − 1 szabadsági fokkal rendelkező véletlen vektorok koordinátáinak a négyzetösszegét tekintettük, illetve azok határeloszlását. Ilyen esetben a határeloszlást olyan véletlen összeg adja meg, amelyben mindegyik szabadsági foknak egy összeadandó felel meg, amelyik független a többi összeadandótól, és az egy standard normális eloszlású valószínűségi változó négyzete. Az eredmény bizonyítását egy nem kötelező kiegészítésben írom le.

Lássuk, hogy az előadás elején említett második feladatot hogy tudjuk megoldani a több-változós centrális határeloszlástétel segítségével.

Feladat:

Legyenek ξ_{1}, …, ξ_{n} független a [−\frac{1}{2}, \frac{1}{2}] intervallumban egyenletes eloszlású valószí-

nűségi változók. Mutassuk meg, hogy a ∑_{j=1}^{n} ξ_{j} és ∑_{j=1}^{n} ξ_{j}^{2} összegek normalizáltjainak,

azaz a \sqrt{\frac{12}{n}} ∑_{j=1}^{n} ξ_{j} és \sqrt{\frac{180}{n}} ∑_{j=1}^{n} (ξ_{j}^{2} − \frac{1}{12}) valószínűségi változóknak az együttes el-

oszlása a két-dimenziós standard normális eloszláshoz konvergál, ha n → ∞.

Megoldás: Eξ = 0, Eξ^{2} = \frac{1}{12}, Var ξ = \frac{1}{12}, Var ξ^{2} = Eξ^{4} − (Eξ^{2})^{2} = \frac{1}{80} − \frac{1}{144} = \frac{1}{180}. Továbbá Cov (ξ, ξ^{2}) = Eξ^{3} − EξEξ^{2} = 0. Ezért a (\sqrt{12}ξ_{j}, \sqrt{180} (ξ_{j}^{2} − \frac{1}{12})), j = 1, 2, …, véletlen vektorok függetlenek, nulla várható értékkel és az identitás kovariancia mátrix-szal. Innen, és a több-dimenziós centrális határeloszlástételből következik a feladat állítása.

A fenti eredmények bizonyításában kihasználtuk azt a tényt, hogy egy normális eloszlású vektor eloszlását egyértelműen meghatározza annak várható érték vektora és kovariancia mátrixa. Ezt a kiegészítésben bebizonyítom e véletlen vektor karakterisztikus függvényének a segítségével. De ez a bizonyítás mély, eddig nem tanult matematikai ismereteket is felhasznál. Itt kiszámolom egy normális eloszlású véletlen vektor sűrűségfüggvényét. Megmutatom, hogy ez a sűrűségfüggvény akkor és csak akkor létezik, ha a normális eloszlású véletlen vektor kovariancia mátrixa invertálható. Ebben az esetben a sűrűségfüggvény kifejezhető a várható érték és kovariancia mátrix segítségével. Innen következik, hogy a normális eloszlást meghatározza a kovariancia mátrixa és várható érték mátrixa abban az esetben, ha a kovariancia mátrix invertálható. A bizonyítandó állítás igazolása az általános esetben visszavezethető erre az eredményre, de ezt az érvelést nem dolgozom ki. Viszont adok egy másik, lineáris algebrai eredményeken alapuló bizonyítást arra, hogy egy több-dimenziós normális eloszlást meghatároz annak várható érték vektora és kovariancia mátrixa. A következő lineáris algebrai eredményt fogom használni, amelyet mátrixok polár felbontásának is neveznek.

Tétel mátrixok polár felbontásáról. Egy A k × k (négyzetes) mátrix felírható A = UK alakban, ahol U unitér és K szimmetrikus, pozitív definit mátrix. (Hasonlóan felbontható A = K_{1}U_{1} alakban egy szimmetrikus, pozitív definit és unitér mátrix szorzatára.)

Megjegyzés. Azért nevezik ezt a felbontást polár felbontásnak, mert ez annak a megfelelője, hogy egy z komplex szám felírható z = Re^{iφ} alakban, ahol R = |z| a z szám abszolut értéke, az e^{iφ} tényezővel való szorzás pedig φ szöggel való forgatást jelent. Mivel két mátrix szorzata nem feltétlenül kommutativ az A = UK és A = K_{1}U_{1} felbontásban különböző mátrixok szerepelhetnek.

A normális eloszlás egyértelműségéről szóló tétel bizonyítása a fenti lineáris algebrai összefüggés segítségével. Elég belátni, hogy egy ζ = ξA nulla várható értékű normális eloszlású vektor eloszlását, ahol ξ k-dimenziós standard normális eloszlású vektor, A pedig k × k méretű mátrix meghatározza annak D = A^{∗}A kovariancia mátrixa. Ennek érdekében írjuk fel az A mátrix A = UK polár felbontását, és vegyük észre, hogy D = A^{∗}A = KU^{∗}UK = K^{2}, és mivel egy pozitív (szemi)definit mátrix pozitív szemidefinit négyzetgyöke egyértelműen meghatározott, ezért K = D^{1/2}. Innen ζ = ξA = ξUD^{1/2} = ηD^{1/2}, ahol η = ξU. Viszont láttuk, hogy egy U unitér transzformációra az η = ξU vektor is standard normális eloszlású. Innen következik, hogy a ζ = ηD^{1/2} véletlen vektor eloszlása csak a D^{1/2} ezért csak a D mátrixtól függ.

Most megadom egy több-dimenziós normális eloszlású vektor sűrűségfüggvényét.

Tétel a több-dimenziós normális eloszlású vektor sűrűségfüggvényének az alakjáról. Legyen adva egy η = (η_{1}, …, η_{k}) k-dimenziós normális eloszlású valószínűségi változó, amelynek m = (m_{1}, …, m_{k}) = (Eη_{1}, …, Eη_{k}) a várható érték vektora és D = (d_{j,l}), d_{j,l} = Cov (η_{j}, η_{l}), 1 ≤ j, l ≤ k, a kovariancia mátrixa. Az η k-dimenziós valószínűségi változónak akkor és csak akkor van sűrűségfüggvénye, ha a D kovariancia mátrix invertálható. Ha a D kovariancia mátrix invertálható, akkor az η = (η_{1}, …, η_{k}) véletlen vektor sűrűségfüggvénye a következő alakú:

f(x) = f(x_{1}, …, x_{k}) = \frac{1}{(2π)^{k/2} det D^{1/2}} exp \{−(x − m)D^{−1}(x − m)^{∗}/2\} ,

ahol x = (x_{1}, …, x_{k}) ∈ R^{k} k-dimenziós vektor.

Bizonyítás: Az η = (η_{1}, …, η_{k}) véletlen vektor eloszlása megegyezik egy olyan η̄ = (η̄_{1}, …, η̄_{k}) = (ξ_{1}, …, ξ_{k})A+(m_{1}, …, m_{k}) véletlen vektornak az eloszlásával, amelyikre ξ_{j}, 1 ≤ j ≤ k, független standard normális eloszlású valószínűségi változók, és D = A^{∗}A. Jegyezzük meg, hogy a lineáris algebra standard eredményei szerint az A és A^{∗} mátrixok egyszerre invertálhatóak vagy nem invertálhatóak, és a D = A^{∗}A mátrix akkor és csak akkor invertálható, ha az A mátrix invertálható. Ezért, ha a D mátrix nem invertálható, akkor az η vektornak nincs sűrűségfüggvénye, ha pedig a D mátrix invertálható, akkor a következő módon számolhatunk:

Alkalmazva az x = yA + m transzformációt ξ = (ξ_{1}, …, ξ_{k}), x = (x_{1}, …, x_{k}), y = (y_{1}, …, y_{k}) és φ(y) = φ(y_{1}, …, y_{k}) = \frac{1}{(2π)^{k/2}} e^{−(y_{1}^{2}+···+y_{k}^{2})/2} jelöléssel kapjuk, hogy tetszőleges mérhető B ⊂ R^{k} halmazra

P (η̄ ∈ B) = P (η ∈ B) = P (ξ ∈ (B − m)A^{−1}) = ∫_{(y_{1},...,y_{k})∈(B−m)A^{−1}} φ(y) dy

= \frac{1}{| det A|} ∫_{(x_{1},...,x_{k})∈B} φ ((x − M)A^{−1}) dx

alakú, ahol | det A| az x = yA + M leképezés Jacobian-ja.

E formulából kiolvasható, hogy a vizsgált normális eloszlású valószínűségi változó sűrűségfüggvénye a \frac{1}{| det A|}φ ((x − m)A^{−1}) függvény. Annak érdekében, hogy bebizonyítsuk a tételt vegyük észre, hogy mivel D = A^{∗}A, ezért det D = det A^{∗} det A = (det A)^{2}, és | det A| = det D^{1/2}, ahonnan

φ ((x − m)A^{−1}) = \frac{1}{(2π)^{k/2}} exp \{−\frac{((x − m)A^{−1}, (x − m)A^{−1})}{2}\}

= \frac{1}{(2π)^{k/2}} exp \{−\frac{(x − m)A^{−1} (A^{−1})^{∗} (x − m)^{∗}}{2} \}

= \frac{1}{(2π)^{k/2}} exp \{−\frac{(x − m)(A^{∗}A)^{−1}(x − m)^{∗}}{2} \}

= \frac{1}{(2π)^{k/2}} exp \{−\frac{(x − m)D^{−1}(x − m)^{∗}}{2} \} ,

mert A^{−1} (A^{−1})^{∗} = A^{−1} (A^{∗})^{−1} = (A^{∗}A)^{−1}. Innen következik a Tétel állítása.

Megjegyzés: Egy több-dimenziós normális eloszlású valószínűségi változó karakterisztikus függvényét megadó képletben a kovariancia mátrix szerepel, míg a sűrűségfüggvényét megadó képletben a kovariancia mátrix inverze. Mivel a karakterisztikus függvény kiszámolásában nem kell invertálni a kovariancia mátrixot, ezért a karakterisztikus függvény segítségével könnyebb vizsgálni a normális eloszlásfüggvények tulajdonságait.

Annak, hogy egy normális eloszlású véletlen vektor eloszlását egyértelműen meghatározza annak várható érték vektora és kovariancia mátrixa meglepő és fontos következményei vannak. Lássuk be a következő (fontos) állítást.

Feladat:

Legyen (ξ_{1}, …, ξ_{k}) k-dimenziós normális eloszlású véletlen vektor, amelynek koordinátái korrelálatlanok, azaz Cov (ξ_{i}, ξ_{j}) = 0, ha i ≠ j. Ekkor ξ_{1}, …, ξ_{k} független normális eloszlású valószínűségi változók. Megoldás: Feltehetjük az általánosság megszorítása nélkül, hogy Eξ_{j} = 0, 1 ≤ j ≤ k. Legyen Eξ_{j}^{2} = σ_{j}^{2}. Tekintsünk független standard normális eloszlású η_{1}, …, η_{k} valószínűségi változókat, és vezessük be a η̃ = (σ_{1}η_{1}, σ_{2}η_{2}, …, σ_{k}η_{k}) véletlen vektort. Ekkor η̃ nulla várható értékű, normális eloszlású véletlen vektor, amelynek kovariancia mátrixa megegyezik a ξ = (ξ_{1}, …, ξ_{k}) kovariancia mátrixával. Ezért e két vektor eloszlása megegyezik. Innen következik, hogy a ξ_{1}, …, ξ_{k} valószínűségi változók függetlenek és normális eloszlásúak.

Annak érdekében, hogy a fenti feladat eredményét jobban tudjuk értékelni oldjuk meg a következő feladatot.

Feladat:

Mutassunk példát két korrelálatlan ξ és η valószínűségi változóra, amelyek nem függetlenek. Megoldás: Sok egyszerű példát adhatunk. Tekintsük például a következő példát: Legyen ξ egyenletes eloszlású valószínűségi változó a [−\frac{1}{2}, \frac{1}{2}] intervallumban, Ekkor a ξ és η = ξ^{2} valószínűségi változók korrelálatlanok, de nem függetlenek. Valóban, Eξ = 0, Eη = Eξ^{2} = \frac{1}{12}, Eξη = Eξ^{3} = 0, Cov (ξ, η) = Eξη − EξEη = 0. Másrészt ξ és η nem függetlenek, sőt az η valószínűségi változó a ξ valószínűségi változó determinisztikus függvénye. Egy lehetséges formális indoklása annak, hogy ξ és η nem független a következő: Legyen 0 < a < 1 tetszőleges szám. Ekkor {ω: η < a^{2}} = {ω: |ξ| < a}. Ezért P (ξ < a, η < a^{2}) = P (ξ < a), azaz P (ξ < a, η < a^{2}) ≠ P (ξ < a)P (η < a^{2}).

Végül lássunk példát olyan két-dimenziós (ξ, η) vektorra, amelynek mind a két koordinátája, azaz mind a ξ mind az η valószínűségi változó normális eloszlású, viszont a (ξ, η) vektor (mint két-dimenziós véletlen vektor) nem normális eloszlású.

Feladat:

Definiáljuk a következő (Ω, B, P) valószínűségi mezőt: Ω = [0, 1], B a Borel σalgebra [0, 1]-en, és P a Lebesgue mérték. Definiáljuk a következő ξ és η valószínűségi változókat ezen a mezőn: ξ(x) = Φ^{−1}(x),

η(x) = \{ \begin{matrix}ξ(1 − x) & ha 0 ≤ x < \frac{1}{2} \\ ξ (x − \frac{1}{2}) & ha \frac{1}{2} ≤ x ≤ 1 \end{matrix} .

Lássuk be, hogy ξ és η normális eloszlású valószínűségi változók, de a (ξ, η) vektor nem normális eloszlású valószínűségi vektor. Megoldás: A ξ és η valószínűségi változók azonos eloszlásúak. Továbbá,

P (ξ > x) = λ(Φ(x), 1]) = 1 − Φ(x) .

Az, hogy (ξ, η) vektor nem normális eloszlású következik például a P (ξ+η = 0) = \frac{1}{2} azonosságból. Ugyanis, ha (ξ, η) normális eloszlású lenne, akkor az lenne a ξ + η valószínűségi változó is. Ennek viszont ellentmond a P (ξ + η = 0) = \frac{1}{2} reláció.

Nem kötelező feladat.

Legyen ξ egy l változós normális eloszlású valószínűségi változó, A egy k ×l méretű mátrix. Mutassuk meg (alapvető lineáris algebrai ismeretek felhasználásával), hogy η = ξA egy k változós normális eloszlású valószínűségi változó.

Kiegészítés: A több-dimenziós centrális határeloszlástétel bizonyításáról.

A bizonyításban az egyváltozós esetben ismertetett eredmények több-dimenziós változataira van szükségünk.

Az egydimenziós esethez hasonlóan a fenti tétel és Weierstrass második approximációs tétele (pontosabban annak több-dimenziós általánosítása) segítségével eloszlásfüggvények konvergenciáját jól lehet vizsgálni a karakterisztikus függvények alább bevezetett több-dimenziós általánosításának a segítségével.

Több-dimenziós valószínűségi változók karakterisztikus függvényének a definiciója. Legyen ξ = (ξ_{1}, …, ξ_{k}) k-dimenziós valószínűségi változó valamely (Ω, A, P) valószínűségi mezőn, és jelölje F (u_{1}, …, u_{k}) = P (ξ_{1} < u_{1}, …, ξ_{k} < u_{k}), −∞ < u_{j} < ∞, 1 ≤ j ≤ k, a ξ = (ξ_{1}, …, ξ_{k}) véletlen vektor eloszlásfüggvényét. A ξ = (ξ_{1}, …, ξ_{k}) k-dimenziós ξ valószínűségi változónak a karakterisztikus függvénye a

φ(t_{1}, …, t_{k}) = Ee^{i(t_{1}ξ_{1}+···+t_{k}ξ_{k})} = ∫_{−∞}^{∞} ⋯ ∫_{−∞}^{∞} e^{i(t_{1}u_{1}+···+t_{k}u_{k})}F ( du_{1}, …, du_{k}),
− ∞ < t_{j} < ∞, 1 ≤ j ≤ k,

függvény. Adva egy F (u_{1}, …, u_{k}) k-dimenziós eloszlásfüggvény az F eloszlásfüggvény karakterisztikus függvényét is definiálni fogjuk mint egy F eloszlású ξ = (ξ_{1}, …, ξ_{k}) kdimenziós valószínűségi változó karakterisztikus függvényét. (Mivel a karakterisztikus függvényt a (ξ_{1}, …, ξ_{k}) valószínűségi változó eloszlásfüggvényének a segítségével ki lehet számolni, ezért jogunk van egy eloszlásfüggvény karakterisztikus függvényéről beszélni.)

Tétel. Legyen F (x_{1}, …, x_{k}) és G(x_{1}, …, x_{k}) két eloszlásfüggvéy, amelyek karakterisztikus függvényei megegyeznek. Ekkor F (x_{1}, …, x_{k}) = G(x_{1}, …, x_{k}) minden k-dimen-ziós (x_{1}, …, x_{k}) vektorra.

Megfogalmazom az eloszlásfüggvények és azok karakterisztikus függvényei konvergenciája közötti kapcsolatot leíró Alaptételnek nevezett állítás több-dimenziós változatát.

Az eloszlások konvergenciájáról szóló Alaptétel több-dimenziós változata. Legyen F_{n}(u_{1}, …, u_{k}), −∞ < u_{j} < ∞, 1 ≤ j ≤ k, k-dimenziós eloszlásfüggvények egy sorozata φ_{n}(t_{1}, …, t_{k}) = ∫ e^{i(t_{1}u_{1}+···+t_{k}u_{k})}F_{n}( du_{1}, …, du_{k}) karakterisztikus függvényekkel, n = 1, 2, . . .. Ha a φ_{0}(t_{1}, …, t_{k}) = lim_{n→∞} φ_{n}(t_{1}, …, t_{k}) határérték létezik minden −∞ < t_{j} < ∞, 1 ≤ j ≤ k, számra, és a φ_{0}(t_{1}, …, t_{k}) limeszfüggvény folytonos az origóban, akkor létezik olyan F_{0}(u_{1}, …, u_{k}) eloszlásfüggvény a k-dimenziós térben, amelynek a φ_{0}(t_{1}, …, t_{k}) függvény a karakterisztikus függvénye. Továbbá e feltétel teljesülése esetén az F_{n}(u_{1}, …, u_{k}) eloszlásfüggvények eloszlásban konvergálnak ehhez az F_{0}(u_{1}, …, u_{k}) eloszlásfüggvényhez.

Megfordítva, ha F_{n}(u_{1}, …, u_{k}), n = 1, 2, …, eloszlásfüggvényeknek egy olyan sorozata, amely egy F_{0}(u_{1}, …, u_{k}) eloszlásfüggvényhez konvergál eloszlásban, φ_{n}(t_{1}, …, t_{k}), n = 1, 2, …, jelöli az F_{n}(u_{1}, …, u_{k}), φ_{0}(t_{1}, …, t_{k}) pedig az F_{0}(u_{1}, …, u_{k}) eloszlásfüggvény karakterisztikus függvényét, akkor φ_{0}(t_{1}, …, t_{k}) = lim_{n→∞} φ_{n}(t_{1}, …, t_{k}) minden −∞ < t_{j} < ∞, 1 ≤ j ≤ k, számra. Továbbá, ez a konvergencia egyenletes minden véges intervallumban.

Ahhoz, hogy a fenti eredményeket használni tudjuk a több-dimenziós centrális határeloszlástétel bizonyításában ismernünk kell a több-dimenziós normális eloszlások karakterisztikus függvényeit. Erről szól a következő eredmény.

Tétel a több-dimenziós normális eloszású valószínűségi változók karakterisztikus függvényéről. Legyen η = (η_{1}, …, η_{k}) = (ξ_{1}, …, ξ_{k})A + (m_{1}, …, m_{k}) egy k-dimenziós normális eloszlású valószínűségi változó, ahol m = (m_{1}, …, m_{k}) kdimenziós (determinisztikus) vektor, A = (a_{j,l}), 1 ≤ j, l ≤ k, k × k méretű mátrix, továbbá ξ = (ξ_{1}, …, ξ_{k}) k-dimenziós standard normális eloszlású véletlen vektor. Ekkor az (η_{1}, …, η_{k}) véletlen vektor karakterisztikus függvénye a

Ee^{i(t,η)} = Ee^{i(t_{1}η_{1}+···+t_{k}η_{k})} = e^{i(t,m)−tA^{∗}At^{∗}/2} = exp \{i ∑_{j=1}^{k} t_{j}m_{j} − \frac{1}{2} ∑_{j=1}^{k} ∑_{l=1}^{k} d_{j,l}t_{j}t_{l}\}

függvény, ahol (x, y) jelöli az x = (x_{1}, …, x_{k}) és y = (y_{1}, …, y_{k}) vektorok (x, y) =

∑_{j=1}^{k} x_{j}y_{j} skalárszorzatát, t = (t_{1}, …, t_{k}), d_{j,l} az A^{∗}A kovariancia mátrixának j-ik so-

rában, és l-ik oszlopában szereplő konstans. A D = A^{∗}A mátrix megegyezik az η = (η_{1}, …, η_{k}) véletlen vektor kovariancia mátrixával.

Bizonyítás:

Ee^{i(t,η)} = Ee^{i(t,Aξ+m)} = e^{i(t,m)}Ee^{i(tA^{∗},ξ)} = e^{i(t,m)}e^{−tA^{∗}At^{∗}/2} = e^{i(t,m)−tA^{∗}At^{∗}/2},

mert, ha tA^{∗} = t̄ = (t̄_{1}, …, t̄_{k}), akkor Ee^{i(tA^{∗},ξ)} = Ee^{i(t̄_{1}ξ_{1}+···+t̄_{k}ξ_{k})} = ∏_{j=1}^{k} Ee^{it̄_{j}ξ_{j}} =

∏_{j=1}^{k} e^{−t̄_{j}^{2}/2} = e^{−(t̄,t̄)/2} = e^{−tA^{∗}At^{∗}/2}.

Az η véletlen vektor D = (d_{j,l}) kovariancia mátrixában a j-ik sor l-ik eleme d_{j,l} =

Cov (η_{j}, η_{l}) = Cov ( ∑_{p=1}^{k} a_{p,j}ξ_{p}, ∑_{q=1}^{k} a_{q,l}ξ_{q}) = ∑_{p=1}^{k} a_{p,j}a_{p,l}Eξ_{p}^{2} = ∑_{p=1}^{k} a_{p,j}a_{p,l}, és ez az A^{∗}A

mátrix j-ik sorában és l-ik oszlopában álló elem. Ezért az η véletlen vektor kovariancia mátrixa a D = A^{∗}A mátrix. Az nyílvánvaló, hogy az η véletlen vektor várható értéke m.

Következmény. Egy több-dimenziós normális eloszlású véletlen vektor eloszlását egyértelműen meghatározza annak várható érték vektora és kovariancia mátrixa.

A következmény bizonyítása. Az előző tétel alapján egy normális eloszlású véletlen vektor karakterisztikus függvényét egyértelműen meghatározza annak várható érték vektora és kovariancia mátrixa. Viszont egy eloszlást meghatároz annak karekterisztikus függvénye.

2. Kiegészítés. A χ-négyzet próbáról.

Az urnadobás eredményének aszimptotikus viselkedéséről szóló határeloszlástétel bizonyítása azon alapul, hogy egyrészt meg tudjuk adni a

\{\frac{ν_{n}(j) − np_{j}}{\sqrt{np_{j}}} , j = 1, …, k\}

véletlen vektorok határeloszlását a több-dimenziós centrális határeloszlástétel segítségével. Másrészt alkalmazhatjuk az eloszlásbeli konvergencia tulajdonságairól kimondott 1. tételt. Ennek alapján tudjuk azt, hogy ha (η_{1}^{(n)}, …, η_{k}^{(n)}) véletlen vektorok eloszlásban konvergálnak egy (η_{1}, …, η_{k}) véletlen vektorhoz n → ∞ esetén, és ha tekintünk egy f(x_{1}, …, x_{k}) folytonos k-változós függvényt, akkor az f (η_{1}^{(n)}, …, η_{k}^{(n)}), n = 1, 2, …, valószínűségi változók eloszlásban konvergálnak az f(η_{1}, …, η_{k}) valószínűségi változóhoz. Ezen eredmény az f függvény alkalmas (természetes) megválasztásával lehetővé teszi a minket érdeklő statisztikák határeloszlásának megadását. De ezzel még nem fejezzük be a tétel bizonyítását. A kapott határeloszlást alkalmas, jól áttekinthető alakban akarjuk megadni. Ez, mint látni fogjuk, bizonyos lineáris algebrai meggondolások segítségével lehetséges.

Ezt azért tudjuk megtenni, mert mint azt később megmutatom, ha (η_{1}, …, η_{k}) kdimenziós nulla várható értékű D kovarianciamátrixú normális eloszlású véletlen vektor valamilyen ismert D kovariancia mátrix-szal, akkor bizonyos alapvető lineáris algeb-

rai eredmények felhasználásával egyszerű formában megadhatjuk a ∑_{j=1}^{k} η_{j}^{2} valószínűségi

változó eloszlását.

Annak érdekében, hogy az urnadobás eredményének aszimptotikus viselkedéséről szóló tételt bebizonyítsuk, először határozzuk meg a tételben szereplő \frac{(ν_{n}(j)−np_{j})}{\sqrt{np_{j}}}, 1 ≤ j ≤ k, véletlen vektorok határeloszlását n → ∞ esetén a több-dimenziós centrális határeloszlástétel segítségével. Ennek érdekében vezessük be a következő

Z_{m} = (Z_{m}^{(1)}, …, Z_{m}^{(k)}), m = 1, 2, …, n,

véletlen vektorokat. A Z_{m} vektor Z_{m}^{(j)} koordinátája 1, és az összes többi koordinátája nulla ha az m-ik dobásban az j-ik urnába esik a golyó. Vezessük be e véletlen vektorok következő transzformáltjait is: X_{m} = (X_{m}^{(1)}, …, X_{m}^{(k)}), m = 1, 2, …, n, X_{m}^{(j)} = \frac{Z_{m}^{(j)}−p_{j}}{\sqrt{p_{j}}}, 1 ≤ m ≤ n, 1 ≤ j ≤ k. Vegyük észre, hogy a vizsgált ν_{n}(j) mennyiségek (a j-ik urnába eső golyók száma az n-ik dobás után) és a fenti X_{m} véletlen vektorok között a következő kapcsolat érvényes.

\frac{1}{\sqrt{n}} ∑_{m=1}^{n} X_{m} = (\frac{ν_{n}(1) − np_{1}}{\sqrt{np_{1}}} , …, \frac{ν_{n}(k) − np_{k}}{\sqrt{np_{k}}} ) .

Továbbá az X_{m} vektorok függetlenek és egyforma eloszlásúak, várható érték vektoruk nulla, és kovariancia mátrixukat a Cov (X_{m}^{(j)}, X_{m}^{(l)}) = −\sqrt{p_{j}p_{l}}, 1 ≤ j, l ≤ k, j ≠ l, és Var X_{m}^{(j)} = (1 − p_{j}), 1 ≤ j, l ≤ k, 1 ≤ m ≤ n, képlet adja meg. Ugyanis egyszerű számolás segítségével kapjuk, hogy EZ_{m} = (p_{1}, …, p_{k}), Cov (Z_{m}^{(j)}, Z_{m}^{(l)}) = −p_{j}p_{l}, 1 ≤ j, l ≤ k, j ≠ l, és Var Z_{m}^{(j)} = p_{j}(1 − p_{j}), 1 ≤ j, l ≤ k, 1 ≤ m ≤ n. Innen látszik, hogy

EX_{m} = 0, és Cov (X_{m}^{(j)}, X_{m}^{(l)}) = \frac{Cov (Z_{m}^{(j)},Z_{m}^{(l)})}{\sqrt{p_{j}p_{l}}} = −\sqrt{p_{j}p_{l}}, Var X_{m}^{(j)} = \frac{Var Z_{m}^{(j)}}{p_{j}} = 1−p_{j}. A

több-dimenziós centrális határeloszlástétel szerint a (\frac{ν_{n}(1)−np_{1}}{\sqrt{np_{1}}} , …, \frac{ν_{n}(k)−np_{k}}{\sqrt{np_{k}}} ) eloszlású véletlen vektorok eloszlásban konvergálnak egy nulla várható értékű és D = (d_{i,j}), d_{i,j} = −\sqrt{p_{i}p_{j}}, ha i ≠ j, d_{j,j} = 1 − p_{j} kovariancia mátrixú (η_{1}, …, η_{k}) normális vektorhoz. (A fenti érvelésből speciálisan az is következik, hogy létezik olyan normális eloszlású véletlen vektor, amelynek D a kovariancia mátrixa.)

Ezért alkalmazva az eloszlásbeli konvergencia tulajdonságairól szóló 1. tételt az

f(x_{1}, …, x_{k}) = ∑_{j=1}^{k} x_{j}^{2} folytonos függvénnyel azt kapjuk, hogy a ∑_{j=1}^{k} \frac{(ν_{n}(j)−np_{j})^{2}}{np_{j}} valószí-

nűségi változóknak van határeloszlásuk, és az megegyezik a ∑_{j=1}^{k} η_{j}^{2} valószínűségi változó

eloszlásával, ahol (η_{1}, …, η_{k}) normális eloszlású véletlen vektor nulla várható értékkel és D kovariancia mátrix-szal. Ezt a kifejezést felírhatjuk független standard normális eloszlású valószínűségi változók kvadratikus alakjában is. Ezt a kifejezést szeretnénk minél egyszerűbb, áttekinthetőbb alakban megadni. E célból hasznos belátni az alábbi lemmát.

Lemma. Legyen η = (η_{1}, …, η_{k}) k-dimenziós normális eloszlású valószínűségi változó nulla várható értékkel és D kovariancia mátrix-szal. Legyenek a D mátrix sajátértékei a

λ_{1}, …, λ_{k} számok (multiplicitással). Ekkor a ∑_{j=1}^{k} η_{j}^{2} valószínűségi változó eloszlása meg-

egyezik egy ∑_{j=1}^{k} λ_{j}ξ_{j}^{2} valószínűségi változó eloszlásával, ahol ξ_{1}, …, ξ_{k} független standard

normális eloszlású valószínűségi változók.

Bizonyítás: A D mátrix felírható D = UΛU^{∗} alakban, ahol U unitér, Λ pedig olyan diagonális mátrix, melynek átlójában a D mátrix λ_{j} sajátértékei vannak (multiplicitással). (Az U mátrix is felírható explicit módon a D mátrix sajátvektorainak segítségével, de erre a tényre most nincs szükségünk.)

Az η = (η_{1}, …, η_{k}) véletlen vektor eloszlása megegyezik egy η̄ = (η̄_{1}, …, η̄_{k}) = ξΛ^{1/2}U^{∗} = (ξ_{1}, …, ξ_{k})Λ^{1/2}U^{∗} véletlen vektor eloszlásával, ahol ξ = (ξ_{1}, …, ξ_{k}) standard normális eloszlású véletlen vektor. Valóban η̄ normális eloszlású véletlen vektor, melynek várható értéke nulla és kovariancia mátrixa a

(Λ^{1/2}U^{∗})^{∗}Λ^{1/2}U^{∗} = UΛ^{1/2}Λ^{1/2}U^{∗} = UΛU^{∗} = D

mátrix. Ezért az η és η̄ véletlen vektorok eloszlása megegyezik. Innen az is következik,

hogy a ∑_{j=1}^{k} η_{j}^{2} valószínűségi változó eloszlása megegyezik a ∑_{j=1}^{k} η̄_{j}^{2} valószínűségi változó

eloszlásával. Vegyük észre, hogy az η̃ = (η̃_{1}, …, η̃_{k}) = η̄U = (η̄_{1}, …, η̄_{k})U vektorra teljesül a ∑_{j=1}^{k} η̄_{j}^{2} = ∑_{j=1}^{k} η̃_{j}^{2} azonosság, mert U unitér, tehát távolságtartó transzformáció.

Viszont η̃ = η̄U = ξΛ^{1/2}U^{∗}U = ξΛ^{1/2}. Ez azt jelenti, hogy a ∑_{j=1}^{k} η_{j}^{2} valószínűségi változó

eloszlása megegyezik a ∑_{j=1}^{k}(λ_{j}^{1/2}ξ_{j})^{2} = ∑_{j=1}^{k} λ_{j}ξ_{j}^{2} valószínűségi változó eloszlásával, és ez

a Lemma állítása.

Az urnadobás eredményének aszimptotikus viselkedéséről szóló tétel bizonyításának a

befejezése. Tekintsük a ∑_{j=1}^{k} η_{j}^{2} valószínűségi változót, ahol (η_{1}, …, η_{k}) k-dimenziós

normális eloszlású valószínűségi változó, amelynek várható értéke nulla, és D = d_{j,l}, d_{j,l} = Cov (η_{j}, η_{l}), 1 ≤ j, l ≤ k, kovariancia mátrixát a Var η_{j} = (1 − p_{j}), 1 ≤ j, l ≤ k, és Cov (η_{j}, η_{l}) = −\sqrt{p_{j}p_{l}}, ha 1 ≤ j, l ≤ k, és j ≠ l képletek határozzák meg. Az előző lemma alapján azt kell megmutatni, hogy a fenti D kovariancia mátrixnak az 1 k − 1 multiplicitású sajátértéke (azaz k − 1 ortonormált 1 sajátértékkel rendelkező sajátvektora van) és ezenkívül még a nulla a sajátértéke 1-szeres multiplicitással.

Írjuk fel a D mátrixot D = I − B alakban, ahol I az identitás mátrix, B = (b_{i,j}), b_{i,j} = \sqrt{p_{i}}\sqrt{p_{j}}, 1 ≤ i, j ≤ k, és vegyük észre, hogy amennyiben egy B mátrixnak a sajátvektorai e_{1}, …, e_{k} vektorok, λ_{1}, …, λ_{k} sajátértékkel, akkor tetszőleges c számra az I + cB mátrix sajátvektorai ugyanazok az e_{1}, …, e_{k} vektorok 1 + cλ_{1}, …, 1 + cλ_{k} sajátértékkel. Ezt az eredményt alkalmazva c = −1 választással elegendő megtalálni a B mátrix sajátértékeit. Viszont egy B = (b_{i}b_{j}), 1 ≤ i, j ≤ k alakú mátrix egyik

sajátvektora a b = (b_{1}, …, b_{k}) vektor ∑_{j=1}^{k} b_{j}^{2} sajátértékkel, és a b vektort ortogonálisan

kiegészítő altér a B mátrix k − 1-dimenziós saját altere nulla sajátértékkel. Ez azt jelenti, hogy a nulla a B mátrix k −1 multiplicitású sajátértéke, mert B k −1-dimenziós nulla sajátértékű sajátalterének egy ortonormált bázisa k − 1 ortonormált sajátvektort biztosít nulla sajátértékkel.

Az előbb megfogalmazott állítások egyszerűen ellenőrizhetőek. Valóban egyszerű

számolás mutatja, hogy a b = (b_{1}, …, b_{k}) vektorra bB = ( ∑_{j=1}^{k} b_{j}^{2}) b, és ha valamely

c = (c_{1}, …, c_{k}) vektorra ∑_{j=1}^{k} c_{j}b_{j} = 0, akkor cB = 0, mert ebben az esetben a cB vektor

l-ik koordinátája b_{l} ∑_{j=1}^{k} c_{j}b_{j} = 0. Ez azt jelenti a b vektor ortogonális kiegészítő alterének

elemei a B mátrix sajátvekorai nulla sajátértékkel.

Jelen esetben D = I − B alakú mátrixot tekintettünk, ahol a B mátrix a fent

vizsgált alakú a b_{j} = \sqrt{p_{j}} számokkal. Ezért ∑_{j=1}^{k} b_{j}^{2} = ∑_{j=1}^{k} p_{j} = 1, és a B vektornak a

nulla k − 1-szeres az 1 pedig egyszeres multiplicitású sajátértéke. Ez azt jelenti, hogy a D = I − B mátrixnak a nulla egyszeres az 1 pedig k − 1-szeres multiplicitású gyöke, mint állítottuk.