A Valószínűségszámítás II. előadássorozat hetedik előadása. 2002. október 29.

Határeloszlástételek független vektor értékű valószínűségi változókra.

Hangsúlyoztuk, hogy a Lindeberg féle centrális határeloszlástétel nemcsak azt állította, hogy független valószínűségi változóknak a Lindeberg feltételt teljesítő sorozatának normalizáltjai eloszlásban a normális eloszláshoz konvergálnak, hanem azt is, hogy a normális határeloszlástétel a ,,helyes szórással” rendelkezik. Tanulságos lehet látni olyan példát, melyben a Lindeberg feltételt nem teljesítő, de egyenletesen kicsi független valószínűségi változók normalizált részletösszegei a normális eloszláshoz konvergálnak, de a határeloszlás szórásnégyzete kisebb, mint a szabályos esetekben. A példa helyességének bizonyítása érdekében először belátunk egy önmagában is érdekes és hasznos lemmát, melyet az irodalomban Slutsky lemmának is szokás hívni.

Slutsky lemma. Legyen adva valószínűségi változók két S_{n} és T_{n}, n = 1, 2, …, sorozata, melyekre az S_{n}, n = 1, 2, …, sorozat eloszlásban konvergál valamilyen F eloszláshoz, és a T_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál nullához, azaz P (|T_{n}| > ε) → 0 minden ε > 0 számra, ha n → ∞. Ekkor az S_{n} + T_{n}, n = 1, 2, …, sorozat szintén konvergál eloszlásban az F eloszláshoz.

A Slutsky lemma szemléletes tartalma világos. Azt mondja ki, hogy ha egy eloszlásban konvergens sorozat elemeit nagyon kicsit változatatjuk meg, akkor a konvergencia továbbra is érvényben marad.

A Slutsky lemma bizonyítása: Tekintsük az F (·) határeloszlásfüggvény egy x folytonossági pontját. Azt kell belátnuk, hogy a lim_{n→∞} P (S_{n} + T_{n} < x) = F (x) reláció is teljesül. Ennek érdekében vegyünk tetszőles ε > 0 számhoz olyan δ = δ(ε, x) > 0 számot, melyre F (x) − \frac{ε}{2} < F (x − δ) < F (x) < F (x + δ) < F (x + δ) + \frac{ε}{2}. Mivel az F (·) monoton függvénynek csak megszámlálhatóan sok szakadási pontja van, az általánosság megszorítása nélkül azt is feltehetjük, hogy az x±δ pontok folytonossági pontjai az F (·) függvénynek. A feltételek teljesülése esetén létezik olyan n_{0} = n_{0}(x, δ, ε) index, melyre P (S_{n} < x + δ) < F (x + δ) + \frac{ε}{4}, P (S_{n} > x − δ) < 1 − F (x − δ) + \frac{ε}{4}, és P (|T_{n}| ≥ δ) < \frac{ε}{4}, ha n ≥ n_{0}. Ekkor

P (S_{n} + T_{n} < x) ≤ P (S_{n} < x + δ) + P (|T_{n}| ≥ δ) < F (x + δ) + \frac{ε}{2} < F (x) + ε,

ha n ≥ n_{0}(ε, δ), mert {ω: S_{n}(ω)+T_{n}(ω) < x} ⊂ {ω: S_{n}(ω) < x+δ}∪{ω: |T_{n}(ω)| ≥ δ}. Hasonlóan kapjuk, hogy

P (S_{n} + T_{n} ≥ x) < P (S_{n} ≥ x − δ) + P (|T_{n}| ≥ δ) < 1 − F (x) + ε,

ha n ≥ n_{0}(ε, δ), mert {ω: S_{n}(ω) ≥ x} ⊂ {ω: S_{n}(ω)+T_{n}(ω) ≥ x−δ}∪{ω: |T_{n}(ω)| ≥ δ}. Az első egyenlőtleségből következik, hogy lim sup_{n→∞} P (S_{n} + T_{n} < x) < F (x) + ε, a

második egyenlőtlenségből pedig az, hogy lim inf_{n→∞} P (S_{n} + T_{n} < x) > F (x) − ε. Mivel ezek az egyenlőtlenségek tetszőleges ε > 0 számra igazak, innen következik a Slutsky lemma.

Most rátérünk a kívánt tulajdonságú példa ismertetésére.

1. Példa: Legyen ξ_{n}, n = 1, 2, …, független valószínűségi változókból álló soroza-

tot, melyek elemeinek eloszlása a következő: P (ξ_{n} = n) = P (ξ_{n} = −n) = \frac{1}{4n^{2}} ,

P (ξ_{n} = 1) = P (ξ_{n} = −1) = \frac{1}{4}, és P (ξ_{n} = 0) = \frac{1}{2} − \frac{1}{2n^{2}} , n = 1, 2, . . .. Ekkor

Eξ_{n} = 0, Eξ_{n}^{2} = 1. Azt állítjuk, hogy az S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, részletösszegek

\frac{1}{\sqrt{n}}S_{n}, n = 1, 2, …, normalizáltjai eloszlásban konvergálnak egy nulla várható értékű, \frac{1}{2} szórásnégyzetű normális valószínűségi változóhoz.

Az 1. Példa igazolása: Vezessük be az X_{n} = ξ_{n}I(|ξ_{n}| ≤ 2), és Y_{n} = ξ_{n}I(|ξ_{n}| > 2) valószínűségi változókat, ahol I(A) jelöli az A halmaz indikátorfüggvényét, és vezessük

be az S̄_{n} = ∑_{k=1}^{n} X_{k} és T_{n} = ∑_{k=1}^{n} Y_{k}, n = 1, 2, …, részletösszegeket. Ekkor \frac{1}{\sqrt{n}} S̄_{n} sorozat

eloszlásban konvergál a nulla várható értékű és \frac{1}{2} szórásnégyzetű normális eloszláshoz,

mert EX_{n} = 0, EX_{n}^{2} = \frac{1}{2}, s_{n}^{2} = ∑_{k=1}^{n} EX_{k}^{2} = \frac{n}{2}, és az X_{n}, n = 1, 2, …, valószínűségi

változók teljesítik a Lindeberg feltételt, hiszen ∑_{k=1}^{n} EX_{k}^{2}I(|X_{k}| ≥ εs_{n}) = 0, ha n ≥

n_{0}(ε). Másrészt a \frac{1}{\sqrt{n}}T_{n} kifejezések sztochasztikusan konvergálnak nullához, ha n →

∞. Ez látható, ha észrevesszük, hogy ∑_{k=1}^{∞} P (Y_{k} ≠ 0) < ∞, ezért a Borel–Cantelli

lemma alapján egy valószínűséggel csak véges sok Y_{k}(ω) nem egyenlő nullával, és ezért

∑_{k=1}^{∞} |Y_{k}(ω)| ≤ K(ω). Innen következik, hogy majdnem minden ω ∈ Ω pontban |T_{n}(ω)| ≤

K(ω) minden n = 1, 2, … számra, ahol a jobboldalon szereplő becslés függhet az ω elemi eseménytől, de nem függ az n indextől. A Slutsky lemmából, az \frac{1}{\sqrt{n}}S_{n} = \frac{1}{\sqrt{n}} S̄_{n} + \frac{1}{\sqrt{n}}T_{n} azonosságból és a következik, hogy az \frac{1}{\sqrt{n}}S_{n} és a \frac{1}{\sqrt{n}}T_{n} sorozat sztochasztikus konvergeniájából nullához következik, hogy a \frac{1}{\sqrt{n}}S_{n} és \frac{1}{\sqrt{n}} S̄_{n} sorozatoknak ugyanaz a határeloszlásuk, ezért igaz a példában megfogalmazott állítás.

Jegyezzük meg azt is, hogy a példában szereplő ξ_{k} valószínűségi változók teljesítik az egyenletes kicsiség feltételét, de nem teljesítik a Lindeberg feltételt. Valóban, Eξ_{k}^{2} =

1, s_{n}^{2} = ∑_{k=1}^{n} Eξ_{k}^{2} = n, ezért lim_{n→∞} sup_{1≤k≤n} \frac{Eξ_{k}^{2}}{s_{n}^{2}} = 0, azaz az egyenletes kicsiség feltétele

teljesül. Másrészt lim_{n→∞} ∑_{k=1}^{n} Eξ_{k}^{2}I(|ξ_{k}| > εs_{n}) = lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} EY_{k}^{2} = \frac{1}{2}, tehát a Lindeberg

feltétel ebben a példában nem teljesül.

Az egyforma eloszlású független valószínűségi változók normálizált összegeiről szóló centrális határeloszlástételben feltettük, hogy az összeadandóknak van véges második momentumuk. Ez természetes feltétel, mégis érdekes lehet megmutatni, hogy lehetséges olyan eset is, amikor végtelen szórásnégyzetű független, egyforma eloszlású valószínűségi vátltozók alkalmasan normalizált részletösszegei is konvergálnak eloszlásban a normális eloszláshoz. Ennek lehetőségét mutatjuk meg a következő példában, amelyik mögött hasonló gondolat van, mint az első példában.

2. Példa: Legyen ξ_{1}, ξ_{2}, … független egyforma eloszlású valószínűségi változók sorozata, mely sorozat tagjainak létezik sűrűségfüggvénye, és azt az f(x) = \frac{1}{|x|^{3}} , ha |x| ≥ 1, f(x) = 0, ha −1 < x < 1 képlet adja meg. Ekkor Eξ_{1} = 0, Eξ_{1}^{2} = ∫_{x: |x|≥1} x^{2} \frac{1}{|x|^{3}} dx =

∞. Továbbá az S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, részletösszegek \frac{1}{\sqrt{n log n}}S_{n} normalizáltjai

eloszlásban konvergálnak a standard normális eloszláshoz.

Az 2. Példa igazolása: Definiáljuk minden n = 1, 2, … számra az η_{k,n} = ξ_{k}I(|ξ_{k}| ≤ \sqrt{n log log n}) és az ζ_{k,n} = ξ_{k}I(|ξ_{k}| > \sqrt{n log log n}), 1 ≤ k ≤ n valószínűségi változókat,

valmint ezek S̄_{n} = ∑_{k=1}^{n} η_{k,n} és T_{n} = ∑_{k=1}^{n} ζ_{k,n} összegeit. Ekkor

\frac{1}{\sqrt{n log n}}S_{n} = \frac{1}{\sqrt{n log n}}S̄_{n} + \frac{1}{\sqrt{n log n}}T_{n}

ezért a Slutsky lemma alapján elegendő belátni, hogy a \frac{1}{\sqrt{n log n}} S̄_{n} valószínűségi változók

eloszlásban konvergálnak a standard normális eloszláshoz, és a \frac{1}{\sqrt{n log n}}T_{n} valószínűsé-

gi váltózók sztochasztikusan konvergálnak nullához. Az első állítás igazolásához azt kell megmutatni, hogy a ξ̄_{k,n} = \frac{ξ_{k,n}}{\sqrt{n log n}}, 1 ≤ k ≤ n, szériasorozatra alkalmazhatjuk a

centrális határeloszlástételt. Ehhez vegyük észre, hogy Eξ̄_{k,n} = 0,

Eξ̄_{k,n}^{2} = ∫_{x: 1≤|x|≤\sqrt{n log log n}} \frac{x^{2}}{n log n} \frac{1}{|x|^{3}} dx = \frac{2 log \sqrt{(n log log n)}}{n log n} = \frac{log(n log log n)}{n log n},

ahonnan ∑_{k=1}^{n} Eξ̄_{k,n}^{2} = \frac{log n+log log log n}{log n} → 1, ha n → ∞. Ezért elég ellenőrizni, hogy a

ξ̄_{k,n} valószínűségi változók teljesítik a Lindeberg feltételt, azaz minden ε > 0 számra

∑_{k=1}^{n} Eξ̄_{k,n}^{2}I(|ξ̄_{k,n}| > ε) = n ∫_{x: ε\sqrt{n log n}<|x|<\sqrt{n log log n}} \frac{x^{2}}{n log n|x|^{3}} dx → 0 ha x → ∞.

Ez az állítás viszont igaz, mivel elég nagy n-re az \{x: ε\sqrt{n log n} < |x| < \sqrt{n log log n}\} integrálási tartomány az üres halmaz, ezért a tekintett integrál nulla.

Be kell még látnunk, hogy a \frac{1}{\sqrt{n log n}}T_{n} valószínűségi változók sorozata sztochasz-

tikusan nullához tart, azaz lim_{n→∞} P (|\frac{1}{\sqrt{n log n}}T_{n}| > ε) = 0 minden ε > 0 számra.

Belátjuk, hogy az erősebb lim_{n→∞} P (T_{n} ≠ 0) = 0 reláció is teljesül. Valóban,

P (T_{n} ≠ 0) ≤ ∑_{k=0}^{n} P (ζ_{k,n} ≠ 0) = n ∫_{x: |x|>\sqrt{n log log n}} \frac{dx}{|x|^{3}} = \frac{1}{log log n} → 0 ha n → ∞.

Láttuk, hogy a határeloszlás szórásnégyzete lehet kisebb, mint az eloszlások szórásnégyzetének a limesze. Felmerül a kérdés, hogy lehet-e nagyobb. A válasz erre a kérdésre nemleges, és ezt mondja ki az alábbi lemma.

Lemma. Konvergáljon F_{n} eloszlásfüggvények egy sorozata egy F eloszlásfüggvényhez. Ekkor lim inf_{n→∞} ∫ x^{2}F_{n}( dx) ≥ ∫ x^{2}F ( dx). Általánosabban, ha g(x) tetszőleges folytonos, nem negatív (de nem feltétlenül korlátos függvény), akkor

lim inf_{n→∞} ∫ g(x)F_{n}( dx) ≥ ∫ g(x)F ( dx).

A lemma bizonyítása. Először tekintsük azt az esetet, amikor ∫ g(x)F ( dx) < ∞. Ekkor tetszőleges ε > 0 számhoz létezik olyan K = K(ε) > 0 szám, melyre a g_{K}(x) = min(K, g(x)) korlátos és folytonos függvény teljesíti az ∫ g_{K}(x)F ( dx) ≥ ∫ g(x)F ( dx)−ε relációt. Ezért az F_{n} eloszlásfüggvények gyenge konvergenciájából az F eloszlásfüggvényhez következik, hogy

lim inf_{n→∞} ∫ g(x)F_{n}( dx) ≥ lim_{n→∞} ∫ g_{K}(x)F_{n}( dx) = ∫ g_{K}(x)F ( dx) ≥ ∫ g(x)F ( dx) − ε,

és mivel ez az egyenlőtlenség minden ε > 0 számra érvényes, innen következik a Lemma állítása ebben az esetben.

Ha ∫ g(x)F ( dx) = ∞ akkor tetszőleges L > 0 számhoz létezik olyan K = K(L) > 0 szám, melyre a g_{K}(x) = min(K, g(x)) korlátos és folytonos függvény teljesíti az ∫ g_{K}(x)F ( dx) ≥ L relációt. Ezért az F_{n} eloszlásfüggvények gyenge konvergenciájából az F eloszlásfügggvényhez következik, hogy

lim inf_{n→∞} ∫ g(x)F_{n}( dx) ≥ lim_{n→∞} ∫ g_{K}(x)F_{n}( dx) = ∫ g_{K}(x)F ( dx) ≥ L,

és mivel ez az állítás minden L > 0 számra érvényes, a Lemma állítása ebben az esetben is érvényes.

Megjegyzés: Az előző Lemma mutat némi hasonlóságot a mértékelméletben tanult Fatou lemmával, melyet ismertettem az ötödik előadás kiegészítésében. A két állítás bizonyítása is nagyon hasonló.

A fenti példák mutatják, hogy a centrális határeloszlástétel megfogalmazásában szereplő feltételek fontosak. Ezek nem teljesülése esetén másfajta jelenségek is felléphetnek. Természetes módon felmerült az az igény az elméletben, hogy adjunk teljes képet arról, hogy mikor lehetséges az, hogy független valószínűségi változók normalizált részletösszegei eloszlásban normális eloszláshoz konvergálnak, de a normálás lehet szokatlan is. Erről a problémáról sok érdekes és tartalmas eredményt bizonyítottak, de ezzel mi nem fogunk foglalkozni. Gyakorlati szempontból ugyanis csak a korábban tárgyalt eredmények fontosak, az itt tárgyalt eredmények csak nagyon speciális esetekben jelennek meg.

Érdemes megemlíteni, hogy az említett példákban a váratlan jelenségek oka az volt, hogy egy kis halmazon a valószínűségi változók nagyon nagy értéket vettek fel, ami alig befolyásolta összegeik eloszlását. Ezt a tényt a Slutsky lemma segítségével tudtuk megmutatni. Viszont egy kis halmazon felvett nagy értékek nagyon megváltoztatták a momentumokat. Minden szokatlan normálással érvényes határeloszlástétel hátterében ilyen jelenség van. Sőt, mint látni fogjuk a valószínűségszámítás egyéb problémáiban, mint például a később tárgyalandó nagy számok törvényének problémájában is hasonló problémák jelennek meg.

Határeloszlástételek vizsgálata vektorértékű független valószínűségi változók normalizált összegeire.

Tekintsük a következő két problémát

a.) Egy pénzdarabról el akarjuk dönteni, hogy szabályos-e. Ennek érdekében a pénzdarabot sokszor egymástól függetlenül feldobjuk, és feljegyezzük a kisérletek eredményét. Milyen eredménysorozat esetén tekinthetjük a pénzdarabot szabályosnak?

b.) Egy dobókockáról el akarjuk dönteni, hogy szabályos-e. Ennek érdekében a dobókockát sokszor egymástól függetlenül feldobjuk, és feljegyezzük a kisérletek eredményét. Milyen eredménysorozat esetén tekinthetjük a dobókockát szabályosnak?

Természetes úgy dönteni, hogy a pénzdarabot akkor tekintjük szabályosnak, ha a dobások körülbelül fele feje körülbelül fele pedig írásdobás. Hasonlóan, a dobókockát akkor tekintjük szabályosnak, ha mindegyik dobáseredmény az összes dobás körülbelül egyhatodában következik be. De mit jelent a ,,körülbelül” szó ezekben az állításokban?

Az a) probléma esetében a centrális határeloszlástétel segítségével adhatunk pontosabb választ erre a kérdésre. Végezzünk összesen n kisérletet, és legyen S_{n} a fedobások

számát, akkor \frac{S_{n} − \frac{n}{2}}{\frac{\sqrt{n}}{2}} a centrális határeloszlástétel következtében közel normális va-

lószínűségi változó. Valóban vezessük be a következő ξ_{k}, 1 ≤ k ≤ n, valószínűségi változókat: ξ_{k} = 1, ha a k-ik dobás eredménye fej, ξ_{k} = 0, ha a k-ik dobás eredménye

írás. Ekkor S_{n} = ∑_{k=1}^{n} ξ_{k}, Eξ_{k} = \frac{1}{2}, Var ξ_{k} = \frac{1}{4}, továbbá a ξ_{k} valószínűségi változók

függetlenek. Ezért a centrális határeloszlástételből következik a megfogalmazott eredmény. Ennek segítségével kidolgozhatunk egy természetes stratégiát. Természetesen nem adhatunk olyan eljárást, amelyik biztosan helyes döntést ad. Próbáljunk olyan döntést hozni, amelyik egy szabályos pénzdarabot 0.9 valószínűséggel szabályosnak minősít. Természetes eljárás a következő: Keressük ki egy nomális eloszlástáblázat segítségével azt az x számot, melyre Φ(x) − Φ(−x) = 0.9, ahol Φ(x) jelöli a standard normális eloszlást. Ezután tekintsük a pénzdarabot szabályosnak, ha −\frac{1}{2} \sqrt{n}x ≤ S_{n} − \frac{n}{2} ≤ \frac{1}{2} \sqrt{n}x, ellenkező esetben pedig tekintsük a pénzdarabot szabálytalannak.

Lehet-e hasonló módszet megadni a b) feladat megoldására? A válasz erre a kérdésre igenlő, de ennek kidolgozásához be kell bizonyítani a centrális határeloszlástétel több-dimenziós változatát. Legyen ugyanis S_{n} = (S_{n}^{(1)}, S_{n}^{(2)}, S_{n}^{(3)}, S_{n}^{(4)}, S_{n}^{(5)}, S_{n}^{(6)}) az 1es, 2-es, 3-as, 4-es, 5-ös és 6-os eredményű dobások száma, akkor ha n dobást hajtunk végre. A később tárgyalandó több-dimenziós centrális határeloszlástételben ezen véletlen vektor alkalmas normalizáltjának az aszimptotikus eloszlására kivánunk eredményt kapni. Vezessük be ξ^{(k)} = (ξ_{1}^{(k)}, ξ_{2}^{(k)}, ξ_{3}^{(k)}, ξ_{4}^{(k)}, ξ_{5}^{(k)}, ξ_{6}^{(k)}) valószínűségi változót, amelyiknek a j-ik koordinátája 1, ha a k-ik dobás eredménye j, és ebben az esetben az összes többi koordináta nulla. A ξ^{(k)} vektor azt méri, hogy a k-ik dobásnak mennyi

a hozadéka különböző dobáseredmények számához, ezért S_{n} = ∑_{k=1}^{n} ξ^{(k)}. Ez azt jelenti,

hogy a vizsgálandó S_{n} véletlen vektor előállítható, mint független véletlen vektorok összege. Ezért természetes azt vizsgálni, hogy a klasszikus centrális határeloszlástételt hogyan lehet általánosítani véletlen vektorokra. Mint a b) példa mutatja, egy ilyen eredmény hasznos lehet természetes gyakorlati problémák megoldásában is. Megjegyezzük, hogy a b) problémához hasonlóan tárgyalható az alábbi c) probléma:

c) Legyen adva k urna, és ezekbe egymástól függetlenül bedobunk n golyót egymástól függetlenül, amelyek ugyanolyan valószínűséggel esnek az egyes urnákba. Próbáljuk meg ellenőrízni azt, hogy igaz-e, hogy a golyók az egyes urnákba p_{1}, …, p_{k} valószínűséggel esnek. (Feltesszük, hogy az elvégzett kisérletek n száma nagyon nagy.)

Annak érdekében, hogy a több-dimenziós centrális határeloszlástételt bebizonyítsuk bizonyos eredményeknek és fogalmaknak ki kell dolgozni a több-dimenziós megfelelőjét, így definiálnunk kell több-dimenziós eloszlások konvergenciáját es a karakterisztikus függvények több-dimenziós megfelelőjét. Ezután be lehet bizonyítani azt, hogy a többdimenziós eloszlásokat is meghatározza azok karakterisztikus függvénye, és igaz az eloszlások konvergenciájank elaptételeként elnevezett eredmény több-dimenziós változata. Ezeket az eredményeket meg fogjuk fogalmazni, de a bizonyítások részleteit, melyek lényegében az egy-dimenziós esetben tárgyalt bizonyítások természetes módosításából állnak, elhagyjuk. Ezek az eredméyek lehetővé teszik, hogy a több-dimenziós centrális határeloszlástételt annak egy-dimenziós változatához hasonlóan bizonyítsuk be. Sőt, valójában a helyzet még ennél is egyszerúbb. Meg lehet mutatni, hogy a több-dimenziós centrális-határeloszlástétel közvetlen módon visszavezethető az egy-dimenziós esetre.

A fenti állítások részletesebb megtárgyalása lesz a következő programunk. De mielőtt ehhez hozzákezdenénk, megtárgyaljuk az egy-dimenziós valószínűségi változók vizsgálatában fontos szerepet játszó várható érték és szórásnégyzet fogalmának a többdimenziós megfelelőit, a több-dimenziós várható érték és a kovarianciamátrix fogalmát. Ez utóbbi vizsgálatában fontos szerepet játszanak bizonyos alapvető lineáris algebrai ismeretek, mindenekelőtt a szimmetrikus mátrixok tulajdonságai, és azok úgynevezett főtengely transzformációja.

Több-dimenziós valószínűségi változók várható értéke és kovariancia mátrixa valamint azok legfontosabb tulajdonságai.

Előszöris ismertetem a tárgyalandó fogalmak definicióját.

Több-dimenziós valószínűségi változó várható értékének és kovariancia mátrixának a definiciója. Legyen Z = (Z_{1}, …, Z_{k}) k-dimenziós véletlen vektor. E véletlen vektor várható értéke az EZ = (EZ_{1}, …, EZ_{k}) k-dimenziós vektor, feltéve, hogy mindegyik EZ_{j}, 1 ≤ j ≤ k várható érték létezik.

Tegyük fel továbbá, hogy a Z = (Z_{1}, …, Z_{k}) véletlen vektor minden koordinátája teljesíti az EZ_{j}^{2} < ∞, 1 ≤ j ≤ k, feltételt. Ekkor definiáljuk e véletlen vektor kovariancia mátrixát is, és az a D = (d_{j,l}), 1 ≤ j, l ≤ k, k × k méretű mátrix, mely mátrix j-ik sorában és l-ik oszlopában lévő elem a d_{j,l} = Cov (Z_{j}, Z_{l}) = EZ_{j}Z_{l} − EZ_{j}EZ_{l} szám.

Megfogalmazom meg a vektorértékű valószínűségi változók várható értékének és kovariancia mátrixának néhány fontos tulajdonságát.

1. Tétel. Legyenek Z^{(j)} = (Z_{1}^{(j)}, …, Z_{k}^{(j)}), 1 ≤ j ≤ n, véletlen k-dimenziós vektorok

ugyanazon az (Ω, A, P) valószínűségi mezőn. Ekkor a Z^{(1)} + ⋯ + Z^{(n)} összeg várható értéke megegyezik a Z^{(j)} vektorok várható értékeinek az összegével, azaz

E (Z^{(1)} + ⋯ + Z^{(n)}) = EZ^{(1)} + ⋯ + EZ^{(n)}.

Ha egy Z = (Z_{1}, …, Z_{k}), véletlen vektor várható értéke M = (M_{1}, …, M_{k}), a tetszőleges valós szám, x = (x_{1}, …, x_{k}) tetszőleges k-dimenziós vektor, akkor E(Z + x) = EZ + x, a Z + x akkor aZ = (aZ_{1}, …, aZ_{k}), véletlen vektor várható értéke aM, és E(Z + x) = EZ + x.

Ez az állítás következménye az egy-dimenziós valószínűségi változók várható értékéről tanult eredményeknek.

2. Tétel. Ha az 1. Tételben szereplő Z^{(j)}, 1 ≤ j ≤ n, véletlen vektorok függetlenek, vagy általánosabban a különböző vektorok koordinátái korrelálatlanok, ami azt jelenti, hogy Cov (Z_{l}^{(i)}Z_{l}^{(i′)}) = 0, ha i ≠ i′, 1 ≤ j, l ≤ k, akkor a kovariancia mátrix is additív. Részletesebben megfogalmazva: Ha a Z^{(j)} mátrix kovariancia mátrixa a D_{j} mátrix, 1 ≤ j ≤ n, akkor a Z^{(1)} + ⋯ + Z^{(n)} véletlen összeg kovariancia mátrixa a D_{1} + ⋯ + D_{n} mátrix. Ha egy Z = (Z_{1}, …, Z_{k}), véletlen vektor kovariancia mátrixa a D k × k méretű mátrix, a tetszőleges valós szám, akkor az aZ = (aZ_{1}, …, aZ_{k}), kovariancia mátrixa az a^{2}D kovariancia mátrix. Továbbá, ha x = (x_{1}, …, x_{k}) tetszőleges k-dimenziós vektor, akkor a Z +x vektor kovariancia mátrixa megegyezik a Z vektor kovariancia mátrixával.

A 2. Tétel is egyszerű következménye az egy-dimenziós valószínűségi változók várható értékének számításaról szóló állításoknak. Lássuk például azt, hogyan lehet kiszámítanai az összeg kovarianciamátrixának egy elemét

Cov (Z_{j}^{(1)} + ⋯ + Z_{j}^{(n)}, Z_{l}^{(1)} + ⋯ + Z_{l}^{(n)}) = ∑_{i=1}^{n} ∑_{i′=1}^{n} EZ_{j}^{(i)}Z_{l}^{(i′)} − ∑_{i=1}^{n} ∑_{i′=1}^{n} EZ_{j}^{(i)}EZ_{l}^{(i′)}

= ∑_{i=1}^{n} Cov (Z_{j}^{(i)}Z_{l}^{(i)}) + ∑_{1≤i,i′≤n, i≠i′} Cov (Z_{j}^{(i)}Z_{l}^{(i′)}).

Viszont a jobboldalon szereplő második tag nulla a Cov (Z_{l}^{(i)}Z_{l}^{(i′)}) = 0, ha i ≠ i′, 1 ≤ j, l ≤ k, feltétel miatt, az első tag pedig megegyezik a D_{1} + ⋯ + D_{n} mátrix jik sorában és l-ik oszlopában szereplő taggal. A Tétel többi állításának a bizonyítása egyszerűbb.

Meg akarjuk adni, hogy milyen mátrixok jelenhetnek meg, mint alkalmas véletlen vektor kovariancia mátrixa. Ennek a kérdésnek a vizsgálatában fel kell használnunk a lineáris algebra néhány alapvető fogalmát és eredményét. Először idézzük fel a következő lineáris algebrai fogalmat.

Szimmetrikus és pozitív (szemi)definit mátrixok definiciója. Legyen D = (d_{j,l}) egy k × k méretű mátrix. Azt mondjuk, hogy a D mátrix szimmetrikus, ha minden 1 ≤ j, l ≤ k indexre d_{j,l} = d_{l,j}. (Pontosabban azt követeljük meg, ha nemcsak valós, hanem általános komplex értékű elemekkel rendelkező mátrixokat is tekintünk, ami ebben az előadásban nem fog előfordulni), hogy d_{j,l} = d̄_{l,j}, ahol z̄ a z komplex szám konjugáltja, azaz, ha z = a + ib, akkor z̄ = a − ib.) Egy k × k méretű szimmetrikus D = (d_{j,l}) mátrix pozitív szemidefinit, ha minden x = (x_{1}, …, x_{k}) k-dimenziós vektorra xDx^{∗} =

∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}d_{j,l}x_{l} ≥ 0 és (szigorúan) pozitív definit, ha a xDx^{∗} = ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}d_{j,l}x_{l} > 0

szigorú egyenlőtlenség is teljesül minden (x_{1}, …, x_{k}) ≠ (0, …, 0) vektorra. (Ebben a formulában x^{∗} jelöli az x vektor transzponáltját, azaz azt az oszlopvektort, melynek fölülről számíva l-ik eleme megegyezik az x vektor balról számított l-ik elemével. Ekkor xDx^{∗} a szokásos vektor és mátrix szorzást jelöli.)

Szükséges lesz a szimmetrikus mátrixok egyszerű reprezentációját és a pozitív szemidefinit mátrixok jellemzését. Ez az eredmény mártixok úgynevezett főtengelytranszformációinak megadása. Ennek az elnevezésnek az okáról a tétel után egy megjegyzésben írok. A tétel kimondása előtt idézzük fel az unitér mátrixok definicióját és legfontosabb fogalmait.

Egy U k×k méretű négyzetes mátrixot unitérnek nevezünk, ha teljesül az UU^{∗} = I azonosság, ahol I az identitás mátrix. Ez az azonosság akkor és csak akkor teljesül, ha érvényes az U^{∗}U = I azonosság. Az unitér mátrixok más ekvivelens jellemzése az, hogy sorai (és egyben az oszlopai is) ortonormált vektorok. Érdemes felidézni az unitér mátrixok geometriai tartalmát is. Egy U mátrix akkor és csak akkor unitér, ha az általa meghatározott transzformáció távolság (és ezért egyben szögtartó) transzformáció.

Szimmetrikus mátrixok főtengelytranszformációjáról szóló tétel. Egy A szimmetrikus mátrix felírható A = UΛU^{∗} alakban, ahol U unitér, Λ pedig diagonális mátrix.

Egy k × k méretű szimmetrikus A mátrix A = UΛU^{∗} előállítását meg lehet adni a következő módon: Létezik az A mátrixnak k ortonormált u_{1}, …, u_{k} sajátvektora λ_{1}, …, λ_{k} sajátértékekkel, azaz olyan vektorok és számok melyekre teljesül az u_{j}A = λ_{j}u_{j}, 1 ≤ j ≤ k, azonosság. Ekkor az U mátrixot megadhatjuk, mint azt a mátrixot, melynek j-ik oszlopa az u_{j}^{∗} oszlopvektor, a Λ mátrix pedig ebben az esetben az a diagonális mátrix, melynek j-ik sorában és j-ik oszlopában a λ_{j} szám áll.

Egy A mátrix akkor és csak akkor pozitív szemidefinit, ha minden sajátértéke nem negatív, és akkor (szigorúan) pozitív definit, ha összes sajátértéke pozitív.

Megjegyzés: A főtengelytranszformációnak szemléletes tartalma a következő. Egy A mátrixnak (egy rögzített ortonormált bázis esetén) megfelel egy lineáris transzformáció. Ha a mátrix szimmetrikus, (amelyik tulajdonság megfogalmazható a neki megfelelő A lineáris transzformáció segítségével is, mint az (xA, y) = (yA, x) azonosság), akkor létezik olyan ortonormált bázis, melyben az A mátrixnak megfelelő transzfomáció diagonális. Az erre a koordinátarendszerre való áttérést nevezik főtengelytranszformációnak. A tételben megfogalmazott eredmény tulajdonképpen azt írja le, hogy a transzformációnak ez a ,,szép” koordinátarendszerben megadott diagonális alakja hogyan látszik az eredeti koordinátarendszerben.

Ezután a lineáris algebrai előkészíts után meg tudjuk fogalmazni és be tudjuk bizonyítani a kovarianciamátrixok jellemzését kimondó tételt.

Tétel a kovariancia mátrixok jellemzéséről. Legyen Z = (Z_{1}, …, Z_{k}) egy kdimenziós véletlen vektor. Ekkor a Z vektor kovariancia mátrixa szimmetrikus és pozitív szemidefinit mátrix. Megfordítva, tetszőleges D szimmetrikus, pozitív szemidefinit mátrixhoz létezik olyan Z = (Z_{1}, …, Z_{k}) véletlen vektor, melynek ez a D mátrix a kovariancia mátrixa. Sőt igaz a következő tartalmasabb állítás is: Legyen Y = (Y_{1}, …, Y_{k}) olyan véletlen vektor, melynek a kovariancia mátrixa az identitás mátrix, azaz Var Y_{j} = 1, 1 ≤ j ≤ k, Cov (Y_{j}, Y_{l}) = 0, ha 1 ≤ j, l ≤ k, és j ≠ l. (Ez a helyzet például akkor, ha az Y_{j}, 1 ≤ j ≤ k valószínűségi változók függetlenek, és Var Y_{j} = 1.) Ekkor létezik olyan A = (a_{j,l}) k ×k méretű mátrix, melyre igaz, hogy a Z = (Z_{1}, …, Z_{k}) = (Y_{1}, …, Y_{k})A =

( ∑_{p=1}^{k} a_{1,p}Y_{p}, …, ∑_{p=1}^{k} a_{k,p}Y_{p}) véletlen vektor kovariancia mátrixa a D mátrix.

A bizonyítás felhasználja a következő lineáris algebrai eredményt.

Tétel a lineáris algebrából. Legyen D pozitív szemidefinit mátrix. Ekkor létezik olyan A mátrix, melyre érvényes a D = A^{∗}A azonosság, ahol A^{∗} az A mátrix transzponáltját jelöli. Sőt, azt is feltehetjük, hogy az A mátrix önadjungált és pozitív szemidefinit.

A tétel bizonyítása a lineáris algebráról kimondott tétel segítségével. Tekintsünk először egy Z = (Z_{1}, …, Z_{k}) egy k-dimenziós véletlen vektort és annak D = (d_{j,l}), d_{j,l} = Cov (Z_{j}, Z_{l}), 1 ≤ j, l ≤ k, kovariancia mátrixát. Ekkor D szimmetrikus mátrix, mert d_{j,l} = d_{l,j}, azaz Cov (Z_{j}, Z_{l}) = Cov (Z_{l}, Z_{j}). Másrészt tetszőleges x = (x_{1}, …, x_{k}) k-dimenziós vektorra Var ( ∑_{j=1}^{k} x_{j}Z_{j}) ≥ 0. Ezenkívül

Var (∑_{j=1}^{k} x_{j}Z_{j}) = ∑_{j=1}^{k} ∑_{l=1}^{k} E (x_{j}x_{l}(Z_{j}Z_{l} − EZ_{j}EZ_{l})) = ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}x_{l}Cov (Z_{j}, Z_{l})

= ∑_{j=1}^{k} ∑_{l=1}^{k} x_{j}x_{l}d_{j,l} = xDx^{∗}.

Innen következik, hogy xDx^{∗} ≥ 0 tetszőleges x = (x_{1}, …, x_{k}) k-dimenziós vektorra, azaz D szimmetrikus pozitív szemidefinit mátrix.

Megfordítva, legyen D pozitív szemidefinit mátrix, és Y = (Y_{1}, …, Y_{k}) olyan véletlen vektor, melynek a kovariancia mátrixa az identitás mátrix, azaz Var Y_{j} = 1, 1 ≤ j ≤ k, Cov (Y_{j}, Y_{l}) = 0, ha 1 ≤ j, l ≤ k, és j ≠ l. A kimondott lineáris algebrai eredmény szerint létezik olyan A = (a_{j,l}), 1 ≤ j, l ≤ k k × k méretű mátrix, melyre D = A^{∗}A. Azt állítom, hogy a Z = (Z_{1}, …, Z_{k}) = Y A, azaz a Z = (Z_{1}, …, Z_{k}), Z_{j} =

∑_{p=1}^{k} a_{p,j}Y_{p}, 1 ≤ j ≤ k, véletlen vektor kovariancia mátrixa a D mátrix. Innen következik

a feladat második állítása is. Ennek az azonosságnak a bizonyítása érdekében számoljuk ki a Cov (Z_{j}, Z_{l}), 1 ≤ j, l ≤ k, kovarianciákat. Azt kapjuk, hogy Cov (Z_{j}, Z_{l}) =

Cov ( ∑_{p=1}^{k} a_{p,j}Y_{p}, ∑_{q=1}^{k} a_{q,l}Y_{q}), ezért Cov (Z_{j}, Z_{l}) = ∑_{p=1}^{k} ∑_{q=1}^{k} a_{p,j}a_{q,l}Cov (Y_{p}, Y_{q}), ahonnan

mivel Cov (Y_{p}, Y_{q}) = 0, ha p ≠ q, és Cov (Y_{p}, Y_{p}) = 1, Cov (Z_{j}, Z_{l}) = ∑_{p=1}^{k} a_{p,j}a_{p,l} = d_{j,l},

ahol d_{j,l} a D = A^{∗}A mátrix j-ik sorában és l-ik oszlopában szereplő konstans. Ezt kelllett bebizonyítanunk

A felhasznált lineáris algebrai tétel bizonyítása. Írjuk fel az D mátrixot D = UΛU^{∗} alakban, ahol U unitér, Λ pedig diagonális mátrix. Az, hogy az D mátrix pozitív szemidefinit azt jelenti, hogy a Λ diagonális mátrix λ_{j}, 1 ≤ j ≤ k, elemei nem negatívak. Ezért létezik az \sqrt{Λ} diagonális mátrix, melynek j-ik sorának j-ik oszlopában a \sqrt{λ_{j}} elem áll. Definiáljuk az A = U\sqrt{Λ}U^{∗} mátrixot. Ekkor A szimmetrikus mátrix, mert A^{∗} = (U\sqrt{Λ}U^{∗})^{∗} = U\sqrt{Λ}U^{∗} = A, valamint A^{∗}A = A^{2} = U\sqrt{Λ}U^{∗}U\sqrt{Λ}U^{∗} = UΛU^{∗} = D. Az A mátrix pozitív szemidefinit is egyben, ha a λ_{j} számok pozitív négyzetgyökeit vesszük.)

Megjegyzés a lineáris algebrai tételhez: A nem negatív számoknak a pozitív szemidefinit mátrixok felelnek meg magasabb dimenzióban. A megfogalmazott eredmény azt mondja ki, hogy pozitív szemidefinit mátrixokból, hasonlóan a nem negatív számokhoz lehet négyzetgyököt vonni. Ez a négyzetgyökvonás nem egyértelmű. Például egy megoldás ismeretében a következő módon lehet új megoldásokat kapnin. Ha D = A^{∗}A és U unitér transzformáció, akkor az Ā = UA mátrixra is teljesül, hogy Ā^{∗}Ā = A^{∗}U^{∗}UA = A^{∗}A = D, tehát A^{∗} is megoldása a tekintett egyenletnek. Jegyezzük meg, hogy valós számok között is csak akkor egyértelmű a gyökvonás, ha csak a pozitív gyököt tekintjük.

Ennek az állításnak érvényes a következő több-dimenziós általánosítása: A D = A^{∗}A egyenletnek pontosan egy szimmetrikus pozitív szemidefinit megoldása van. Ennek bizonyítása nem nehéz, de mivel erre nem lesz szükségünk, ezért a bizonyítást elhagyon.

Valós értékű valószínűségi változók szórásnégyzete nem-negatív, tehát nem zártuk ki annnak a lehtőségét sem, hogy nulla. De ez csak abban az elfajult esetben lehetséges, ha a tekintett valószínűségi változó konstans, azaz 1 valószínűséggel ugyanazt az értéket veszi fel. Hasonlóan, a több-dimenziós esetben csak azt követeltük meg, hogy a véletlen vektor kovarianciamátrixa pozitív szemidefefinit legyen, de megendedtük, hogy ne legyen (szigorúan) pozitív definit. De ha a kovarianciamátrix nem pozitív definit az bizonyos elfajultságot jelent, és akkor a véletlen vektozoknak van olyan nem triviális lineáris kombinációja, amelyik egy valószínűséggel konstans. Ezt a tényt fogalmazzuk meg az alábbi Lemmában.

Lemma. Egy ξ = (ξ_{1}, …, ξ_{k}) véletlen vektor D = (d_{i,j}) kovariancimátrixa akkor és csak akkor nem (szigorúan) pozitív definit, ha léteznak olyan a_{j}, 1 ≤ j ≤ k, számok,

melyek nem mindegyike nulla, és ∑_{j=1}^{k} a_{j}ξ_{j} = K valamilyen K (determinisztikus) kon-

stanssal egy valószínűséggel.

Bizonyítás: Ha léteznek olyan a_{1}, …, a_{k} számok, melyek nem mindegyike nulla, és

∑_{j=1}^{k} a_{j}ξ_{j} = K egy valószínűséggel, akkor

0 = Var (∑_{j=1}^{k} a_{j}ξ_{j}) = ∑_{i=1}^{k} ∑_{j=1}^{k} a_{i}a_{j}Cov (ξ_{i}, ξ_{j}) = ∑_{i=1}^{k} ∑_{j=1}^{k} a_{i}a_{j}d_{i,j},

ami azt jelenti, hogy a D = (d_{i,j}) mátrix nem (szigorúan) pozitív definit.

Megfordítva, ha a D = (d_{i,j}) mátrix nem (szigorúan) pozitív definit, akkor léteznek

olyan a_{1}, …, a_{k} számok, melyek nem mindegyike nulla és ∑_{i=1}^{k} ∑_{j=1}^{k} a_{i}a_{j}d_{i,j} = 0. Ekkor a

∑_{i=1}^{k} a_{i}ξ_{k} valószínűségi változóra

Var (∑_{j=1}^{k} a_{j}ξ_{j}) = ∑_{i=1}^{k} ∑_{j=1}^{k} a_{i}a_{j}Cov (ξ_{i}, ξ_{j}) = ∑_{i=1}^{k} ∑_{j=1}^{k} a_{i}a_{j}d_{i,j} = 0,

ahonnan ∑_{i=1}^{k} a_{i}ξ_{k} = K valamilyen K konstansra egy valószínűséggel.