Normális eloszlású valószínűségi változók

Emlékeztető: ξ standard normális eloszlású valószínűségi változó, ha eloszlását a következő képlet határozza meg:

P (ξ < x) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{x} e^{−t^{2}/2} dt = Φ(x).

(Általános jelölési szokás: A standard normális eloszlásfüggvényt Φ(x), a standard normális sűrűségfüggvényt pedig φ(x) = \frac{1}{\sqrt{2π}} e^{−x^{2}/2} jelöli.) Legyenek ξ_{1}, …, ξ_{n} független standard normális eloszlású valószínűségi változók, és vezessük be a ξ = (ξ_{1}, …, ξ_{n}) jelölést. Legyen A egy n × n-es mátrix, és η = ξA. Ekkor η n-dimenziós normális eloszlású 0 várható értékű valószínűségi változó. Minden n-dimenziós 0 várható értékű normális eloszlású valószínűségi változó ilyen alakú, azaz az η n dimenziós valószínűségi változó akkor és csak akkor normális eloszlású 0 várható értékkel, ha létezik olyan A n × n-es mátrix, hogy η eloszlása megegyezik az ξA, ξ = (ξ_{1}, …, ξ_{n}) valószínűségi változó eloszlásával, ahol ξ_{1}, …, ξ_{n} független standard normális eloszlású valószínűségi változók. Legyen m = (m_{1}, …, m_{n}) n dimenziós vektor. Ekkor η + m n dimenziós normális valószínűségi változó m várható értékkel, ha η n dimenziós normális eloszlású valószínűségi vektor 0 várható értékkel. Minden normális eloszlású valószínűségi változó előállítható ilyen módon.

Feladatok:

1.) Legyen η = ξA + m, ahol A n × n mátrix, ξ = (ξ_{1}, …, ξ_{n}), ahol ξ_{1}, …, ξ_{n} független standard normális eloszlású valószínűségi változók, és m n dimenziós vektor. Lássuk be, hogy η karakterisztikus függvénye

φ(t) = Ee^{i(t,η)} = e^{−tA^{∗}At^{∗}/2+i(m,t)},

ahol t = (t_{1}, …, t_{n}) n dimenziós vektor, (·, ·) skalárszorzatot és ^{∗} transzponáltat jelöl.

2.) Legyen η = ξA + m olyan mint az előző feladatban. Tegyük fel ezenkívül azt, hogy az A mátrix invertálható. Ekkor az η valószínűségi változónak van sűrűségfüggvénye, amelyik a következő alakú:

f(x) = \frac{1}{(2π)^{n/2}| det A|} exp \{−(x − m)(A^{∗}A)^{−1}(x − m)^{∗}/2\} ,

ahol x = (x_{1}, …, x_{n}) ∈ R^{n} n dimenziós vektor.

3.) Az η = (η_{1}, …, η_{n}) valószínűségi változó akkor és csak akkor normális eloszlású, ha a karakterisztikus függvénye e^{−tDt^{∗}/2+i(m,t)} alakú, ahol D pozitív (szemi)definit mátrix. A D mátrix az η sztochasztikus vektor D = (d_{j,k}) = (Eη_{j}η_{k} − Eη_{j}Eη_{k}) kovarianciamátrixa, m = (Eη_{1}, …, Eη_{n}) az η vektor várható értéke. Mutassuk meg, hogy egy normális eloszlású valószínűségi változó eloszlását meghatározza annak kovarianciamátrixa és várható érték vektora. Ebben az állításban a normális eloszlás megkövetelése fontos. Mutassuk meg, hogy tetszőleges normális eloszláshoz megadható olyan nem normális eloszlás, melynek megegyezik a kovarianciamátrixa és várható értéke ezzel a normális valószínűségi változóval. Mutassuk meg, hogy tetszőleges (X_{1}, …, X_{k}) (nem feltétlenül normális eloszlású) valószínűségi vektornak, mely mindegyik koordinátájának létezik második momentuma, azaz EX_{p}^{2} < ∞, p = 1, …, k, a D = (d_{p,q}), d_{p,q} = EX_{p}X_{q} − EX_{p}EX_{q}, 1 ≤ p, q ≤ k, kovarianciamátrixa pozitív (szemi)definit. Ezért létezik olyan (Y_{1}, …, Y_{k}) normális vektor, melynek a kovarianciamátrixa és várható értékvektora megegyezik az (X_{1}, …, X_{k}) kovarianciamátrixával és várható értékével.

4.) Az előző feladatban szereplő η vektornak akkor van sűrűségfüggvénye, ha a D mátrix pozitív definit. A sűrűségfüggvény

f(x) = \frac{1}{(2π)^{n/2}| det D|^{1/2}} exp \{−(x − m)D^{−1}(x − m)^{∗}/2\} ,

alakú. 5.) Definiáljuk a következő (Ω, B, P) valószínűségi mezőt: Ω = [0, 1], B a Borel σ-

algebra [0, 1]-en, és P a Lebesgue mérték. Definiáljuk a következő ξ és η valószínűségi változókat ezen a mezőn: ξ(x) = Φ^{−1}(x),

η(x) = \{ \begin{matrix}Φ^{−1}(1 − x) & ha 0 ≤ x < \frac{1}{2} \\ Φ^{−1} (x − \frac{1}{2}) & ha \frac{1}{2} ≤ x ≤ 1 \end{matrix} .

Lássuk be, hogy ξ és η normális eloszlású valószínűségi változók, de a (ξ, η) vektor nem normális eloszlású valószínűségi vektor.

6.) Legyen 0 ≤ u_{1} ≤ u_{2} ≤ ⋯ ≤ u_{n} valós számok. Lássuk be, hogy létezik olyan (ξ_{1}, …, ξ_{n}) normális eloszlású valószínűségi vektor, melyre Eξ_{k} = 0 és Eξ_{j}ξ_{k} = min(u_{j}, u_{k}) minden 1 ≤ u_{j}, u_{k} ≤ n-re.

7.) Minden x > 0-ra

(\frac{1}{x} − \frac{1}{x^{3}} ) φ(x) < 1 − Φ(x) < \frac{1}{x}φ(x),

ahol Φ(x) és φ(x) a standard normális eloszlás és sűrűségfüggvény. 8.) Legyen ξ = (ξ_{1}, …, ξ_{n}) normális eloszlású valószínűségi vektor. Ha valamilyen

1 ≤ p < n-re a kovariancia függvény teljesíti az Eξ_{j}ξ_{k} − Eξ_{j}Eξ_{k} = 0 feltételt minden 1 ≤ j ≤ p < k ≤ n esetén, akkor a (ξ_{1}, …, ξ_{p}) és (ξ_{p+1}, …, ξ_{n}) véletlen vektorok függetlenek.

9.) Legyen (ξ, η) normális eloszlású vektor m = (m_{1}, m_{2}) = (Eξ, Eη) várható értékkel

és

( \begin{matrix}σ_{1,1}, & σ_{1,2} \\ σ_{2,1}, & σ_{2,2} \end{matrix} ) = ( \begin{matrix}Eξ^{2} − (Eξ)^{2}, & Eξη − EξEη \\ Eξη − EξEη, & Eη^{2} − (Eη)^{2} \end{matrix} )

kovarianciamátrix-szal. Ekkor ξ feltételes eloszlása η = y feltétel esetén a normális

eloszlás σ_{1,1} − \frac{σ_{1,2}^{2}}{σ_{2,2}} szórásnégyzettel és m_{1} − \frac{σ_{1,2}}{σ_{2,2}} m_{2} + \frac{σ_{1,2}}{σ_{2,2}} y várható értékkel.

Hogy lehet látni, hogy a ξ feltételes eloszlásának a szórása nem negatív? Mikor egyenlő 0-val ez a szórás? Hogy általánosítható a fenti állítás abban az esetben, ha ξ és η vektorváltozók is lehetnek?

10.) Az (ξ_{1}, …, ξ_{k}) valószínűségi vektor akkor és csak akkor normális eloszlású, ha

tetszóleges ∑_{p=1}^{k} a_{p}ξ_{p} lineáris kombináció normális eloszlású.

10′) A (ξ_{1,n}, …, ξ_{k,n}) valószínűségi vektorok akkor és csak akkor konvergálnak elosz-

lásban a (ξ_{1}, …, ξ_{k}) vektorhoz n → ∞ esetén, ha tetszőleges ∑_{p=1}^{k} a_{p}ξ_{p,n} lineáris

kombináció eloszlásban konvergál a ∑_{p=1}^{k} a_{p}ξ_{p} vektorhoz n → ∞ esetén.

11.) Legyenek ξ és η független, normális, egyforma eloszlású valószínűségi változók 0 várható értékkel. Lássuk be, hogy a.) ξ^{2} + η^{2} exponenciális eloszlású valószínűségi változó λ = 1/2 paraméterrel.

b.) A \frac{ξ}{η} valószínűségi változó Cauchy eloszlású, azaz az eloszlás sűrűségfüggvénye

\frac{1}{π(1 + x^{2})}.

12.) A következő játékot játszuk: Pénzdarabot dobunk fel ezerszer. Fej dobás esetén 1 forintot nyerünk, írás esetén 1 forintot veszítünk. A játék eredménye 400 fej és 600 írás, azaz kétszáz forint veszteség. Mire gyanakszunk, rossz szerencsére vagy szabálytalan pénzdarabra? A válasz természetesen szubjektiv, de érdekes tudni a következőt: Mi a valószínűsége annak, hogy egy szabályos pénzdarab feldobása esetén ilyen eredmény születik?

13.) Legyen (ξ_{1}, ξ_{2}, ξ_{3}, ξ_{4}) nulla várható értékű normális valószínűségi vektor. Lássuk

be, hogy

Eξ_{1}ξ_{2}ξ_{3}ξ_{4} = Eξ_{1}ξ_{2}Eξ_{3}ξ_{4} + Eξ_{1}ξ_{3}Eξ_{2}ξ_{4} + Eξ_{1}ξ_{4}Eξ_{2}ξ_{3} .

Segítség, megoldások, megoldásvázlatok: 1.) Használjuk fel, hogy a ξ standard normális valószínűségi változó karakterisztikus

függvénye φ(s) = Ee^{isξ} = Ee^{−s^{2}/2}, és mivel ξ_{1}, …, ξ_{n} független standard normális valószínűszínűségi változók, ezért tetszőleges s_{1}, …, s_{n} valós számokra

Ee^{i(s_{1}ξ_{1}+···+s_{n}ξ_{n})} = ∏_{k=1}^{n} e^{−s_{k}^{2}/2} = e^{−(s,s)/2} ,

ahol s = (s_{1}, …, s_{n}). Ezért Ee^{i(t,η)} = Ee^{i(tA^{∗},ξ)+i(t,m)} = e^{−tA^{∗}At^{∗}/2+i(t,m)}. 2.) Az alábbi számolás lényege a következő: Annak a valószínűségét, hogy az η ∈

B tetszőleges mérhető B ⊂ R^{n} tartományra fejezzük ki, mint annak a valószínűségét, hogy a ξ valószínűségi változó beesik egy alkalmas tartományba, és ezt a valószínűséget fejezzük ki az ismert sűrűségfüggvényű ξ valószínűségi változó integráljaként. Integráltranszformáció segítségével fejezzük ki ezt a mennyiséget, mint egy alkalmas függvény integrálját a B tartományban. Mivel az így kapott függvény nem függ a B tartománytól, ez lesz a keresett sűrűségfüggvény.

P (η ∈ B) = P (ξ ∈ (B − m)A^{−1}) = ∫_{u∈(B−m)A^{−1}} \frac{1}{(2π)^{n/2}} e^{−(u,u)/2} du

= ∫_{u∈B} \frac{1}{(2π)^{n/2}| det A|}e^{−(u−m)(A^{∗}A)^{−1}(u−m)^{∗}/2} du.

Az utolsó azonosság bizonyításában használjuk fel, hogy ha T invertálható leképezése egy D ⊂ R^{n} tartománynak egy T(D) tartományra, T(u) = (T_{1}(u), …, T_{n}(u)), u ∈ R^{n}, továbbá mind T mind annak inverze T^{(−1)} differenciálható, akkor a következő integrálhelyettesítési transzformáció érvényes:

∫_{u∈D} f(u) du = ∫_{u∈T^{−1}D} f(Tu)\frac{1}{|det (\frac{∂T_{j}}{∂u_{k}} )|} du .

Itt a (\frac{∂T_{j}}{∂u_{k}} ) mátrix a T transzformáció Jacobianja. (Válasszunk T(u) = (u −

m)A^{−1}-et és D = (B − m)A^{−1}-et). Mi a szemléletes tartalma az integráltranszformációs formulának? Olvassuk ki a segítségével kapott azonosságból a kívánt eredményt.

3.) Az első feladat segítségével lássuk be, hogy egy normális eloszlás karakterisztikus függvénye az adott alakú. Azt, hogy minden ilyen alakú karakterisztikus függvény valóban előáll, lássuk be azt a lineáris algebrai állítást bizonyítva be először, hogy tetszőleges (szimmetrikus) pozitív szemidefinit D mátrixból lehet négyzetgyököt vonni, azaz a D = A^{2} reprezentáció lehetséges alkalmas (szimmetrikus, pozitív definit) A mátrix segítségével. Az utolsó állítás bizonyításában használjuk ki, hogy a karakterisztikus függvény meghatározza az eloszlást.

Be kell látni, hogy tetszőleges u = (u_{1}, …, u_{k}) vektorra uDu^{∗} ≥ 0. De uDu^{∗} =

∑_{p=1}^{k} ∑_{q=1}^{k} u_{p}u_{q}E(X_{p}−EX_{p})(X_{q}−EX_{q}) = E ( ∑_{p=1}^{q} u_{p}(X_{p} − EX_{p}))^{2} ≥ 0. (Ha X_{p}-nek

létezik második momentuma, akkor létezik várható értéke is. Miért?) 4.) Lássuk, be az állítást a második feladat és a det AB = det A det B azonosság

segítségével. 5.) A ξ és η valószínűségi változók azonos eloszlásúak. Továbbá,

P (ξ > x) = λ(Φ(x), 1]) = 1 − Φ(x) .

Az, hogy (ξ, η) vektor nem normális eloszlású következik például a P (ξ + η = 0) = 1/2 azonosságból. Miért?

6.) Legyen v_{k} = u_{k} − u_{k−1}, k = 1, …, n, ahol u_{0} = 0. Legenek η_{1}, …, η_{n} független normális eloszlású valószínűségi változók Eη_{k} = 0, Eη_{k}^{2} = v_{k}, k = 1, …, n. Ekkor

ξ_{k} = ∑_{j=1}^{k} η_{j}, k = 1, …, n teljesíti az állítás feltételeit.

Másik megoldás: Elég belátni, hogy a D = (d_{j,k}) = (min(u_{j}, u_{k}) pozitív definit mátrix, azaz

∑_{j=1}^{n} ∑_{k=1}^{n} min(u_{j}, u_{k})x_{j}x_{k} = ∑_{j=1}^{n} ∑_{k=1}^{n} ∑_{p=1}^{min(j,k)} v_{p}x_{j}x_{k} = ∑_{p=1}^{n} v_{p} (∑_{k=p}^{n} x_{k})^{2} ≥ 0

tetszőleges valós x_{1}, …, x_{n} számokra. 7.) Lássuk be parciális integrálással, hogy

∫_{x}^{∞} e^{−u^{2}/2} du = \frac{1}{x}e^{−x^{2}/2} − ∫_{x}^{∞} \frac{1}{u^{2}} e^{−u^{2}/2} du

= \frac{1}{x}e^{−x^{2}/2} − \frac{1}{x^{3}} e^{−x^{2}/2} + ∫_{x}^{∞} \frac{3}{u^{4}} e^{−u^{2}/2} du ,

és vezessük le az állítást ebből az azonosságból. 8.) A ξ és η vektorok akkor és csak akkor függetlenek, ha az együttes karakterisztikus

függvényük szorzatalakban áll elő, azaz Ee^{i(s,ξ)+i(t,η)} = Ee^{i(s,ξ)}Ee^{i(t,η)} tetszőleges s és t vektorra. Miért? Lássuk be az állítást ezen összefüggés segítségével.

9.) Lássuk be, hogy a ξ − \frac{σ_{1,2}}{σ_{2,2}} η független az η valószínűségi változótól. Lássuk be

ennek az állításnak és a feltételes eloszlás tulajdonságai alapján, hogy

P (ξ < x|η = y) = P (ξ − \frac{σ_{1,2}}{σ_{2,2}} η < x − \frac{σ_{1,2}}{σ_{1,1}} y| η = y)

= P (ξ − \frac{σ_{1,2}}{σ_{2,2}} η < x − \frac{σ_{1,2}}{σ_{2,2}} y) = P (ξ − \frac{σ_{1,2}}{σ_{2,2}} η + \frac{σ_{1,2}}{σ_{2,2}} y < x) .

Ez egy m_{1} − \frac{σ_{1,2}}{σ_{2,2}} m_{2} + \frac{σ_{1,2}}{σ_{2,2}} y várható értékű és σ_{1,1} − \frac{σ_{1,2}^{2}}{σ_{2,2}} szórásnégyzetű normális

eloszlású valószínűségi változó eloszlása. Olvassuk ki ebből az összefüggésből az állítást. A ξ = (ξ_{1}, …, ξ_{s}), η = (η_{1}, …, η_{p}) vektorváltozók esetét hasonlóan vizsgálhatjuk.

Ehhez lássuk be, hogy létezik olyan A mátrix, melyre η és ξ − ηA függetlenek. Lássuk be először, hogy létezik olyan U unitér mátrix melyre az ηU = (η̄_{1}, …, η̄_{p}) = η̄ vektor

koordinátái függetlenek. Legyen ξ̄_{r} = ξ_{r} − ∑_{k=1}^{p} \frac{Eξ_{r}η̄_{k}}{Eη̄_{k}^{2}} η̄_{k}, r = 1, …, s. Ezt mátrixjełö-

léssel írjuk ξ̄ = ξ − η̄B formában. Lássuk be, hogy a ξ − η̄B és η̄ vektorok függetlenek. Ebből következik, hogy a ξ − η̄B = ξ − ηUB az η = η̄U^{∗} vektortól független. Ezért a ξ feltételes eloszlása az η = y feltétel mellett megegyezik a ξ − ηUB + yUB vektor eloszlásával. 10.) Az állítás nem triviális része: Tegyük fel, hogy minden lineáris kombináció normális

eloszlású. Írjuk fel ezt az állítást a karakterisztikus függvények nyelvén. Ennek alapán mutassuk meg, hogy a vektor karakterisztikus függvénye is normális eloszlású.

E exp {i ∑_{p=1}^{k} t_{p}ξ_{p}} = exp {−E (∑_{p=1}^{k} t_{p}ξ_{p} − E (∑_{p=1}^{k}t_{p}ξ_{p}))^{2}/2 + iE (∑_{p=1}^{k}t_{k}ξ_{p})}

= exp {− ∑_{p=1}^{k} ∑_{q=1}^{k} t_{k}t_{l}(Eξ_{p}ξ_{q} − Eξ_{p}Eξ_{q})/2 + ∑_{p=1}^{k} t_{p}iEξ_{p}}

= e^{−tDt^{∗}/2+i(m,t)} .

E számolás során kihasználtuk, hogy a valószínűségi változóknak van második momentumuk, mert Ee^{itξ_{j}} = e^{−t^{2}(Eξ_{j}^{2}−(Eξ_{j})^{2})/2+itEξ_{j}}.

10′) Használjuk fel, hogy valószínűségi (vektor)változók akkor és csak akkor konvergálnak eloszlásban egy valószínűségi változóhoz, ha a karakterisztikus függvényeik konvergálnak e változó karakterisztikus függvényéhez.

11.) Legyen ξ és η standard normális eloszlású.

a.) P (ξ^{2} < x) = Φ(\sqrt{x}) − Φ(−\sqrt{x}). Ezért ξ^{2} és η^{2} sűrűségfüggvénye g(x) = \frac{φ(\sqrt{x})}{\sqrt{x}} =

\frac{e^{−x/2}}{\sqrt{2πx}}, ha x ≥ 0 és g(x) = 0 ha x < 0. Konvolúció segítségével kapjuk, hogy ξ^{2} +η^{2}

sűrűségfüggvénye

f(x) = g ∗ g(x)

= ∫_{0}^{x} \frac{1}{\sqrt{u(x − u)}π} e^{−u/2}e^{−(x−u)/2} du = e^{−x/2} ∫_{0}^{1} \frac{1}{\sqrt{v(1 − v)}π} dv = \frac{1}{2}e^{−x/2}

Másik megoldás az a.) részre. Mivel a (ξ, η) valószínűségi vektor sűrűségfüggvénye g(u, v) = \frac{e^{−(u^{2}+v^{2})/2}}{2π} ezért a kívánt valószínűséget felírva, majd átírva polárkoordináta rendszerbe kapjuk, hogy

P (ξ^{2} + η^{2} < x) = ∫∫_{u^{2}+v^{2}<x} \frac{e^{−(u^{2}+v^{2})/2}}{2π} du dv

= ∫∫_{r^{2}<x, 0≤φ<2π} r \frac{e^{−r^{2}/2}}{2π} dr dφ = ∫_{0}^{√\overline{x}} re^{−r^{2}/2} dr

= [−e^{−r^{2}/2}]_{0}^{√\overline{x}} = 1 − e^{−x/2} .

b.)

P (\frac{ξ}{η} < x) = ∫∫_{\frac{v}{u} <x} \frac{1}{2π} e^{−(u^{2}+v^{2})/2} du dv

= 2\frac{1}{2π} ∫_{\frac{−π}{2} <φ<arctan x} ∫_{0}^{∞} re^{−r^{2}/2} dr dφ = \frac{1}{2} + \frac{1}{π} arctan x

12.) Alkalmazzuk a centrális határeloszlástételt azon esemény valószínűségének a kiszámításához, hogy az átlagtól való eltérés nagyobb mint 100. A szórásnégyzet 1000× 1/4 = 250 ezért a keresett valószínűség körülbelül annyi mint annak a valószínűsége, hogy egy standard normális valószínűségi változó értéke nagyobb, mint 2\sqrt{10}. Becsüljük meg ennek az értékét az 6. feladat eredményének a segítségével. Felmerül a következő kérdés: A centrális határeloszlástétel csak közelítő becslést ad. Nem lehetséges-e, hogy a valószínűség valójában sokkal nagyobb a kiszámítottnál, mert abban a hibatag dominál? Be lehet látni (nem triviális eredmények segítségével), hogy ez nincs így, de ennek bizonyítására nem térünk ki.

13.) Két különböző megoldásvázlatot adok. a.) Lássuk be az állítást abban a speciális esetben, amikor a ξ = (ξ_{1}, ξ_{2}, ξ_{3}, ξ_{4}) normális

vektor egyes koordinátái függetlenek vagy megegyeznek. Vezessük le az általános esetet ebből a speciális esetből felhasználva, hogy tetszőleges ξ vektor kifejezhető ilyen vektorok lineáris kombinációjaként, és az azonosság mindkét oldala a ξ vektor multilineáris függvénye.

b.) Legyen a ξ = (ξ_{1}, ξ_{2}, ξ_{3}, ξ_{4}) vektor karakterisztikus függvénye φ(t_{1}, t_{2}, t_{3}, t_{4}). Lássuk be, hogy

Eξ_{1}ξ_{2}ξ_{3}ξ_{4} = \frac{∂^{4}φ(t_{1}, t_{2}, t_{3}, t_{4})}{∂t_{1}∂t_{2}∂t_{3}∂t_{4}} |_{t_{1}=t_{2}=t_{3}=t_{4}=0} ,

és

Eξ_{1}ξ_{2} = − \frac{∂^{2}φ(t_{1}, t_{2}, t_{3}, t_{4})}{∂t_{1}∂t_{2}} |_{t_{1}=t_{2}=t_{3}=t_{4}=0} .

Vezessük le az állítást ezekből az azonosságokból és a normális eloszlás karakterisztikus függvényének az alakjából.