A november 14-i szeminárium témája Rövid összefoglaló

Egy valószínűségű, sztochasztikus és eloszlásban való konvergencia, és e két fogalom közötti kapcsolat.

Az előbb felsorolt konvergenciafogalmak a legfontosabbak a valószínűségszámításban. Ezért idézzük fel e fogalmak definicióit, és beszéljük meg azok kapcsolatát, legfontosabb tulajdondságait. Megjegyezzük, hogy az egy valószínűségű konvergenciát majdnem mindenütt való a sztochasztikus konvergenciát pedig mértékben való konvergenciának is hívják.

Az egy valószínűségű konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt)

P (ω: lim_{n→∞} ξ_{n}(ω) = ξ(ω)) = 1.

A sztochasztikus konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál sztochasztikusan egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt) minden ε > 0 számra

lim_{n→∞} P (|ξ_{n}(ω) − ξ(ω)| > ε) = 0.

Az eloszlásban való konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez vagy az ezen eloszlásfüggvény által meghatározott eloszláshoz, ha lim_{n→∞} P (ξ_{n} < u) = F (u) minden olyan u számra, ahol az F (·) eloszlásfüggvény függvény folytonos. (Azt mondjuk, hogy a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata eloszlásban konvergál egy ξ valószínűségi változóhoz, ha ez a sorozat eloszlásban konvergál az F (u) = P (ξ < u) eloszlásfüggvényhez.)

Eloszlásfüggvények F_{n}(u) sorozata akkor és csak akkor konvergál egy F (u) eloszlásfüggvényhez, ha valószínűségi változók olyan ξ_{n}, n = 1, 2, …, sorozata, melyekre ξ_{n} eloszlása F_{n}(u) eloszlásban konvergálnak az F (u) eloszlásfüggvényhez. Más szavakkal ez azt jelenti, hogy lim_{n→∞} F_{n}(u) = F (u) az F (·) függvény minden folytonossági pontjában.

A továbbiakban tárgyalni fogjuk a.) A különböző konvegenciafogalmak közötti kapcsolatot. b.) Az eloszlásban való konvergencia pontosabb tartalmát. Külön tárgyaljuk azt, hogy

miért csak az F (·) határeloszlás folytonossági pontjaiban követeljük meg a P (ξ_{n} < u) → F (u) konvergenciát.

Igaz a következő kapcsolat: Egy valószínűségi konvergencia ⇒ Sztochasztikus konvergencia ⇒ Eloszlásban való konvergencia.

A sztochasztikus és eloszlásban való konvergencia kapcsolatát tárgyaltuk az október 10-i gyakorlaton. Most tárgyaljuk az egy valószínűségi és sztochasztikus konvergencia kapcsolatát.

Ha ξ_{n}(ω) → ξ(ω) egy valószínűséggel, akkor definiálva az

A_{n} = A_{n}(ε) = {ω: sup_{k≥n} |ξ_{k}(ω) − ξ(ω)| < ε}

halmazokat kapjuk, hogy az egymásba skatulyázott A_{n} halmazokra, (azaz A_{1}(ω) ⊂

A_{2} ⊂ ⋯), P ( ⋃_{n=1}^{∞} A_{n}) = 1. Ezért lim_{n→∞} P (A_{n}) = 1. Mivel {ω: |ξ_{n}(ω) − ξ(ω)| <

ε} ⊃ A_{n}, P (|ξ_{n}(ω) − ξ(ω)| < ε) → 1, azaz P (|ξ_{n}(ω) − ξ(ω)| ≥ ε) → 0, ha n → ∞. Ez azt jelenti, hogy az egy valószínűségű konvergenciából következik a sztochasztikus konvergencia.

Nem kötelező házifeladat:

Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata, akkor és csak akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha az η_{n} = sup_{k≥n} |ξ_{k} −ξ| valószínűségi

változók sorozata sztochasztikusan konvergál nullához, azaz minden ε > 0 számra

P ( lim_{n→∞} sup_{k≥n} |ξ_{k} − ξ| > ε) = 0.

Lássunk példát arra, hogy lehetséges olyan ξ_{n}, n = 1, 2, …, és ξ valószínűségi változókat konstruálni, melyekre a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan tart ξ-hez, de a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

Tekintsük a következő (Ω, A, P) valószínűségi mezőt: Ω a [0, 1] intervallum, A a Borel mérhető halmazok σ-algebrája a [0, 1] intervallumon, a P valószínűségi mérték a Lebesgue mérték. Legyen

ξ_{n}(x) = \{ \begin{matrix}1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \\ 0 ha x ∉ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \end{matrix}
akkor ha 2^{k} ≤ n < 2^{k+1}, k = 1, 2, …,

és ξ(x) = 0 minden 0 ≤ x ≤ 1 számra. Ekkor P (|ξ_{n} − ξ| > ε) = 2^{−k} minden ε > 0 számra, ha 2^{k} ≤ n < 2^{k+1}. Tehát a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál a ξ valószínűségi változóhoz. Viszont mivel lim sup_{n→∞} ξ_{n}(x) = 0 minden 0 ≤ x ≤ 1 számra,

ezért a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz. Másrészt a Borel-Cantelli lemmából következik, hogy amennyiben minden ε > 0

számra ∑_{n=1}^{∞} P (|ξ_{n} − ξ| > ε) < ∞, akkor a ξ_{n} sorozat egy valószzínűséggel konvergál a ξ

valószínűségi változóhoz. Miért?

Ez a megjegyzés azt mutatja, hogy ha a P (|ξ_{n} − ξ| > ε) valószínűség minden rögzített ε > 0 számra olyan kicsi, hogy nemcsak nullához tart, hanem az ezekből a valószínűségekből, n = 1, 2, …, készített összeg konvergens, akkor a ξ_{n}, n = 1, 2, …, valószínűségi változók egy valószínűséggel konvergálnak a ξ valószínűségi változóhoz. Viszont lehetséges, hogy valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata egy valószínűséggel tart nullához, noha a P (|ξ_{n}| > \frac{1}{2}) valószínűségek lassan tartanak nullához. Példa: Legyen (Ω, A, P) = ([0, 1], B, λ), ahol A, a Borel mérhető halmazok σ-algebrája a [0, 1] intervallumon, és λ a Lebesgue mérték. Definiáljuk a ξ_{n}(x) valószínűségi változókat a következőképpen: ξ_{n}(x) = 1, ha 0 ≤ x ≤ \frac{1}{n}, és ξ_{n}(x) = 0, ha \frac{1}{n} < x ≤ 1. Ekkor

lim_{n→∞} ξ_{n}(x) = 1 minden 0 < x ≤ 1 esetében. Viszont ∑_{n=1}^{∞} P (ξ_{n} > \frac{1}{2}) = ∑_{n=1}^{∞} \frac{1}{n} = ∞. Sőt

a fenti példát tudjuk élesíteni. Hasonló példát kapunk, ha a ξ_{n} valószínűségi változót úgy definiáljuk, mint a [0, ε_{n}] intervallum indikátorfüggvényét, ahol ε_{n}, n = 1, 2, …, tetszőleges nullához tartó sorozat.

A fenti példa mutatja, hogy a Borel–Cantelli lemmában a ∑_{n=1}^{∞} P (A_{n}) = ∞ feltétel

nem elegendő ahhoz, hogy egy valószínűséggel végtelen sok A_{n} esemény következzék be. Az ok a tekintett példában az, hogy a különböző A_{n} események majdnem ugyanazt a halmazt fedik le, így lehetnek olyan ω ∈ Ω elemi események, melyekre azon n indexek, melyekre ω ∈ A_{n} sűrűen vannak, míg más ω ∈ Ω elemi eseményeket ritkán fednek le az A_{n} események. Megjegyzem, hogy az A_{n} események függetlensége a Borel–Cantelli lemmában arra szolgál, hogy érvényes legyen egyfajta nagy számok törvénye, az A_{n} halmazok egyenletesen fedjék le az Ω halmazt.

Láttuk, hogy lehetséges az, hogy valószínűségi változók sztochasztikusan konvergálnak, de egy valószínűséggel nem. Felmerülhet a kérdés, lehetséges-e az, hogy független egyforma eloszlású valószínűségi változok részletösszegei teljesítik a nagy számok gyenge törvényét, de nem teljesítik a nagy számok erős törvényét. A válasz igen, de ennek bizonyítása jóval nehezebb, mint az eddig tárgyalt állításoké. Az általános elméletben meg tudják adni mind a nagy számok gyenge mind a nagy számok erős törvényének szükséges és elégséges feltételét, és ezek összehasonlítása segít a feladat megoldásában. Bár bizonyos fontos részletek bizonyítását nem kötelező házifeladatnak fogunk tekinteni, meg fogunk adni egy példát arra, mely olyan példát mutat, amelyikben a nagy számok gyenge törvényét teljesíti, de a nagy számok gyenge törvényét nem. Először idézzük fel a következő eredményt.

Tétel. Jelölje egy ξ valószínűségi változó eloszlásfüggvényét F (u), sűrűségfüggvényét pedig (amennyiben ez létezik) f(u). Legyen g(u) mérhető függvény a számegyenesen, melyre g(ξ) integrálható, azaz E|g(ξ)| < ∞. Ekkor

Eg(ξ) = ∫_{−∞}^{∞} g(u) dF (u) (= ∫_{−∞}^{∞} g(u)f(u) du) .

Továbbá az E|g(ξ)| < ∞ állítás akkor és csak akkor érvényes, ha ∫ |g(u)| dF (u) < ∞. A zárójelben megfogalmazott reláció akkor érvényes, ha a ξ valószínűségi változó eloszlásának létezik f(u) sűrűségfüggvénye. Speciálisan,

Eξ = ∫_{−∞}^{∞} u dF (u) = ∫_{−∞}^{∞} uf(u) du.

Lássuk be ennek az eredménynek a segítségével azt, hogy E|ξ| < ∞ akkor és csak

akkor, ha ∑_{n=0}^{∞} P (|ξ| > n) < ∞.

E|ξ| < ∞ akkor és csak akkor, ha ∫ |u| dF (u) < ∞, és ez akkor és csak akkor teljesül, ha ∑_{n=0}^{∞} nP (n < |ξ| ≤ n + 1) < ∞. (Miért?) Ezt az összeget átrendezve

∑_{n=0}^{∞} nP (n < |ξ| ≤ n + 1)) = ∑_{n=0}^{∞} n (P (|ξ| > n) − P (|ξ| > n + 1))

= ∑_{n=0}^{∞} P (|ξ| > n)[n − (n − 1)] = ∑_{n=0}^{∞} P (|ξ| > n)

Innen következik az állítás.

Házi feladat. (Nem kötelező)

A ξ valószínűségi változónak akkor és csak akkor létezik véges második momentuma, ha ∑_{n=1}^{∞} nP (|ξ| > n) < ∞. Általánosabban E|ξ|^{k} < ∞ valamilyen k = 1, 2, …, számra akkor és csak akkor, ha ∑_{n=1}^{∞} n^{k−1}P (|ξ| > n) < ∞. Belátjuk az előző eredmény és a Borel–Cantelli lemma segítségével, hogy ha a

ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata olyan, hogy E|ξ_{1}| = ∞, akkor az \frac{S_{n}(ω)}{n} sorozat egy valószínűséggel divergens, ahol S_{n} = ∑_{k=1}^{n} ξ_{k}. Tehát ebben az esetben nem teljesül a nagy számok erős törvénye.

Vegyük észre, hogy amennyiben E|ξ_{1}| = ∞, akkor ∑_{n=0}^{∞} P (|ξ_{n}| > n) = ∑_{n=0}^{∞} P (|ξ_{1}| > n) = ∞, az {ω: |ξ_{n}(ω)| > n} események függetlenek, ezért a Borel-Cantelli lemma szerint majdnem minden ω ∈ Ω esetén |ξ_{n}(ω)| > n végtelen sok n indexre.

Ha ω ∈ Ω olyan pont, melyben az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat konvergens, akkor

ebben az ω pontban sup_{1≤n<∞} |\frac{S_{n}(ω)}{n}| < K(ω), és lim_{n→∞} (\frac{S_{n+1}(ω)}{n + 1} − \frac{S_{n}(ω)}{n}) = 0. Vi-

szont, \frac{S_{n+1}(ω)}{n + 1} − \frac{S_{n}(ω)}{n} = \frac{ξ_{n+1}(ω)}{n + 1} + \frac{S_{n}(ω)}{n(n + 1)}, és \frac{S_{n}(ω)}{n(n + 1)} → 0. Innen következik,

hogy |ξ_{n+1}(ω)| < n+1 minden n ≥ n_{0}(ω) számra alkalmas n_{0}(ω) küszöbindex-szel, ha az \frac{S_{n}(ω)}{n} sorozat konvergál. Ez viszont csak nulla valószínűségű ω ∈ Ω halmazra érvényes.

Megjegyezzük bizonyítás nélkül, hogy érvényes ennek az állításnak a megfordítása is, nevezetesen a következő tétel.

Tétel. Legyen ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata,

és definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, részletösszegeket. Az \frac{S_{n}(ω)}{n}, n = 1, 2, …,

sorozat akkor és csak akkor konvergál pozitív valószínűséggel, ha E|ξ_{1}| < ∞. Ha E|ξ_{1}| < ∞, akkor ez a sorozat teljesíti a nagy számok erős törvényét, azaz

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

A nagy számok gyenge törvénye:

Láttuk, hogy az hogy X_{n} valószínűségi változók sorozata sztochasztikusan egy (determinisztikus) a konstanshoz tart ekvivalens azzal, hogy e valószínűségi változók sorozata eloszlásban tart a számegyenes a pontjába koncentrált mértékhez. Ez pedig az Alaptétel szerint azzal ekvivalens, hogy ezek a valószínűségi változók ψ_{n}(t) = Ee^{itX_{n}} karakterisztikus függvényei az a pontba koncentrált mérték karakterisztikus függvényéhez, azaz az e^{ita} függvényhez tartanak.

Legyenek ξ_{k}, k = 1, 2, …, független egyforma eloszlású valószínűségi változók

sorozata, S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, jelölje ezek részletösszegeit, és φ(t) = Ee^{itξ_{1}} a

ξ_{1} karakterisztikus függvényét. E sorozat akkor és csak akkor teljesíti a nagy számok

gyenge törvényét, azaz az \frac{S_{n}}{n} átlagok akkor és csak akkor tartanak sztochasztikusan

egy −∞ < a < ∞ számhoz, ha teljesül az lim_{n→∞} φ (\frac{t}{n}) = e^{ita} minden t számra. Némi

számolással belátható, hogy ez ekvivalens azzal, hogy a karakterisztikus függvény a nullában deriválható, és ez a differenciálhányados φ′(0) = ia. Ez az eredmény azonban nem teljesen kielégítő, ugyanis általában nem a karakterisztikus függvényt, hanem az eloszlásfüggvényt ismerjük. Ezért hasznosabb a következő a Fourier transzormáció tulajdonságain alapuló tétel.

Tétel. Legyenek ξ_{k}, k = 1, 2, …, független, F eloszlású valószínűségi változók sorozata.

Ez akkor és csak akkor teljesíti a nagy számok gyenge törvényét, azaz a \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag

akkor és csak akkor konvergál sztochasztikusan n → ∞ esetében egy a számhoz, −∞ < a < ∞, ami ekvivalens azzal, hogy a φ(t) = Ee^{itξ_{1}} karakterikus függvény deriválható az origóban, és φ′(0) = ia, ha

lim_{x→∞} x [F (−x) + (1 − F (x))] = 0, és lim_{u→∞} ∫_{−u}^{u} xF ( dx) = a.

Ez az eredmény és a múlt alkalommal tárgyalt eredmény a nagy számok erős törvényéről lehetőséget ad olyan példa konstruálására, mely teljesíti a nagy számok gyenge törvényét, de nem teljesíti a nagy számok erős törvényét. Valóban, legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata melyeknek

létezik f(x) sűrűségfüggvénye, melyet a következő képlet ad meg. f(x) = \frac{C}{x^{2} log |x|}, ha

|x| > 2. f(x) = 0, ha |x| ≤ 2, a C konstanst pedig úgy választjuk, hogy ∫ f(x) dx = 1. Ekkor E|ξ_{1}| = ∫ |x|f(x) dx = ∞, (Miért?) ezért nem teljesül a nagy számok erős törvénye. Az előbb kimondott, de nem bizonyított tételből következik, hogy ez a sorozat teljesíti a nagy számok gyenge törvényét. De ezt az állítást be lehet látni közvetlenül is. Erről szól a következő (nem kötelező) házi feladat.

Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók soro-

zata, az f(x) = \frac{C}{x^{2} log |x|}, ha |x| > 2. f(x) = 0, ha |x| ≤ 2, képlettel megadott

sűrűségfüggvénnyel. (∫_{|x|>2} \frac{C dx}{x^{2} log |x|} = 1.) Definiáljuk az S_{n} = ∑_{k=1}^{m} ξ_{k}, n =

1, 2, …, részletösszegeket. Lássuk be, hogy az \frac{S_{n}}{n} átlagok sztochasztikusan tar-

tanak nullához, azaz minden ε > 0 számra P (|\frac{S_{n}}{n} | > ε) → 0, ha n → ∞.

Segítség: Legyen ξ̄_{k} = ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| ≤ a_{n}), ¯ ξ̄_{k} = ¯ ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| > a_{n}), és S̄_{n} =

∑_{k=1}^{n} ξ̄_{k}, ¯ S̄_{n} = ∑_{k=1}^{n} ¯ ξ̄_{k}. Ekkor P (|S_{n}| > εn) ≤ P (|S̄_{n}| > \frac{ε}{2}n) + P (|¯S̄_{n}| > \frac{ε}{2}n) ≤

\frac{Var S̄_{n}}{\frac{ε^{2}}{4} n^{2}} + nP ( ¯ξ̄_{1} ≠ 0). Adjunk az a_{n} konstans alkalmas megválasztásával (például

a_{n} = n) jó becslést a P (|S_{n}| > nε) valószínűségre.