A Valószínűségszámítás I. előadássorozat tizenegyedik témája.

A nagy számok törvénye.

A nagy számok törvényét fogom tárgyalni. Az irodalomban beszélnek mind a nagy számok gyenge mind a nagy számok erős törvényéről. Mind a két eredmény azt a tényt fejezi ki, hogy független, egyforma eloszlású valószínűségi változók átlaga nagyon általános feltételek mellett egy (determinisztikus) számhoz konvergál, ha az átlagban résztvevő valószínűségi változók száma végtelenhez tart. Továbbá ez a szám a valószínűségi változók várható értékével egyenlő, ha az létezik. Olyan eset is előfordul, amikor ez a várható érték nem létezik, de a nagy számok törvénye, legalábbis annak gyenge változata mégis érvényes. Ez azonban egy meglehetősen elfajuló eset, amely számunkra kevésbé érdekes. A nagy számok gyenge és erős törvénye közötti különbség megértéséhez tisztázni kell azt, hogy mit jelent valószínűségi változók átlagának a konvergenciája. E fogalomnak több értelmes definiciója van, és az erős jelző a nagy számok erős törvényében arra utal, hogy az átlag egy erős követelményeket előíró konvergenciafogalom szerint konvergál. A nagy számok gyenge törvényében csak egy viszonylag gyenge konvergenciafogalom szerinti határérték létezését követeljük meg. A pontos definiciókat a magyarázat fő részében ismertetem. Fő célunk a fogalmak és eredmények jó megértése lesz. A bizonyítások jelentős részét elhagyom vagy a nem kötelező Kiegészítés részben ismertetem.

Először felírom a további vizsgálatainkban fontos szerepet játszó különböző konvergenciafogalmakat, és tárgyalom egymással való kapcsolatukat.

Az egy valószínűségű konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt)

P (ω: lim_{n→∞} ξ_{n}(ω) = ξ(ω)) = 1.

Megjegyzés: Az egy valószínűségi konvergenciát a valószínűségszámításban és mértékelméletben majdnem mindenütt való konvergenciának is hívják.

A sztochasztikus konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál sztochasztikusan egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt) minden ε > 0 számra

lim_{n→∞} P (|ξ_{n}(ω) − ξ(ω)| > ε) = 0.

Az eloszlásban való konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez vagy az ezen eloszlásfüggvény által meghatározott eloszláshoz, ha lim_{n→∞} P (ξ_{n} < u) = F (u) minden olyan u számra, ahol az F (·) eloszlásfüggvény függvény folytonos. (Azt mondjuk, hogy a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata eloszlásban konvergál egy ξ valószínűségi változóhoz, ha ez a sorozat eloszlásban konvergál az F (u) = P (ξ < u) eloszlásfüggvényhez.)

A felsorolt konvergencia fogalmak között a következő a kapcsolat:

Egy valószínűségi konvergencia ⇒ Sztochasztikus konvergencia ⇒ Eloszlásban való konvergencia.

Tárgyaljuk először az egy valószínűségi és sztochasztikus konvergencia kapcsolatát. Ha ξ_{n}(ω) → ξ(ω) egy valószínűséggel, akkor definiálva az

A_{n} = A_{n}(ε) = {ω: sup_{k≥n} |ξ_{k}(ω) − ξ(ω)| < ε}

halmazokat azt kapjuk, hogy az egymásba skatulyázott A_{n} halmazokra, (azaz A_{1}(ε) ⊂

A_{2}(ε) ⊂ ⋯), teljesül a P ( ⋃_{n=1}^{∞} A_{n}) = 1 reláció. Ezért lim_{n→∞} P (A_{n}) = 1. Mivel érvényes

az {ω: |ξ_{n}(ω) − ξ(ω)| < ε} ⊃ A_{n} reláció, ezért P (|ξ_{n}(ω) − ξ(ω)| < ε) → 1, azaz P (|ξ_{n}(ω) − ξ(ω)| ≥ ε) → 0, ha n → ∞. Ez azt jelenti, hogy az egy valószínűségű konvergenciából következik a sztochasztikus konvergencia.

Nem kötelező házi feladat:

Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata, akkor és csak akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha az η_{n} = sup_{k≥n} |ξ_{k} −ξ| valószínűségi

változók sorozata sztochasztikusan konvergál nullához, azaz minden ε > 0 számra

P ( lim_{n→∞} sup_{k≥n} |ξ_{k} − ξ| > ε) = 0.

Lássunk példát arra, hogy lehetséges olyan ξ_{n}, n = 1, 2, …, és ξ valószínűségi változókat konstruálni, amelyekre a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata konvergál sztochasztikusan, de nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

Tekintsük a következő (Ω, A, P) valószínűségi mezőt: Ω a [0, 1] intervallum, A a Borel mérhető halmazok σ-algebrája a [0, 1] intervallumon, a P valószínűségi mérték a Lebesgue mérték. Legyen

ξ_{n}(x) = \{ \begin{matrix}1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \\ 0 ha x ∉ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \end{matrix}
akkor ha 2^{k} ≤ n < 2^{k+1}, k = 1, 2, …,

és ξ(x) = 0 minden 0 ≤ x ≤ 1 számra. Ekkor P (|ξ_{n} − ξ| > ε) = 2^{−k} minden ε > 0 számra, ha 2^{k} ≤ n < 2^{k+1}. Tehát a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál a ξ valószínűségi változóhoz. Viszont mivel lim sup_{n→∞} ξ_{n}(x) = 1 minden 0 ≤ x ≤ 1 számra,

ezért a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

A sztochasztikus konvergencia és eloszlásban való konvergencia közötti kapcsolatra érvényesek a következő nem kötelező házi feladatok formájában megfogalmazott állítások.

Nem kötelező házi feladat:

a.) Ha ξ_{n}, n = 1, 2, …, valószínűségi változók sztochasztikusan konvergálnak egy ξ valószínűségi változóhoz, akkor a ξ_{n} valószínűségi változók eloszlásban is konvergálnak ehhez a ξ valószínűségi változóhoz.

b.) Ennek az állításnak a megfordítása nem igaz. Például, ha ξ_{n}, n = 1, 2, …, független, egyforma eloszlású valószínűségi változók, amelyek nem elfajultak, azaz nincs olyan konstans amelyeket ezek a valószínűségi változók egy valószínűséggel vesznek fel, akkor a ξ_{n} valószínűségi változók eloszlásban konvergálnak a ξ_{1} valószínűségi változóhoz, viszont nem konvergálnak sztochasztikusan.

c.) Viszont igaz a következő állítás: Ha ξ_{n}, n = 1, 2, …, valószínűségi változók eloszlásban konvergálnak egy a konstanshoz, (azaz egy olyan valószínűségi változóhoz, amely egy valószínűséggel az a konstanst veszi fel, akkor a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan is konvergál ehhez az a konstanshoz.

Megfogalmazom, mit jelent az, hogy független, egyforma eloszlású valószínűségi változók teljesíti a nagy számok gyenge illetve erős törvényét.

Nagy számok gyenge törvényének a definiciója. Legyen ξ_{n}, n = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata egy valószínűségi mezőn, S_{n} =

∑_{k=1}^{n} ξ_{k}, k = 1, 2, . . .. Azt mondjuk, hogy ezek a ξ_{n}, n = 1, 2, …, valószínűségi változók

teljesítik a nagy számok gyenge törvényét, ha létezik olyan E szám, amelyre teljesül, hogy az \frac{S_{n}}{n}, n = 1, 2, …, valószínűségi változók sztochasztikusan konvergálnak az E számhoz, azaz ahhoz a valószínűségi változóhoz, amely egy valószínűséggel az E konstanssal egyenlő.

Nagy számok erős törvényének a definiciója. Legyen ξ_{n}, n = 1, 2, …, független,

egyforma eloszlású valószínűségi változók sorozata egy valószínűségi mezőn, S_{n} = ∑_{k=1}^{n} ξ_{k},

k = 1, 2, . . .. Azt mondjuk, hogy ezek a ξ_{n}, n = 1, 2, …, valószínűségi változók teljesítik a nagy számok erős törvényét, ha létezik olyan E szám, amelyre teljesül, hogy az \frac{S_{n}}{n}, n = 1, 2, …, valószínűségi változók 1 valószínűséggel konvergálnak az E számhoz, azaz ahhoz a valószínűségi változóhoz, amely egy valószínűséggel az E konstanssal egyenlő.

Arra vagyunk kiváncsiak, milyen feltételek mellett igaz a nagy számok gyenge és erős törvénye. Minél gyengébb feltételek teljesülése mellett szeretnénk bebizonyítani ezeket az eredményeket. A teljesen kielégítő válasz egy szükséges és elégséges feltétel lenne ezen eredmények érvényességére. Lehet ilyen eredményt bizonyítani. De e tulajdonságok jobb megértésének érdekében először megelégszünk a nagy számok gyenge és erős törvényének bizonyításával viszonylag erős feltételek teljesülése esetén. Először megmutatom a 7. téma ismertetésében szerepelt Csebisev egyenlőtlenség segítségével, hogy a nagy számok gyenge törvénye teljesül akkor, ha a tekintett valószínűségi változóknak véges második momentuma van. Felidézem a Csebisev egyenlőtlenséget.

Csebisev egyenlőtlenség: Ha a ξ valószínűségi változó második momentuma Eξ^{2} = m_{2} akkor tetszőleges x > 0 számra

P (|ξ| > x) ≤ \frac{m_{2}}{x^{2}} .

Innen következik, ha ezt az egyenlőtlenséget a ξ̄ = ξ − Eξ valószínűségi változóra alkalmazzuk, hogy

P (|ξ − Eξ| > x) ≤ \frac{Var ξ}{x^{2}} ,

A Csebisev egyenlőtlenség segítségével belátom a következő eredményt.

Tétel a nagy számok gyenge törvényéről. Legyen ξ_{n}, n = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata, amelyekre teljesül az Eξ_{1}^{2} < ∞ tulajdonság. Ezek a valószínűségi változók teljesítik a nagy számok gyenge törvényét az E = Eξ_{1} konstanssal.

Bizonyítás: Az adott feltételek mellett

P (|\frac{1}{n} ∑_{j=1}^{n}(ξ_{j} − Eξ_{j})| > ε) ≤ \frac{Var (\frac{1}{n} ∑_{j=1}^{n} ξ_{j})}{ε^{2}} = \frac{\frac{1}{n^{2}} ∑_{j=1}^{n} Var ξ_{j}}{ε^{2}} = \frac{Var ξ_{1}}{nε^{2}}

minden ε > 0 számra. Mivel lim_{n→∞} \frac{Var ξ_{1}}{nε^{2}} = 0, innen következik a Tétel állítása.

Megmutatom, hogy hogyan lehet a nagy számok gyenge törvényének a Csebisev egyenlőtlenségen alapuló bizonyítását finomítva a nagy számok erős törvényét is bebizonyítani alkalmas feltételek mellett. Az alább ismertetendő érvelésben valójában a tétel bizonyítása érdekében a szükségesnél sokkal erősebb kikötéseket teszek.

A nagy számok gyenge törvényét úgy bizonyítottuk be, hogy megvizsgáltuk milyen becslést ad a Csebisev egyenlőtlenség annak valószínűségére, hogy független, egyforma eloszlású valószínűségi változók átlaga legalább ε-nal eltér e változók várható értékétől. Idézzük fel ezt a számolást, illetve ezzel párhuzamosan vizsgáljuk meg azt is, hogy milyen becslést kapunk, ha továbbra is azt a valószínűségi változót vizsgáljuk, amelyet úgy kapunk, hogy független, egyforma eloszlású valószínűségi változók átlaga minusz azok várható értékét vesszük, de most ennek a valószínűségi változónak nemcsak a második momentumát számoljuk ki, mint tettük a Csebisev egyenlőtlenség alkalmazásában, hanem a negyediket is. Látni fogjuk, hogy ekkor érdekes új eredményeket kapunk.

Ezen eredmények tárgyalása előtt megfogalmazok egy az előadásokban nem ismertetett, de egy kiegészítésben részletesen tárgyalt eredményt, az úgynevezett Borel– Cantelli lemmát, amelyet használni fogunk a következő érvelésekben.

Borel–Cantelli lemma. Legyen adva végtelen sok A_{1}, A_{2}, ⋯ esemény egy (Ω, A, P) valószínűségi mezőn. A következő két állítás igaz:

a.) Ha ∑_{n=1}^{∞} P (A_{n}) < ∞, akkor egy valószínűséggel csak véges sok A_{n} esemény következik

be.

b.) Ha ∑_{n=1}^{∞} P (A_{n}) = ∞, és az A_{n}, n = 1, 2, …, események függetlenek, akkor egy

valószínűséggel végtelen sok sok A_{n} esemény következik be.

Megjegyzés. A Borel–Cantelli lemma a) része azt mondja ki, hogy ha az A_{n} események

valószínűsége viszonylag kicsi (a ∑_{n=1}^{∞} P (A_{n}) < ∞ reláció egy ilyen tipusú feltétel), akkor

az A_{n} események közül csak véges sok következik be 1 valószínűséggel. Ez az állítás a lemma egyszerűbb része, és ezt fogjuk a Borel–Cantelli könnyebb felének nevezni.

A lemma b) részében nemcsak azt követeltük meg, hogy ∑_{n=1}^{∞} P (A_{n}) = ∞, ami azt

fejezi ki, hogy az A_{n} események valószínűsége viszonylag nagy, hanem azt is, hogy az A_{n} események függetlenek. Ez a két feltétel együtt biztosítja azt, hogy az A_{n} események közül végtelen sok következik be. A függetlenségi feltétel a b) rész állításában gyengíthető, de teljesen el nem hagyható.

A nagy számok erős törvényének bizonyítása érdekében vezessük be először a következő jelöléseket. Legyenek ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók, S_{n} = ξ_{1} + ⋯ + ξ_{n}. Tegyük fel, hogy Eξ_{1} = 0, és vizsgáljuk az

E (\frac{S_{n}}{n} )^{2} , E (\frac{S_{n}}{n} )^{4} és P (\frac{|S_{n}|}{n} > ε) = P (|\frac{S_{n}}{n} − Eξ_{1}| > ε) , ε > 0

kifejezéseket. Az utolsó valószínűség vizsgálatában nem jelent megszorítást az Eξ_{1} = 0 feltétel, mert a ξ_{j} valószínűségi változókat a ξ_{j} − Eξ_{j} valószínűségi változókkal helyettesítve az általános esetet erre a speciális esetre redukálhatjuk.

Var \frac{S_{n}}{n} = \frac{1}{n^{2}} Var S_{n} = \frac{n}{n^{2}} Var ξ_{1} = \frac{1}{n}Var ξ_{1}, P (|\frac{S_{n}}{n} | > ε) ≤ \frac{Var ξ_{1}}{nε^{2}} .

Innen következik, hogy lim_{n→∞} P (|\frac{S_{n}}{n} | > ε) = 0, tehát érvényes a nagy számok gyenge törvénye.

Másrészt

ES_{n}^{4} = E(ξ_{1} + ⋯ + ξ_{n})^{4} = ∑_{k=1}^{n} Eξ_{k}^{4} + 6 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} Eξ_{j}^{2}Eξ_{k}^{2} + 4 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} \underbrace{Eξ_{j}^{3}Eξ_{k}}_{=0}

+ 4 ∑_{1≤j,k,l≤n j,k,l különböző számok} \underbrace{Eξ_{j}^{2}Eξ_{k}Eξ_{l}}_{=0}

+ ∑_{1≤j,k,l,m≤n j,k,l,m különböző számok} \underbrace{Eξ_{j}Eξ_{k}Eξ_{l}Eξ_{m}}_{=0}

= nEξ_{1}^{4} + 6n(n − 1)(Eξ_{1}^{2})^{2},

ezért

P (|\frac{S_{n}}{n} | > ε) = P (S_{n}^{4} > n^{4}ε^{4}) ≤ \frac{\frac{1}{n}Eξ_{1}^{4} + 6 (1 − \frac{1}{n})(Eξ_{1})^{2})}{n^{2}ε^{4}} ≤ \frac{const.}{n^{2}ε^{4}} .

Innen következik, hogy ∑_{n=1}^{∞} P (|\frac{S_{n}}{n} | > ε) < ∞ minden ε > 0 számra, és a Borel–Cantelli

lemma (könnyebbik feléből) következik, hogy minden ε > 0 számra és majdnem minden ω ∈ Ω pontban teljesül, hogy |\frac{S_{n}(ω)}{n} | ≤ ε, ha n ≥ n_{0}(ω). Alkalmazva ezt a relációt

minden ε = \frac{1}{k} számra k = 1, 2, …, kapjuk a nagy számok erős törvényét, amelyet az alábbi tételben fogalmazok meg.

A nagy számok erős törvényéről szóló tétel egy gyenge formája. Legyen ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata egy (Ω, A, P) va-

lószínűségi mezőn, amelyekre teljesül az Eξ_{1}^{4} < ∞ feltétel, és vezessük be az S_{n} = ∑_{j=1}^{n} ξ_{j}

valószínűségi változókat. Ekkor az \frac{S_{n}(ω)}{n} valószínűségi változók majdnem minden ω ∈ Ωra konvergálnak ez Eξ_{1}, számhoz, azaz ezek a valószínűségi változók teljesítik a nagy számok gyenge törvényét.

Valójában a nagy számok erős törvénye sokkal gyengébb feltételek mellett is teljesül. Kimondom a tételt abban a formában, amely megadja a nagy számok törvényének szükséges és elégséges feltételét.

A nagy számok erős törvényét kimondó tétel. Legyen ξ_{1}, ξ_{2}, …, független

egyforma eloszlású valószínűségi változók sorozata, és definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, …, részletösszegeket. Az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat akkor és csak akkor konvergál pozitív valószínűséggel, ha E|ξ_{1}| < ∞. Ha E|ξ_{1}| < ∞, akkor ez a sorozat teljesíti a nagy számok erős törvényét az E = Eξ_{1} konstanssal, azaz

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

Megjegyzés. Az előző tétel szerint a nagy számok erős törvényének az E|ξ_{1}| < ∞ reláció nemcsak elégséges, hanem szükséges feltétele is. Valóban, mint később látni fogjuk, ha E|ξ_{1}| = ∞, akkor az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat egy valószínűséggel divergens.

A fenti, a nagy számok különböző törvényeit kimondó tételekben az összeadandók momentumairól tettünk fel bizonyos feltételeket. Sőt, az utoljára kimondott tétel a nagy számok erős törvényéről egyben jelzi, hogy ily módon lehet megadni a nagy számok törvényének szükséges és elégséges feltételet is. Felmerülhet a kérdés, miért játszik olyan fontos szerepet a momentumok létezése ezekben az eredményekben.

A nagy számok törvényei olyan állítást fogalmaznak meg, hogy független valószínűségi változók átlagai egyfajta tipikus viselkedést mutatnak, amelyikben az egyes összeadandók hatása önmagában nem jelentős, azaz nagy valószínűséggel nem fordulhat elő, hogy van az összegben olyan kiugróan nagy értéket felvevő tag, amelynek hatása összemérhető az összes többi tag hatásával. Márpedig az, hogy egy valószínűségi változó valamely momentuma kisebb egy adott számnál olyan tulajdonságot fogalmaz meg, amely szerint a valószínűségi változó kis valószínűséggel vesz fel nagy értékeket. Annak érdekében, hogy finomabb vizsgálatokat tudjunk végezni, érdemes a momentumok végességét az eloszlásfüggvények nyelvén megfogalmazni. A következő lemma állítása hasznos lesz a nagy számok erős törvényének a bizonyításában.

Lemma. Egy ξ valószínűségi változó abszolut értékének akkor és csak akkor létezik

várható értéke, azaz akkor és csak akkor teljesül az E|ξ| < ∞ reláció, ha ∑_{n=1}^{∞} P (|ξ| >

n) < ∞.

Megjegyzés. Az alább ismertetendő bizonyítás finomításával be lehet látni, hogy egy |ξ| valószínűségi változónak akkor és csak akkor van véges második momentuma, ha

∑_{n=1}^{∞} nP (|ξ| > n) < ∞. Általánosabban E|ξ|^{α} < ∞ valamilyen α > 0, számra akkor és

csak akkor, ha ∑_{n=1}^{∞} n^{α−1}P (|ξ| > n) < ∞. De ezen állítások bizonyítását, amelyekre nem

lesz szükségünk, elhagyom.

A Lemma bizonyítása: Tekintsük először azt a speciális esetet, amikor a ξ valószínűségi változó csak egész értékeket vesz fel. Ekkor az E|ξ| < ∞ reláció definició szerint

akkor és csak akkor teljesül, ha ∑_{n=0}^{∞} nP (|ξ| = n) < ∞. Ezt úgy is írhatjuk, hogy

∑_{n=0}^{∞} n (P (|ξ| > n − 1) − P (ξ > n)) < ∞. Írjuk fel minden N egész számra a

∑_{n=0}^{N} nP (|ξ| = n) = ∑_{n=0}^{N} n (P (|ξ| > n − 1) − P (|ξ| > n)) = ∑_{n=0}^{N−1} P (|ξ| > n) − NP (|ξ| > N)

(∗)

azonosságot.

Ha E|ξ| = ∞, akkor ∑_{n=1}^{∞} P (|ξ| > n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≥ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| =

n) = ∞ a (∗) reláció alapján. Ha E|ξ| < ∞, akkor NP (|ξ| > N) ≤ E|ξ| minden N-re,

azaz az előző kifejezésnek van egy N-től független felső becslése. Ezért ∑_{n=1}^{∞} P (|ξ| >

n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≤ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| = n) + const. < ∞, szintén a (∗) reláció

alapján.

Egy általános ξ valószínűségi változó esetén definiáljuk a ξ_{1} és ξ_{2} valószínűségi változókat úgy, hogy k ≤ |ξ| < k + 1 esetén ξ_{1} = k, ξ_{2} = k + 1, k = 0, 1, 2, . . .. Ekkor ξ_{1} ≤ |ξ| ≤ ξ_{2}, és ξ_{2} − ξ_{1} ≡ 1, ezért az E|ξ_{1}|, E|ξ| és E|ξ_{2}| várható értékek egyszerre

végesek vagy végtelenek. Továbbá ∑_{n=0}^{∞} P (|ξ| > n) = ∑_{n=0}^{∞} P (ξ_{2} > n), ezért a Lemma

állítása az általános esetben következik annak már bebizonyított speciális esetéből.

Megmutatom az előző lemma eredményének és a Borel–Cantelli lemmának a segítségével, hogy amennyiben E|ξ_{1}| = ∞, akkor a ξ_{1} valószínűségi változóval azonos eloszlású ξ_{j}, j = 1, 2, …, független valószínűségi változók nem teljesítik a nagy számok erős

törvényét. Pontosabban azt állítom, hogy ebben az esetben az S_{n}(ω) = ∑_{j=1}^{n} ξ_{j}(ω), n =

1, 2, …, összegekre az \frac{S_{n}(ω)}{n} átlag majdnem minden ω ∈ Ω pontban nem konvergens.

Valóban, az előbb megfogalmazott eredmény, és a ξ_{j} valószínűségi változók azonos

eloszlása miatt az E|ξ_{1}| = ∞ feltételből következik, hogy ∞ = ∑_{n=1}^{∞} P (|ξ_{1}| > n) =

∑_{n=1}^{∞} P (|ξ_{n}| > n). Ezért, és a ξ_{n} valószínűségi változók függetlensége miatt a Borel–

Cantelli lemmából következik, hogy majdnem minden ω ∈ Ω-ra |ξ_{n}(ω)| > n végtelen sok az (ω elemi eseménytől függő) n indexre.

Tegyük fel, hogy valamely ω ∈ Ω elemi eseményre lim_{n→∞} \frac{S_{n}(ω)}{n} = a valamilyen véges

a számra, amelynek értéke függhet az ω elemi eseménytől. Ekkor a lim_{n→∞} \frac{S_{n−1}(ω)}{n} =

a reláció is teljesül, ahonnan lim_{n→∞} (\frac{S_{n}(ω)}{n} − \frac{S_{n−1}(ω)}{n}) = lim_{n→∞} \frac{ξ_{n}(ω)}{n} = 0. Viszont az

előző lemma és a Borel–Cantlli lemma b) része alapján ∑_{n=1}^{∞} P (|ξ_{n}(ω)| > n) = ∞, ezért

\frac{|ξ_{n}(ω)|}{n} ≥ 1 végtelen sok n indexre majdnem minden ω ∈ Ω elemi eseményre. Az ilyen ω elemi eseményekre a lim_{n→∞} \frac{ξ_{n}(ω)}{n} = 0 reláció nem teljesül.

Láttuk, hogy mind a nagy számok gyenge mind a nagy számok erős törvényének bizonyításához arra van szükségünk, hogy képesek legyünk független (és egyforma elosz-

lású), nulla várható értékű ξ_{1}, ξ_{2}, …, valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, n = 1, 2, …, összegének eloszlásfüggvényére jó becslést tudjunk adni. Pontosabban arra van szükségünk, hogy jól meg tudjuk becsülni minden n indexre és rögzített ε > 0 számra a P (|S_{n}| > εn) valószínűségeket. Valójában a nagy számok erős törvényének a bi-

zonyításában hasznosabb, ha a P ( sup_{1≤m≤n} |S_{m}| > εn) valószínűségeket tudjuk jól meg-

becsülni. Azt gondolhatnánk, hogy a P (|S_{n}| > nε) alakú valószínűségek becslésére alkalmazhatjuk a centrális határeloszlástételt. Valójában a helyzet bonyolultabb.

A centrális határeloszlástétel jó aszimptotikát ad a P (S_{n} > x\sqrt{n}) valószínűségekre nagy n indexre, és rögzített x számra. De szabad-e rögzített x helyett n-től függő x_{n} = ε\sqrt{n} (azaz \sqrt{n}x_{n} = εn) számot írni, és alkalmazni formálisan a centrális határeloszlásban szereplő képletet nem törődve az x_{n} számnak az n indextől való függésével? Azt, hogy e kérdés felvetésénél nem formális kötözködésről van szó mutatja a következő egyszerű példa: Legyenek ξ_{1}, ξ_{2} …, független egyforma eloszlású valószínűségi változók, ame-

lyekre P (ξ_{1} = 1) = P (ξ_{1} = −1) = \frac{1}{2}, S_{n} = ∑_{j=1}^{n} ξ_{j}. Ekkor a p_{n}(x) = P (S_{n} ≥ nx)

valószínűségre p_{n}(x) = 0, ha x > 1, és p_{n}(x) = 2^{−n}, ha x = 1. (Az x < 1 esetben is jó aszimptotikus formulát lehet adni a p_{n}(x) mennyiségre, de ahhoz külön vizsgálat lenne szükséges, ezért ezt most nem tesszük.) Ez a példa azt mutatja, hogy a p_{n}(x) függvény nem úgy viselkedik, ahogy a centrális határeloszlástételből adódó formális analógia sugallná. A P (S_{n} ≥ nx) alakú valószínűségek vizsgálatával a valószínűségszámítás egyik fontos és érdekes fejezete a nagy eltérések elmélete foglalkozik. Ez az elmélet nem témája a jelen előadássorozatnak.

A nagy számok erős törvényének a bizonyítását (amikor annak éles változatát vizsgáljuk, és csak a tétel szükséges feltételeit használjuk a bizonyításban) az előadás fő részében nem dolgozom ki. Viszont megfogalmazom a valószínűségszámítás egy fontos egyenlőtlenségét az úgynevezett Kolmogorov egyenlőtlenséget. Ennek bizonyítását megadom egy Kiegészítésben, és ott ismertetem azt is, hogyan lehet ennek segítségével bebizonyítani a nagy számok erős törvényét.

Annak szükséges és elégséges feltétele is ismert, hogy független egyforma eloszlású valószínűségi változók teljesítsék a nagy számok gyenge törvényét. Megfogalmazom ezt az eredményt, de az állítás bizonyítását elhagyom. Ennek az eredménynek az ismeretét sem várom el a vizsgán.

Tétel a nagy számok gyenge törvényének szükséges és elégséges feltételéről. Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata F eloszlásfüggvénnyel. Ezek a valószínűségi változók akkor és csak akkor teljesítik a nagy

számok gyenge törvényét, azaz a \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag akkor és csak akkor konvergál sztochasz-

tikusan n → ∞ esetében egy a számhoz, −∞ < a < ∞, ha

lim_{x→∞} x [F (−x) + (1 − F (x))] = 0, és lim_{x→∞} ∫_{−x}^{x} uF ( du) = a.

Megjegyzés: Vegyük észre, hogy ha független, egyforma eloszlású F eloszlásfüggvényű valószínűségi változók egy sorozata teljesíti a nagy számok erős törvényének szükséges és elégséges feltételét, azaz ∫_{−∞}^{∞} |u|F ( du) < ∞, akkor ez a sorozat teljesíti a nagy számok gyenge törvényének szükséges és elégséges feltételét is. Valóban, ebben az esetben lim_{x→∞} ∫_{−x}^{x} uF ( du) = ∫_{−∞}^{∞} uF ( du) a Lebesgue tétel szerint, és

lim sup_{x→∞} x [F (−x) + (1 − F (x))] ≤ lim_{x→∞} ∫_{{u: |u|≥x}} |u|F ( du) = 0

szintén a Lebesgue tétel alapján.

Ha összehasonlítjuk a nagy számok gyenge és erős törvényét azt látjuk, hogy a nagy számok gyenge törvénye némileg enyhébb megkötések mellett érvényes mint a nagy számok erős törvénye. Érdemes látni független, egyforma eloszlású valószínűségi változók olyan sorozatát, amely teljesíti a nagy számok gyenge, de nem teljesíti a nagy számok erős törvényét. Ilyen példát fogalmazok meg a következő nem kötelező házi feladatban. Egyben jelzem, hogyan lehet bebizonyítani azt, hogy ez a példa teljesíti a nagy számok gyenge törvényét anélkül, hogy felhasználnánk a nem bizonyított tételt a nagy számok gyenge törvényének szükséges és elégséges feltételéről.

Nem kötelező házi feladat:

Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata, az f(x) = \frac{C}{x^{2} log |x|}, ha |x| > 2. f(x) = 0, ha |x| ≤ 2, képlettel megadott

sűrűségfüggvénnyel. (∫_{|x|>2} \frac{C dx}{x^{2} log |x|} = 1.) Definiáljuk az S_{n} = ∑_{k=1}^{m} ξ_{k}, n = 1, 2, …,

részletösszegeket. Lássuk be, hogy E|ξ_{1}| = ∞, ezért ezek a valószínűségi változók nem teljesítik a nagy számok erős törvényét. Másrészt az \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, azaz minden ε > 0 számra P (|\frac{S_{n}}{n} | > ε) → 0, ha n → ∞.

Segítség: Legyen ξ̄_{k} = ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| ≤ a_{n}), ¯ ξ̄_{k} = ¯ ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| > a_{n}), és S̄_{n} =

∑_{k=1}^{n} ξ̄_{k}, ¯ S̄_{n} = ∑_{k=1}^{n} ¯ ξ̄_{k}. Ekkor P (|S_{n}| > εn) ≤ P (|S̄_{n}| > \frac{ε}{2}n) + P (|¯S̄_{n}| > \frac{ε}{2}n) ≤

\frac{Var S̄_{n}}{\frac{ε^{2}}{4} n^{2}} + nP ( ¯ξ̄_{1} ≠ 0). Adjunk az a_{n} konstans alkalmas megválasztásával (például

a_{n} = n) jó becslést a P (|S_{n}| > nε) valószínűségre.

Érdemes tekinteni a következő híres példát is, amelyben független, egyforma eloszlású valószínűségi változók átlaga nem teljesíti a nagy számok erős, sőt a nagy számok gyenge törvényét sem.

Példa:

Tekintsük független, (egyforma) Cauchy eloszlású ξ_{1}, …, x_{n} valószínűségi változók átlagát. Az, hogy ξ_{1} Cauchy eloszlású, azt jelenti, hogy sűrűségfüggvénye f(x) = \frac{1}{π} \frac{1}{1+x^{2}} , −∞ < x < ∞, alakú. (f(x) valóban sűrűségfüggvény, azt hogy ∫_{−∞}^{∞} f(x) dx = 1 könnyen ellenőrizhetjük, mert az \frac{1}{1+x^{2}} függvénynek az arctan x függvény a primitív

függvénye.) Az S_{n} = \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag szintén Cauchy eloszlású, azaz eloszlása megegyezik

(minden n számra) ξ_{1} eloszlásával. Ez azt is jelenti, hogy ez a sorozat nem teljesíti sem a nagy számok erős, sem a nagy számok gyenge törvényét. Jegyezzük meg, hogy ebben a példában lim sup_{x→∞} xF (x) = lim sup_{x→∞} x ∫_{x}^{∞} \frac{1}{π} \frac{1}{1+u^{2}} du = lim sup_{x→∞} \frac{1}{π} arctan x > 0, tehát nem

teljesülnek a nagy számok gyenge törvényének szükséges és elégséges feltételei.

Az S_{n} átlag sűrűségfüggvényét ki lehet számolni konvolucióval a fenti példában. De ez nagyon fárasztó számolást igényel. Egyszerűbb azt megmutatni, hogy ξ_{1} és S_{n} karakterisztikus függvényei megegyeznek. Ehhez azt kell tudni, hogy ξ_{1} karakterisztikus függvénye φ(t) = Ee^{itξ_{1}} = e^{−|t|}, ahonnan S_{n} karakterisztikus függvénye Ee^{itS_{n}} = φ(\frac{t}{n})^{n} = e^{−|t|}. Azt, hogy ξ_{1} karakterisztikus függvénye valóban az általunk megadott alakú viszonylag egyszerű bizonyítani a komplex függvénytanban kidolgozott reziduumszámítás segítségével.

Természetesen felvetődik a következő kérdés: Legyenek ξ_{1}, ξ_{2}, …, független egy-

forma eloszlású valószínűségi változók, amelyekre Eξ_{1} = 0. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k},

n = 1, 2, . . .. Ekkor a nagy számok gyenge törvénye szerint az \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, a nagy számok erős törvénye szerint pedig egy valószínűséggel is nullához tartanak. Hogyan lehet élesíteni a nagy számok gyenge illetve erős törvényét? Pontosabban fogalmazva, milyen a_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{a_{n}} sztochasztikusan tart nullához, ha n → ∞? Milyen b_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{b_{n}} egy valószínűséggel tart nullához, ha n → ∞? Az egyszerűség kedvéért tegyük fel, hogy olyan valószínűségi változókat tekintünk, amelyeknek van második momentumuk.

Az első kérdésre a válasz viszonylag egyszerű következménye a centrális határeloszlástételnek, és ezt tartalmazza a következő feladat. A második kérdésre a választ nehezebb megadni. Erre a kérdésre az alább megfogalmazott bizonyítás nélkül közölt iterált logaritmustétel adja meg a választ.

Feladat:

Legyenek ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók, amelyekre

Eξ_{1} = 0 és Eξ_{1}^{2} < ∞. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, . . .. Ekkor pozitív valós számok

valamely a_{n} sorozatára a \frac{S_{n}}{a_{n}} valószínűségi változók akkor és csak akkor tartanak sztochasztikusan nullához n → ∞ esetén, ha lim_{n→∞} \frac{a_{n}}{\sqrt{n}} = ∞.

Végül megfogalmazom a valószínűségszámítás egyik híres eredményét, az úgynevezett iterált logaritmus tételt

Iterált logaritmus tétel. Legyenek ξ_{1}(ω), ξ_{2}(ω), …, független, egyforma eloszlású valószínűségi változók valamilyen (Ω, A, P) valószínűségi mezőn, amelyekre Eξ_{1}(ω) = 0, Var ξ_{1}(ω) = σ^{2} < ∞. Ekkor

lim sup_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = 1, majdnem minden ω ∈ Ω elemi eseményre,

és

lim inf_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = −1, majdnem minden ω ∈ Ω elemi eseményre.

Tanulságos lehet a következő, talán kissé meglepő eredményeket tartalmazó feladatsor megoldása. E feladatok vizsgálatában fontos szerepet játszik a nagy számok törvénye.

Feladatok.

1.) Tegyük fel, hogy a következő játékot játszhatjuk: Feldobnak egy szabályos pénzdarabot egymástól függetlenül egymás után. Amennyiben fej a dobás eredménye, akkor a feltett tét dupláját kapjuk, ha írás, akkor a tét \frac{2}{3} részét elveszítjük, és csak \frac{1}{3} részét őrizhetjük meg. Mivel ez a játék előnyös, ezért feltesszük minden játékban minden pénzünket. Lássuk be, hogy amennyiben A volt a vagyonunk a játék kezdete előtt, és Z_{n} jelöli vagyonunkat az n-ik játék után, akkor

a) EZ_{n} = A (\frac{7}{6})^{n}, azaz vagyonunk várható értéke exponenciálisan nő.

b) Z_{n} egy valószínűséggel nullához tart, azaz ha sokáig játszunk, akkor közel egy valószínűséggel majdnem minden pénzünket elveszítjük.

c) Értsük meg, hogy a feladat a) és b) részének az állítása nem mond egymásnak ellent.

Megoldás: Vezessük be a következő ξ_{j} valószínűségi változókat: ξ_{j} = 2, ha a j-ik dobás eredménye fej, ξ_{j} = \frac{1}{3}, ha a j-ik dobás eredménye írás. Ekkor ξ_{1}, ξ_{2}, …, független valószínűségi változók, P (ξ_{j} = 2) = P (ξ_{j} = \frac{1}{3}) = \frac{1}{2}, és ezenkívül nyereményünk az n-ik játék után Z_{n} = Aξ_{1}ξ_{2} ⋯ ξ_{n}. Ezért Eξ_{j} = \frac{1}{2} (2 + \frac{1}{3}) = \frac{7}{6}, és EZ_{n} = EAξ_{1}ξ_{2} ⋯ ξ_{n} = AEξ_{1}Eξ_{2} ⋯ Eξ_{n} = A (\frac{7}{6})^{n}. Ez a feladat a) állítása.

A Z_{n} = Aξ_{1}ξ_{2} ⋯ ξ_{n} relációból következik, hogy \frac{1}{n} log Z_{n} = \frac{log A}{n} + \frac{1}{n} ∑_{j=1}^{n} log ξ_{j}.

Továbbá, E log ξ_{j} = \frac{1}{2} (log 2 + log \frac{1}{3}) = −\frac{1}{2} log \frac{3}{2}. Ezért a nagy számok (erős) törvénye szerint \frac{1}{n} log Z_{n} egy valószínűséggel konvergál a negatív −\frac{1}{2} log \frac{3}{2} számhoz. Innen következik, hogy 1 valószínűséggel lim_{n→∞} log Z_{n} = −∞, és ezért lim_{n→∞} Z_{n} = 0.

Az a) rész bizonyítása azon alapult, hogy Eξ_{j} > 1, a b) részé pedig azon, hogy E log ξ_{j} < 0. Ez a két egyenlőtlenség teljesülhet egyszerre, mert a várható érték és a logaritmusképzés egymással nem felcserélhető. Igaz az Ee^{η} ≥ e^{Eη} egyenlőtlenség (ez a konvex függvényekre vonatkozó úgynevezett Jensen egyenlőtlenség speciális esete), ahonnan ξ = log η választással Eξ ≥ e^{log Eξ}, de egyenlőség nem írható a fenti egyenlőtlenség helyett. Megjegyzem, hogy hasonló, de egyszerűbben érthető példát mutat a feladat a) és b) állításának egyszerre való teljesülésére a következő modell. Olyan játékot játszunk, amelyben \frac{1}{2} valószínűséggel elveszítjük, \frac{1}{2} valószínűséggel pedig megháromszorozzuk a pénzünket. Az egyes játékok egymástól függetlenek, és minden időpontban minden pénzünket feltesszük. Ekkor annak a valószínűsége, hogy az n-ik játék után minden pénzünket elveszítjük, 1−(\frac{1}{2})^{n}, ami rendkívül gyorsan tart egyhez, és pénzünk várható értéke 3^{n} (\frac{1}{2})^{n}, ami exponenciálisan gyorsan nő az n függvényében. Hasonló, csak kissé rejtettebb jelenség történik az általunk tárgyalt feladatban is. Tekintsük a feladatban vizsgált játék nyereményét sok játék után. Azt állíthatjuk, hogy nagy n indexre az n-ik játék után nagy valószínűséggel alig marad pénzünk. Viszont kis valószínűséggel nagyon sok pénzt nyerünk, és ezért nyereményünk várható értéke nagy. Ez az oka annak, hogy nemcsak a b), hanem az a) állítás is teljesül.

A feladatban tárgyalt modell egyben olyan példát is ad, amelyben a Lebesgue tétel állítása nem érvényes, mert nem teljesülnek a Lebesgue tétel feltételei. Ebben a modellben a nyereményünk értéke 1 valószínűséggel nullához tart, a várható értéke (azaz a nyeremény értékének a P valószínűségi mérték szerinti integrálja) viszont nem a határérték integráljához, azaz nullához, hanem végtelenhez konvergál.

2.) Tekintsük az 1. feladatban tárgyalt játékot azzal a különbséggel, hogy óvatosabban játszunk. A játék minden egyes fordulójában vagyonunk u-ad részét, 0 ≤ u ≤ 1, tesszük fel tétként. Jelölje Z_{n}(u) vagyonunkat a játék n-ik lépése után. Ekkor az \frac{1}{n} log Z_{n}(u) valószínűségi változók egy valószínűséggel konvergálnak egy B(u) számhoz. Határozzuk meg a legjobb ū számot, amelyre B(ū) = sup_{0≤u≤1} B(u). Lássuk

be, hogy B(ū) > 0, ami azt jelenti, hogy nyereményünk exponenciálisan nő 1 valószínűséggel.

Megoldás: Vezessük be a ξ_{j} = ξ_{j}(u), j = 1, 2, …, valószínűségi változókat, amelyekre ξ_{j} = 1 + u, ha a j-ik dobás eredménye fej, és ξ_{j} = ξ_{j}(u) = 1 − \frac{2u}{3}, ha a j-ik dobás eredménye írás. Ekkor az n-ik lépésben a vagyonunk Z_{n} = Aξ_{1} ⋯ ξ_{n}, a ξ_{j}, j = 1, 2, …, valószínűségi változók függetlenek és egyforma eloszlásúak,

ezért \frac{1}{n} log Z_{n} = \frac{log A}{n} + \frac{1}{n} ∑_{j=1}^{n} log ξ_{j}, és a nagy számok erős törvénye szerint az

\frac{1}{n} log Z_{n} valószínűségi változók 1 valószínűséggel konvergálnak a B(u) = E log ξ_{1} = \frac{1}{2} (log(1 + u) + log (1 − \frac{2u}{3})) = \frac{1}{2} log(1 + u) (1 − \frac{2u}{3}) számhoz. A B(u) függvény a maximumát az ū = \frac{1}{4} helyen veszi fel, és B(ū) = \frac{1}{2} log \frac{25}{24} > 0.

3.) Tegyük fel, hogy olyan játékot játszhatunk, amelynek n-ik fordulóbeli nyereménye A forint tét feltétele esetén Aξ_{n} forint, ahol ξ_{1}, …, ξ_{n}, … független, egyforma eloszlású valószínűségi változók, amelyekre, Eξ_{1} > 1. Legyen 1 forintunk az első forduló előtt. Van olyan ezt a feltételt teljesítő modell, amelyre abban az esetben, ha merészen játszunk, azaz ha minden fordulóban feltesszük a teljes vagyonunkat, akkor a vagyonunk nullához tart n → ∞ esetén. Viszont ha minden fordulóban a vagyonunk u-ad részét tesszük fel valamely 0 < u < 1 számmal, akkor az u szám alkalmas választásával elérhető. hogy vagyonunk értéke exponenciálisan nőjön n → ∞ esetén, azaz létezzen olyan B(u) > 1 szám, amelyre az n forduló utáni vagyonunk B(n) értékére lim_{n→∞} B_{n}^{1/n} = B(u) egy valószínűséggel.

Megoldás: Az 1. feladatban megadtunk egy olyan modellt, amelyben merész játék esetén nyereményünk értéke nullához tart n → ∞ esetén. Másrészt, ha vagyonunk u-ad-részét tesszük fel minden fordulóban, és X_{n} jelöli vagyonunkat az n-ik forduló után, akkor X_{n+1} = (1 − u)X_{n} + uX_{n}ξ_{n} = X_{n}η_{n}, ahol η_{n} =

η_{n}(u) = 1 − u + uξ_{n}. Innnen X_{n+1} = ∏_{j=1}^{n} η_{j}, és a nagy számok törvénye sze-

rint lim_{n→∞} \frac{1}{n} log X_{n} = lim_{n→∞} \frac{1}{n} ∑_{j=1}^{n} log η_{j} = E log η_{1} egy valószínűséggel. Ezért elég

belátni, hogy E log η_{1}(u) > 0 alkalmas 0 < u < 1 számra. Viszont az f(u) = E log η_{1}(u) függvényre f(0) = 0, és deriváltjára f′(0) = E \frac{ξ_{n}−1}{1+u(ξ_{n}−1)} |_{u=0} = Eξ_{n} − 1 > 0. Ez azt jelenti, hogy f(u) > 0 minden elég kis u > 0 számra. Innen következik a feladat állítása.

Kiegészítés. A nagy számok erős törvényének a bizonyítása.

Ebben a kiegészítésben bebizonyítom a nagy számok törvényének elégségességről szóló felét az alább megfogalmazott Kolmogorov egyenlőtlenség segítségével. Azt látom be, hogy ha ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók sorozata, és teljesül az E|ξ_{1}| < ∞ feltétel, akkor ez a sorozat teljesíti a nagy számok erős törvényét.

Kolmogorov egyenlőtlenség. Legyenek ξ_{1}, …, ξ_{n} független, (nem feltétlenül egyforma eloszlású) valószínűségi változók, Eξ_{k} = 0, Eξ_{k}^{2} = σ_{k}^{2}. Tekintsük e valószínűségi

változók S_{k} = ∑_{p=1}^{k} ξ_{p}, k = 1, …, n, részletösszegeit. Ekkor

P ( sup_{1≤k≤n} |S_{k}| ≥ x) ≤ \frac{ES_{n}^{2}}{x^{2}} = \frac{∑_{k=1}^{n} σ_{k}^{2}}{x^{2}}

minden x > 0 számra.

A Kolmogorov egyenlőtlenség bizonyítása. Rögzítsünk egy x > 0 számot, és vezessük be a következő τ(ω) = τ(n, x, ω) véletlen időpontot: τ(ω) = k valamely 1 ≤ k ≤ n számra, ha |S_{k}(ω)| ≥ x, és |S_{j}(ω)| < x minden 1 ≤ j < k számra, és τ(ω) = n, ha |S_{j}(ω)| < x minden 1 ≤ j ≤ n indexre. A τ véletlen időpont (megállási szabály) szemléletes tartalma a következő: Az első olyan k ≤ n időpontot keressük, amelyre S_{k} ≥ x. Ha van ilyen időpont, akkor τ ezzel az időponttal egyenlő. Ha nincs ilyen időpont, akkor τ = n. Azt állítom, hogy érvényes az

ES_{τ}^{2} ≤ ES_{n}^{2}  (a)

egyenlőtlenség. Ennek bizonyítása érdekében vezessük be a τ_{j} = max(τ, j), 1 ≤ j ≤ n, valószínűségi változókat. Mivel τ_{1} = τ, és τ_{n} = n, ezért az (a) reláció bizonyításához elég megmutatni, hogy ES_{τ_{j}}^{2} ≤ ES_{τ_{j+1}}^{2} minden 1 ≤ j < n indexre. Viszont S_{τ_{j}}(ω) = S_{τ_{j+1}}(ω), ha τ > j, és S_{τ_{j}}(ω) = S_{j}(ω), S_{τ_{j+1}}(ω) = S_{j+1}(ω) = S_{j}(ω)+ξ_{j+1}(ω), ha τ ≤ j. Ezért elég megmutatni, hogy

ES_{τ_{j+1}}^{2}(ω) − ES_{τ_{j}}^{2}(ω) = E [(S_{τ_{j}}(ω) + ξ_{j+1}(ω))^{2} − S_{τ_{j}}^{2}(ω)] I_{A}(ω)
= 2EI_{A}(ω)S_{j}(ω)ξ_{j+1}(ω) + Eξ_{j+1}^{2}(ω)I_{A}(ω) ≥ 0,

ahol A az {ω: τ(ω) ≤ j} esemény, és I_{A}(ω) az A halmaz indikátor függvénye. Ezen egyenlőtlenség igazolásának érdekében vegyük észre, hogy a ξ_{j+1}(ω) és I_{A}(ω)S_{j}(ω) valószínűségi változók függetlenek, mivel a második valószínűségi változó a ξ_{1}(ω), …, ξ_{j}(ω) valószínűségi változók függvénye. Innen következik, hogy

EI_{A}(ω)S_{j}(ω)ξ_{j+1}(ω) = EI_{A}(ω)S_{j}(ω)Eξ_{j+1}(ω) = 0.

Másrészt Eξ_{j+1}^{2}(ω)I_{A}(ω) ≥ 0. Innen következik a bizonyítandó egyenlőtlenség és az (a) reláció.

A Kolmogorov egyenlőtlenség egyszerűen következik az (a) relációból és a Csebisev

egyenlőtlenségből. Valóban, mivel {ω: sup_{1≤k≤n} |S_{k}(ω)| ≥ x} = {ω: |S_{τ} (x)| ≥ x}, ezért

P ( sup_{1≤k≤n} |S_{k}| ≥ x) = P (|S_{τ} | ≥ x) ≤ \frac{ES_{τ}^{2}}{x^{2}} ≤ \frac{ES_{n}^{2}}{x^{2}} .

Érdemes megjegyezni, hogy a Kolmogorov egyenlőtlenség ugyanazt a felső becslést adja annak valószínűségére, hogy az S_{k} részletösszegek szuprémuma nagyobb mint valamilyen x > 0 szám, mint amit a Csebisev egyenlőtlenség ad annak az eseménynek a valószínűségére, hogy az utolsó tag S_{n} nagyobb, mint x. Természetesen

P ( sup_{1≤k≤n} |S_{k}| > x) ≥ P (|S_{n}| > x) ,

de mint ahogy a Kolmogorov és Csebisev egyenlőtlenség összehasonlítása is sugallja a fenti egyenlőtlenség baloldala nem sokkal nagyobb mint a jobboldala.

A nagy számok törvényének bizonyításában hasznos a következő technikai jellegű lemma.

Kronecker lemma: Ha az a_{k} és q_{k}, k = 1, 2, … számsorozatok olyanok, hogy a ∑_{k=1}^{∞} a_{k}

összeg konvergens, a q_{k} sorozat monoton nő és lim_{k→∞} q_{k} = ∞, akkor lim_{n→∞} \frac{1}{q_{n}} ∑_{k=1}^{n} a_{k}q_{k} = 0.

A Kronecker lemma bizonyítása. Vezessük be az R_{n} = ∑_{k=n}^{∞} a_{k}, n = 1, 2, …, összegeket,

és írjuk fel az \frac{1}{q_{n}} ∑_{k=1}^{n} a_{k}q_{k} = \frac{1}{q_{n}} ∑_{k=1}^{n}(R_{k} − R_{k+1})q_{k} = \frac{1}{q_{n}} ∑_{k=1}^{n} R_{k}(q_{k} − q_{k−1}) − R_{n+1}

azonosságot, ahol a q_{0} = 0 jelölést használjuk. (A fenti típusú számolás, amelyet Abelféle átrendezésnek hívnak, a parciális integrálás diszkrét megfelelője.) Felhasználva, hogy létezik olyan R < ∞ szám, amelyre |R_{n}| < R minden n = 1, 2, … indexre, továbbá minden ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε) index, amelyre |R_{n}| ≤ ε, ha n ≥ n_{0}, és q_{k} − q_{k−1} ≥ 0 minden k = 1, 2, …, számra, az előző azonosság alapján felírhatjuk a következő egyenlőtlenséget:

\frac{1}{q_{n}} |∑_{k=1}^{n} a_{k}q_{k}| ≤ \frac{1}{q_{n}} ∑_{k=1}^{n_{0}} R(q_{k} − q_{k−1}) + \frac{1}{q_{n}} ∑_{k=n_{0}+1}^{n} ε(q_{k} − q_{k−1}) + ε ≤ R\frac{q_{n_{0}}}{q_{n}} + 2ε,

ha n ≥ n_{0}. Mivel ez az egyenlőtlenség minden ε > 0 számra érvényes, és lim_{n→∞} q_{n} = ∞, innen n → ∞ határátmenettel következik a Kronecker lemma állítása.

A nagy számok erős törvényének be nem bizonyított elégséges részének igazolásához (ahhoz, hogy véges várható érték létezése esetén igaz a nagy számok erős törvénye) elegendő a következő állítást bebizonyítani.

Tétel a nagy számok erős törvényéről. Ha ξ_{n}, n = 1, 2, …, független egyforma

eloszlású valószínűségi változók sorozata, E|ξ_{1}| < ∞, Eξ_{1} = 0, S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, …, akkor lim_{n→∞} \frac{S_{n}}{n} = 0 egy valószínűséggel.

A nagy számok erős törvényéről szóló tétel bizonyítása. Vezessük be a tételben szereplő ξ_{n} valószínűségi változók következő felbontását: ξ_{n} = ξ′_{n} + ξ′′_{n}, ahol ξ′_{n} = ξ_{n}I(|ξ_{n}| ≤ n), ξ′′_{n} = ξ_{n}I(|ξ_{n}| > n), és I(A) az A halmaz indikátorfüggvényét jelöli. Megmutatom, hogy

a tétel állításának bizonyítását redukálni lehet a lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} ξ′_{n} = 0 egy valószínűséggel,

sőt a lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n}(ξ′_{n} − Eξ′_{n}) = 0 egy valószínűséggel reláció bizonyítására.

Az első redukció igazolásához elég észrevenni, hogy

∑_{k=1}^{∞} P (ξ′′_{k} ≠ 0) = ∑_{k=1}^{∞} P (|ξ_{k}| > k) = ∑_{k=1}^{∞} P (|ξ_{1}| > k) ≤ 1 + E|ξ_{1}| < ∞,

ezért a Borel–Cantelli lemma alapján egy valószínűséggel csak véges sok k-ra teljesül a

ξ′′_{k} ≠ 0 esemény. Innen \frac{1}{n} ∑_{k=1}^{n} ξ′′_{k} → 0 egy valószínűséggel.

A második redukció igazolásához elég megmutatni, hogy

|\frac{1}{n} ∑_{k=1}^{n} Eξ′_{k}| = |−\frac{1}{n} ∑_{k=1}^{n} Eξ′′_{k}| ≤ \frac{1}{n} ∑_{k=1}^{n} E|ξ_{1}|I(|ξ_{1}| ≥ k) → 0,

ha n → ∞, mert E|ξ_{1}| < ∞, és ezért E|ξ_{1}|I(|ξ_{1}| > k) → 0, ha k → ∞.

A redukált állítást érdemes a Kronecker lemma segítségével visszavezetni a következő állítás igazolására. A tétel feltételeinek teljesülése esetén a ∑_{n=1}^{∞} \frac{ξ′_{n}−Eξ′_{n}}{n} összeg egy valószínűséggel konvergens. Valóban, ebből az állításból és a Kronecker lemmából a_{k} = \frac{ξ′_{k}−Eξ′_{k}}{k} és q_{k} = k választással következik, hogy lim_{n→∞} ∑_{k=1}^{n} \frac{ξ′_{k}−Eξ′_{k}}{n} = 0 egy valószínűséggel.

Ezen állítás igazolásához elég belátni, hogy tetszőleges ε > 0 számra

P ( sup_{N≥n} |∑_{k=n}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > ε) → 0 ha n → ∞.

Innen ugyanis következik, hogy

P ( sup_{N,M: N≥n, M≥n} | ∑_{k=M}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > 2ε) → 0 ha n → ∞.

Mivel ez az egyenlőtlenség alkalmazható minden ε = \frac{1}{k}, k = 1, 2, …, számra, innen következik, hogy a ∑_{k=1}^{n} \frac{ξ′_{k}−Eξ′_{k}}{k} sorozat egy valószínűséggel Cauchy sorozat, és a

∑_{k=1}^{∞} \frac{ξ′_{k}−Eξ′_{k}}{k} összeg egy valószínűséggel konvergens.

Az igazolandó egyenlőtlenséget a Kolmogorov egyenlőtlenség segítségével igazolhatjuk. Ugyanis a Kolmogorov egyenlőtlenség alapján

P ( sup_{N≥n} |∑_{k=n}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > ε) ≤ \frac{1}{ε^{2}} ∑_{k=n}^{∞} \frac{Var ξ′_{k}}{k^{2}} ≤ \frac{1}{ε^{2}} ∑_{k=n}^{∞} \frac{Eξ′_{k}^{2}}{k^{2}} .

Ezért a kívánt egyenlőtlenség igazolásához elég megmutatni, hogy

∑_{k=1}^{∞} \frac{Eξ′_{k}^{2}}{k^{2}} < ∞.

Ez az egyenlőtlenség következik az alábbi számolásból.

∑_{k=1}^{∞} \frac{1}{k^{2}} Eξ′_{k}^{2} ≤ ∑_{k=1}^{∞} \frac{1}{k^{2}} Eξ_{1}^{2}I(|ξ_{1}| > k) ≤ const. ∑_{j=1}^{∞} j^{2}P (j ≤ |ξ_{1}| < j + 1) (∑_{k=j}^{∞} \frac{1}{k^{2}} )

≤ const. ∑_{j=1}^{∞} jP (j ≤ |ξ_{1}| < j + 1) ≤ const. E|ξ_{1}| < ∞.