A Valószínűségszámítás I. előadássorozat tizenharmadik előadása. 2007. május 15.

A nagy számok törvényét fogom tárgyalni. Felidézem a nagy számok már tárgyalt gyenge törvényét, és megfogalmazom a nagy számok erős törvényét is. Annak érdekében, hogy az eredményeket jobban megértsük felidézek néhány korábban tárgyalt fogalmat és eredményt. A bizonyítások jelentős részét elhagyom, vagy a nem kötelező Kiegészítés részben ismertetem.

A nagy számok erős törvénye.

Tárgyaltuk a nagy számok gyenge törvényét. Ez az eredmény azt mondja ki, hogy ha ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók sorozata, és tekintjük e

valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, részletösszegeit és \frac{S_{n}}{n} átlagait minden n = 1, 2, …

számra, akkor ezek az \frac{S_{n}}{n} átlagok sztochasztikusan konvergálnak az ξ_{1} valószínűségi változó Eξ_{1} várható értékéhez. Beláttuk, (a Csebisev egyenlőtlenség segítségével), hogy a nagy számok gyenge törvénye érvényes akkor, ha a ξ_{1} valószínűségi változónak létezik szórásnégyzete. Valójában ez a feltétel lényegesen gyengíthető. Megmutatom, hogy független valószínűségi változók átlagai nagyon általános feltételek mellett nemcsak sztochasztikusan, hanem egy valószínűséggel is konvergálnak a ξ_{1} valószínűségi változó Eξ_{1} várható értékéhez. Ezt az eredményt nevezik a nagy számok erős törvényének. Megfogalmazom az említett eredményeket és fogalmakat pontosan, és tárgyalni fogom ezen eredmények egymással való kapcsolatát. Sok eredményt csak kimondok, de időhiány miatt a bizonyítását elhagyom.

Először felírom a (részben már korábban ismertetett) különböző konvergenciafogalmakat.

Az egy valószínűségű konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt)

P (ω: lim_{n→∞} ξ_{n}(ω) = ξ(ω)) = 1.

Megjegyzés: Az egy valószínűségi konvergenciát a valószínűségszámításban és mértékelméletben majdnem mindenütt való konvergenciának is hívják.

A sztochasztikus konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál sztochasztikusan egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt) minden ε > 0 számra

lim_{n→∞} P (|ξ_{n}(ω) − ξ(ω)| > ε) = 0.

Az eloszlásban való konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez vagy az ezen eloszlásfüggvény által meghatározott eloszláshoz, ha lim_{n→∞} P (ξ_{n} < u) = F (u) minden olyan u számra, ahol az F (·) eloszlásfüggvény függvény folytonos. (Azt mondjuk, hogy a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata eloszlásban konvergál egy ξ valószínűségi változóhoz, ha ez a sorozat eloszlásban konvergál az F (u) = P (ξ < u) eloszlásfüggvényhez.)

A továbbiakban tárgyalni fogom (részben kitűzött feladatok formájában) a különböző konvergenciafogalmak közötti kapcsolatot.

A felsorolt konvergencia fogalmak között a következő a kapcsolat:

Egy valószínűségi konvergencia ⇒ Sztochasztikus konvergencia ⇒ Eloszlásban való konvergencia.

Tárgyaljuk először az egy valószínűségi és sztochasztikus konvergencia kapcsolatát. Ha ξ_{n}(ω) → ξ(ω) egy valószínűséggel, akkor definiálva az

A_{n} = A_{n}(ε) = {ω: sup_{k≥n} |ξ_{k}(ω) − ξ(ω)| < ε}

halmazokat azt kapjuk, hogy az egymásba skatulyázott A_{n} halmazokra, (azaz A_{1}(ω) ⊂

A_{2} ⊂ ⋯), teljesül a P ( ⋃_{n=1}^{∞} A_{n}) = 1 reláció. Ezért lim_{n→∞} P (A_{n}) = 1. Mivel érvényes a

{ω: |ξ_{n}(ω) − ξ(ω)| < ε} ⊃ A_{n} reláció, ezért P (|ξ_{n}(ω) − ξ(ω)| < ε) → 1, azaz P (|ξ_{n}(ω) − ξ(ω)| ≥ ε) → 0, ha n → ∞. Ez azt jelenti, hogy az egy valószínűségű konvergenciából következik a sztochasztikus konvergencia.

Nem kötelező házi feladat:

Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata, akkor és csak akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha az η_{n} = sup_{k≥n} |ξ_{k} −ξ| valószínűségi

változók sorozata sztochasztikusan konvergál nullához, azaz minden ε > 0 számra

P ( lim_{n→∞} sup_{k≥n} |ξ_{k} − ξ| > ε) = 0.

Lássunk példát arra, hogy lehetséges olyan ξ_{n}, n = 1, 2, …, és ξ valószínűségi változókat konstruálni, amelyekre a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan tart ξhez, de a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

Tekintsük a következő (Ω, A, P) valószínűségi mezőt: Ω a [0, 1] intervallum, A a Borel mérhető halmazok σ-algebrája a [0, 1] intervallumon, a P valószínűségi mérték a Lebesgue mérték. Legyen

ξ_{n}(x) = \{ \begin{matrix}1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \\ 0 ha x ∉ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \end{matrix}
akkor ha 2^{k} ≤ n < 2^{k+1}, k = 1, 2, …,

és ξ(x) = 0 minden 0 ≤ x ≤ 1 számra. Ekkor P (|ξ_{n} − ξ| > ε) = 2^{−k} minden ε > 0 számra, ha 2^{k} ≤ n < 2^{k+1}. Tehát a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál a ξ valószínűségi változóhoz. Viszont mivel lim sup_{n→∞} ξ_{n}(x) = 1 minden 0 ≤ x ≤ 1 számra,

ezért a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz. Másrészt a Borel-Cantelli lemmából következik, hogy amennyiben minden ε > 0

számra ∑_{n=1}^{∞} P (|ξ_{n} − ξ| > ε) < ∞, akkor a ξ_{n} sorozat egy valószínűséggel konvergál a ξ

valószínűségi változóhoz. Miért?

A sztochasztikus konvergencia és eloszlásban való konvergencia közötti kapcsolatra érvényesek a következő nem kötelező házi feladatok formájában megfogalmazott állítások.

Nem kötelező házi feladat:

a.) Ha ξ_{n}, n = 1, 2, …, valószínűségi változók sztochasztikusan konvergálnak egy ξ valószínűségi változóhoz, akkor a ξ_{n} valószínűségi változók eloszlásban is konvergálnak ehhez a ξ valószínűségi változóhoz.

b.) Ennek az állításnak a megfordítása nem igaz. Például, ha ξ_{n}, n = 1, 2, …, független, egyforma eloszlású valószínűségi változók, amelyek nem elfajultak, azaz nincs olyan konstans amelyeket ezek a valószínűségi változók egy valószínűséggel vesznek fel, akkor a ξ_{n} valószínűségi változók eloszlásban konvergálnak a ξ_{1} valószínűségi változóhoz, viszont nem konvergálnak sztochasztikusan.

c.) Viszont igaz a következő állítás: Ha ξ_{n}, n = 1, 2, …, valószínűségi változók eloszlásban konvergálnak egy a konstanshoz, (azaz egy olyan valószínűségi változóhoz, amely egy valószínűséggel az a konstanst veszi fel, akkor a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan is konvergál ehhez az a konstanshoz.

Most rátérek annak tárgyalására, hogy hogyan lehet a nagy számok gyenge törvényének a Csebisev egyenlőtlenségen alapuló bizonyítását finomítva a nagy számok erős törvényét is bebizonyítani alkalmas feltételek mellett. Az alább ismertetendő érvelésben valójában a tétel bizonyítása érdekében a szükségesnél sokkal erősebb kikötéseket teszek. Idézzük fel a Csebisev egyenlőtlenséget, illetve a nagy számok gyenge törvényének a bizonyítását a Csebisev egyenlőtlenség segítségével.

Csebisev egyenlőtlenség: Ha a ξ valószínűségi változó második momentuma Eξ^{2} = m_{2}, akkor tetszőleges x > 0 számra

P (|ξ| > x) ≤ \frac{m_{2}}{x^{2}} .

Innen következik, ha ezt az egyenlőtlenséget a ξ̄ = ξ − Eξ valószínűségi változóra alkalmazzuk, hogy

P (|ξ − Eξ| > x) ≤ \frac{Var ξ}{x^{2}} ,

Megjegyzés: A Csebisev egyenlőtlenség a Markov egyenlőtlenség következménye, amely szerint P (|ξ| > x) ≤ \frac{E|ξ|}{x}. Alkalmazva ezt az állítást a ξ^{2} valószínűségi változóra kapjuk a Csebisev egyenlőtlenséget. Hasonló módon, alkalmazva a Markov egyenlőtlenséget a ξ^{2k} valószínűségi változóra, ahol k tetszőleges pozitív egész szám, x > 0, kapjuk, hogy P (|ξ| > x) ≤ \frac{Eξ^{2k}}{x^{2k}}

A nagy számok gyenge törvényét úgy bizonyítottuk be, hogy megvizsgáltuk milyen becslést ad a Csebisev egyenlőtlenség annak valószínűségére, hogy független, egyforma eloszlású valószínűségi változók átlaga legalább ε-nal eltér e változók várható értékétől. Idézzük fel ezt a számolást, illetve ezzel párhuzamosan vizsgáljuk meg azt is, milyen becslést kapunk, ha továbbra is azt a valószínűségi változót vizsgáljuk, amelyet úgy kapunk, hogy független, egyforma eloszlású valószínűségi változók átlaga minusz azok várható értékét vesszük, de most ennek a valószínűségi változónak nemcsak a második momentumát számoljuk ki, mint tettük a Csebisev egyenlőtlenség alkalmazásában, hanem a negyediket is. Látni fogjuk, hogy ekkor érdekes új eredményeket kapunk.

Vezessük be a következő jelöléseket. Legyenek ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók, S_{n} = ξ_{1} + ⋯ + ξ_{n}. Tegyük fel, hogy Eξ_{1} = 0, és vizsgáljuk az

E (\frac{S_{n}}{n} )^{2} , E (\frac{S_{n}}{n} )^{4} és P (\frac{|S_{n}|}{n} > ε) = P (|\frac{S_{n}}{n} − Eξ_{1}| > ε) , ε > 0

kifejezéseket. Az utolsó valószínűség vizsgálatában nem jelent megszorítást az Eξ_{1} = 0 feltétel, mert a ξ_{j} valószínűségi változókat a ξ_{j} − Eξ_{j} valószínűségi változókkal helyettesítve az általános esetet erre a speciális esetre redukálhatjuk.

Var \frac{S_{n}}{n} = \frac{1}{n^{2}} Var S_{n} = \frac{n}{n^{2}} Var ξ_{1} = \frac{1}{n}Var ξ_{1}, P (|\frac{S_{n}}{n} | > ε) ≤ \frac{Var ξ_{1}}{nε^{2}} .

Innen következik, hogy lim_{n→∞} P (|\frac{S_{n}}{n} | > ε) = 0, tehát érvényes a nagy számok gyenge törvénye.

E (\frac{S_{n}}{n} )^{4} = \frac{1}{n^{4}} E(ξ_{1} + ⋯ + ξ_{n})^{4},

E(ξ_{1} + ⋯ + ξ_{n})^{4} = ∑_{k=1}^{n} Eξ_{k}^{4} + 6 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} Eξ_{j}^{2}Eξ_{k}^{2} + 4 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} \underbrace{Eξ_{j}^{3}Eξ_{k}}_{=0}

+ 4 ∑_{1≤j,k,l≤n j,k,l különböző számok} \underbrace{Eξ_{j}^{2}Eξ_{k}Eξ_{l}}_{=0}

+ ∑_{1≤j,k,l,m≤n j,k,l,m különböző számok} \underbrace{Eξ_{j}Eξ_{k}Eξ_{l}Eξ_{m}}_{=0}

= nEξ_{1}^{4} + 6n(n − 1)(Eξ_{1}^{2})^{2},

ezért

P (|\frac{S_{n}}{n} | > ε) ≤ \frac{\frac{1}{n}Eξ_{1}^{4} + 6 (1 − \frac{1}{n})(Eξ_{1})^{2})}{n^{2}ε^{4}} ≤ \frac{const.}{n^{2}ε^{4}} .

Innen következik, hogy ∑_{n=1}^{∞} P (|\frac{S_{n}}{n} | > ε) < ∞ minden ε > 0 számra, és a Borel–Cantelli

lemma (könnyebbik feléből) következik, hogy minden ε > 0 számra és majdnem minden ω ∈ Ω pontban teljesül, hogy |\frac{S_{n}(ω)}{n} | ≤ ε, ha n ≥ n_{0}(ω). Alkalmazva ezt a relációt

minden ε = \frac{1}{k} számra k = 1, 2, …, kapjuk a nagy számok erős törvényét, amelyet az alábbi tételben fogalmazok meg.

A nagy számok erős törvényéről szóló tétel egy gyenge formája. Legyen ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata egy (Ω, A, P) va-

lószínűségi mezőn, amelyekre teljesül az Eξ_{1}^{4} < ∞ feltétel, és vezessük be az S_{n} = ∑_{j=1}^{n} ξ_{j}

valószínűségi változókat. Ekkor az \frac{S_{n}(ω)}{n} valószínűségi változók majdnem minden ω ∈ Ωra konvergálnak ez Eξ_{1}, számhoz, azaz ezek a valószínűségi változók teljesítik a nagy számok gyenge törvényét.

Megfogalmazom a nagy számok gyenge törvényét kimondó tételt eredeti, éles formájában is.

A nagy számok erős törvényét kimondó tétel. Legyen ξ_{1}, ξ_{2}, …, független

egyforma eloszlású valószínűségi változók sorozata, és definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, …, részletösszegeket. Az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat akkor és csak akkor konvergál pozitív valószínűséggel, ha E|ξ_{1}| < ∞. Ha E|ξ_{1}| < ∞, akkor ez a sorozat teljesíti a nagy számok erős törvényét, azaz

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

Láttuk, hogy a nagy számok különböző törvényeit kimondó tételekben az összeadandók momentumairól teszünk fel bizonyos feltételeket. Sőt, az utoljára kimondott tétel a nagy számok erős törvényéről, egyben jelzi azt, hogy ez a feltétel nemcsak elégséges, hanem szükséges feltétel is. Felmerülhet a kérdés, miért játszik olyan fontos szerepet a momentumok létezése ezekben az eredményekben.

A nagy számok törvényei olyan állítást fogalmaznak meg, hogy független valószínűségi változók átlagai egyfajta tipikus viselkedést mutatnak, amelyikben az egyes összeadandók hatása önmagában nem jelentős, azaz nagy valószínűséggel nem fordulhat elő, hogy van az összegben olyan kiugróan nagy értéket felvevő tag, amelynek hatása összemérhető az összes többi tag hatásával. Márpedig az, hogy egy valószínűségi változó valamely momentuma kisebb egy adott számnál olyan tulajdonságot fogalmaz meg, amely szerint a valószínűségi változó kis valószínűséggel vesz fel nagy értékeket. Ahhoz, hogy finomabb vizsgálatokat el tudjunk végezni, ki kell tudnunk fejezni a momentumok végességét az eloszlásfüggvények nyelvén. A következő lemma állítása érdekes lesz a nagy számok erős törvényének a bizonyításában.

Lemma. Egy ξ valószínűségi változó abszolut értékének akkor és csak akkor létezik

várható értéke, azaz akkor és csak akkor teljesül az E|ξ| < ∞ reláció, ha ∑_{n=1}^{∞} P (|ξ| >

n) < ∞.

Megjegyzés. Az alább ismertetendő bizonyítás finomításával be lehet látni, hogy egy |ξ| valószínűségi változónak akkor és csak akkor van véges második momentuma, ha

∑_{n=1}^{∞} nP (|ξ| > n) < ∞. Általánosabban E|ξ|^{α} < ∞ valamilyen α > 0, számra akkor és

csak akkor, ha ∑_{n=1}^{∞} n^{α−1}P (|ξ| > n) < ∞. De ezen állítások bizonyítását, amelyekre nem

lesz szükségünk, elhagyom.

A Lemma bizonyítása: Tekintsük először azt a speciális esetet, amikor a ξ valószínűségi változó csak egész értékeket vesz fel. Ekkor az E|ξ| < ∞ reláció definició szerint

akkor és csak akkor teljesül, ha ∑_{n=0}^{∞} nP (|ξ| = n) < ∞. Ezt úgy is írhatjuk, hogy

∑_{n=0}^{∞} n (P (|ξ| > n − 1) − P (ξ > n)) < ∞, és bármely rögzített N egész számra

∑_{n=0}^{N} nP (|ξ| = n) = ∑_{n=0}^{N} n (P (|ξ| > n − 1) − P (|ξ| > n)) = ∑_{n=0}^{N−1} P (|ξ| > n)−NP (|ξ| > N).

(∗)

Ha E|ξ| = ∞, akkor ∑_{n=1}^{∞} P (|ξ| > n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≥ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| = n) =

∞ a (∗) reláció alapján. Ha E|ξ| < ∞, akkor NP (|ξ| > N) ≤ E|ξ| minden N-re,

azaz az előző kifejezésnek van egy N-től független felső becslése. Ezért ∑_{n=1}^{∞} P (|ξ| >

n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≤ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| = n) + const. < ∞, szintén a (∗) reláció

alapján.

Egy általános ξ valószínűségi változó esetén definiáljuk a ξ_{1} és ξ_{2} valószínűségi változókat úgy, hogy k ≤ |ξ| < k + 1 esetén ξ_{1} = k, ξ_{2} = k + 1, k = 0, 1, 2, . . .. Ekkor ξ_{1} ≤ |ξ| ≤ ξ_{2}, és ξ_{2} − ξ_{1} ≡ 1, ezért az E|ξ_{1}|, E|ξ| és E|ξ_{2}| várható értékek egyszerre végesek vagy végtelenek. Továbbá ∑_{n=0}^{∞} P (|ξ| > n) = ∑_{n=0}^{∞} P (ξ_{2} > n), ezért a Lemma

állítása az általános esetben következik annak már bebizonyított speciális esetéből.

Megmutatom az előző lemma eredményének és a Borel–Cantelli lemmának a segítségével, hogy amennyiben E|ξ_{1}| = ∞, akkor a ξ_{1} valószínűségi változóval azonos eloszlású ξ_{j}, j = 1, 2, …, független valószínűségi változók nem teljesítik a nagy számok

erős törvényét. Pontosabban azt állítom, hogy ebben az esetben az S_{n}(ω) = ∑_{j=1}^{n} ξ_{j}(ω),

n = 1, 2, …, összegekre az S_{n}(ω) majdnem minden ω ∈ Ω pontban nem konvergens. Valóban, az előbb megfogalmazott eredmény, és a ξ_{j} valószínűségi változók azonos

eloszlása miatt az E|ξ_{1}| = ∞ feltételből következik, hogy ∞ = ∑_{n=1}^{∞} P (|ξ_{1}| > n) =

∑_{n=1}^{∞} P (|ξ_{n}| > n). Ezért, és a ξ_{n} valószínűségi változók függetlensége miatt a Borel–

Cantelli lemmából következik, hogy majdnem minden ω ∈ Ω-ra |ξ_{n}(ω)| > n végtelen sok az (ω elemi eseménytől függő) n indexre.

Tegyük fel, hogy valamely ω ∈ Ω elemi eseményre lim_{n→∞} \frac{S_{n}(ω)}{n} = a valamilyen véges

a számra, amelynek értéke függhet az ω elemi eseménytől. Ekkor a lim_{n→∞} \frac{S_{n−1}(ω)}{n} = a

reláció is teljesül, ahonnan lim_{n→∞} (\frac{S_{n}(ω)}{n} − \frac{S_{n−1}(ω)}{n}) = lim_{n→∞} \frac{ξ_{n}(ω)}{n} = 0. Ez a reláció viszont, mint láttuk egy 1 valószínűségi halmazon nem teljesül.

Láttuk, hogy mind a nagy számok gyenge mind a nagy számok erős törvényének bizonyításához arra van szükségünk, hogy képesek legyünk független (és egyforma elosz-

lású), nulla várható értékű ξ_{1}, ξ_{2}, …, valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, n = 1, 2, …,

összegének eloszlásfüggvényére jó becslést tudjunk adni. Pontosabban arra van szükségünk, hogy jól meg tudjuk becsülni minden n indexre és rögzített ε > 0 számra a P (|S_{n}| > εn) valószínűségeket. Valójában a nagy számok erős törvényének a bi-

zonyításában hasznosabb, ha a P ( sup_{1≤m≤n} |S_{m}| > εn) valószínűségeket tudjuk jól meg-

becsülni. Első látásra azt gondolhatnánk, hogy az ilyen valószínűségek becslésére alkalmazhatnánk a centrális határeloszlástételt. Valójában a helyzet bonyolultabb.

A centrális határeloszlástétel jó aszimptotikát ad a P (S_{n} > x\sqrt{n}) valószínűségekre nagy n indexre, és rögzített x számra. De szabad-e rögzített x helyett n-től függő x_{n} = ε\sqrt{n} (azaz \sqrt{n}x_{n} = εn) számot írni, és alkalmazni formálisan a centrális határeloszlásban szereplő képletet nem törődve az x_{n} számnak az n indextől való függésével? Azt, hogy e kérdés felvetésénél nem formális kötözködésről van szó mutatja a következő egyszerű példa: Legyenek ξ_{1}, ξ_{2} …, független egyforma eloszlású valószínűségi változók, ame-

lyekre P (ξ_{1} = 1) = P (ξ_{1} = −1) = \frac{1}{2}, S_{n} = ∑_{j=1}^{n} ξ_{j}. Ekkor a p_{n}(x) = P (S_{n} ≥ nx)

valószínűségre p_{n}(x) = 0, ha x > 1, és p_{n}(x) = 2^{−n}, ha x = 1. (Az x < 1 esetben is jó aszimptotikus formulát lehet adni a p_{n}(x) mennyiségre, de ahhoz külön vizsgálat lenne szükséges, ezért ezt most nem tesszük.) Ez a példa azt mutatja, hogy a p_{n}(x) függvény nem úgy viselkedik, ahogy a centrális határeloszlástételből adódó formális analógia sugallná. A P (S_{n} ≥ nx) alakú valószínűségek vizsgálatával a valószínűségszámítás egyik fontos és érdekes fejezete a nagy eltérések elmélete foglalkozik. Ez az elmélet nem témája a jelen előadássorozatnak.

A nagy számok erős törvényének a bizonyítását (amikor annak éles változatát vizsgáljuk, és csak a tétel szükséges feltételeit használjuk a bizonyításban) az előadás fő részében nem dolgozom ki. Viszont megfogalmazom a valószínűségszámítás egy fontos egyenlőtlenségét az úgynevezett Kolmogorov egyenlőtlenséget. Ennek bizonyítását megadom egy Kiegészítésben, és ott ismertetem azt is, hogyan lehet ennek segítségével bebizonyítani a nagy számok nerős törvényét.

Annak szükséges és elégséges feltétele is ismert, hogy független egyforma eloszlású valószínűségi változók teljesítsék a nagy számok gyenge törvényét. Megfogalmazom ezt az eredményt, de az állítás bizonyítását elhagyom. Ennek az eredménynek az ismeretét sem várom el a vizsgán.

Tétel. Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata F eloszlásfüggvénnyel. Ezek a valószínűségi változók akkor és csak akkor tel-

jesítik a nagy számok gyenge törvényét, azaz a \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag akkor és csak akkor kon-

vergál sztochasztikusan n → ∞ esetében egy a számhoz, −∞ < a < ∞, ha

lim_{x→∞} x [F (−x) + (1 − F (x))] = 0, és lim_{u→∞} ∫_{−u}^{u} xF ( dx) = a.

Ha összehasonlítjuk a nagy számok gyenge és erős törvényét azt látjuk, hogy a nagy számok gyenge törvénye némileg enyhébb megkötések mellett érvényes mint a nagy számok erős törvénye. Érdemes látni független, egyforma eloszlású valószínűségi változók olyan sorozatát, amely teljesíti a nagy számok gyenge, de nem teljesíti a nagy számok erős törvényét. Ilyen példát fogalmazok meg a következő nem kötelező házi feladatban. Egyben jelzem, hogyan lehet bebizonyítani azt, hogy ez a példa teljesíti a nagy számok gyenge törvényét anélkül, hogy felhasználnánk a nem bizonyított tételt a nagy számok gyenge törvényének szükséges és elégséges feltételéről.

Nem kötelező házi feladat

Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata, az f(x) = \frac{C}{x^{2} log |x|}, ha |x| > 2. f(x) = 0, ha |x| ≤ 2, képlettel megadott

sűrűségfüggvénnyel. (∫_{|x|>2} \frac{C dx}{x^{2} log |x|} = 1.) Definiáljuk az S_{n} = ∑_{k=1}^{m} ξ_{k}, n = 1, 2, …,

részletösszegeket. Lássuk be, hogy E|ξ_{1}| = ∞, ezért ezek a valószínűségi változók nem teljesítik a nagy számok erős törvényét. Másrészt az \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, azaz minden ε > 0 számra P (|\frac{S_{n}}{n} | > ε) → 0, ha n → ∞.

Segítség: Legyen ξ̄_{k} = ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| ≤ a_{n}), ¯ ξ̄_{k} = ¯ ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| > a_{n}), és S̄_{n} =

∑_{k=1}^{n} ξ̄_{k}, ¯ S̄_{n} = ∑_{k=1}^{n} ¯ ξ̄_{k}. Ekkor P (|S_{n}| > εn) ≤ P (|S̄_{n}| > \frac{ε}{2}n) + P (|¯S̄_{n}| > \frac{ε}{2}n) ≤

\frac{Var S̄_{n}}{\frac{ε^{2}}{4} n^{2}} + nP ( ¯ξ̄_{1} ≠ 0). Adjunk az a_{n} konstans alkalmas megválasztásával (például

a_{n} = n) jó becslést a P (|S_{n}| > nε) valószínűségre.

Természetesen felvetődik a következő kérdés: Legyenek ξ_{1}, ξ_{2}, …, független egy-

forma eloszlású valószínűségi változók, amelyekre Eξ_{1} = 0. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k},

n = 1, 2, . . .. Ekkor a nagy számok gyenge törvénye szerint az \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, a nagy számok erős törvénye szerint pedig egy valószínűséggel is nullához tartanak. Hogyan lehet élesíteni a nagy számok gyenge illetve erős törvényét? Pontosabban fogalmazva, milyen a_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{a_{n}} sztochasztikusan tart nullához, ha n → ∞? Milyen b_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{b_{n}} egy valószínűséggel tart nullához, ha n → ∞? Az egyszerűség kedvéért tegyük fel, hogy olyan valószínűségi változókat tekintünk, amelyeknek van második momentumuk.

Az első kérdésre a válasz viszonylag egyszerű következménye a centrális határeloszlástételnek, és ezt tartalmazza a következő feladat. A második kérdésre a választ nehezebb megadni. Erre a kérdésre az alább megfogalmazott bizonyítás nélkül közölt iterált logaritmustétel adja meg a választ.

Feladat:

Legyenek ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók, amelyekre

Eξ_{1} = 0 és Eξ_{1}^{2} < ∞. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, . . .. Ekkor pozitív valós számok

valamely a_{n} sorozatára a \frac{S_{n}}{a_{n}} valószínűségi változók akkor és csak akkor tartanak sztochasztikusan nullához n → ∞ esetén, ha lim_{n→∞} \frac{a_{n}}{\sqrt{n}} = ∞.

Végül megfogalmazom a valószínűségszámítás egyik híres eredményét, az úgynevezett iterált logaritmus tételt

Iterált logaritmus tétel. Legyenek ξ_{1}(ω), ξ_{2}(ω), …, független, egyforma eloszlású valószínűségi változók valamilyen (Ω, A, P) valószínűségi mezőn, amelyekre Eξ_{1}(ω) = 0, Var ξ_{1}(ω) = σ^{2} < ∞. Ekkor

lim sup_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = 1, majdnem minden ω ∈ Ω elemi eseményre,

és

lim inf_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = −1, majdnem minden ω ∈ Ω elemi eseményre.

A valószínűségszámítás bevezető előadás rövid áttekintése.

Az előadássorozatot néhány fontos valószínűségszámítási probléma megfogalmazásával kezdtem, és ismertettem a valószínűségszámítás történetének néhány érdekes fordulópontját. A problémák megfogalmazásának célja az volt, hogy képet adjak arról, milyen kérdésekkel foglalkozik a valószínűségszámítás. Ugyancsak fontos része volt az előadásnak néhány kombinatorikai probléma és eredmény ismertetése, amelyek fontos szerepet játszanak valószínűségszámítási problémák vizsgálatában. A problémák és módszerek jobb megértése érdekében felelevenítettem néhány analízisbeli fogalmat, mindenekelőtt a Taylor sor fogalmát, illetve néhány a végtelen halmazok számosságával kapcsolatos fontos fogalmat és eredményt.

Ezután rátértem a valószínűségszámítás precíz, Kolmogorov által kidolgozott elméletének az ismertetésére. Ezen elméleten belül különösen fontos annak megértése, hogy hogyan lehet a valószínűségszámítás problémáit e formális, a halmazelmélet nyelvét használó modell keretei között tárgyalni. Ugyancsak fontos annak megértése, hogy a problémák átfogalmazása a Kolmogorov-féle modellbe hogyan segít konkrét feladatok megoldásában. A Kolmogorov-féle elméletet először olyan modellekben tárgyaltuk, amelyben a megfigyelésnek csak véges, esetleg megszámlálhatóan végtelen sok eredménye lehetséges. Annak érdekében, hogy ne csak véges vagy megszámlálhatóan végtelen sok lehetséges kimenetelt tartalmazó modellt tudjuk vizsgálni, szükség volt bizonyos mély mértékelméleti eredmények felidézésére. Példát mutattam arra is, hogy a valószínűségi mérték σ-additívitásából olyan azonosságok is következnek, amelyeket bár be lehet bizonyítani csupán az analízis eredményeinek a felhasználásával, de egy ilyen bizonyítás rendkívül sok számolást igényel.

Elegendő a fogalmak és eredmények jelentésének megértése, illetve azt látni, hogyan lehet ezt feladatok megoldásában használni. Külön tárgyaltam több olyan feladatot, amelyek geometriai meggondolások segítségével egyszerűen megoldhatóak. Ezen megoldások hátterében természetes és szemléletes, de mély mértékelméleti eredmények vannak. Bár e mértékelméleti eremények bizonyítását nem tárgyaltam, egy ilyen elveken alapuló (jó) feladatmegoldást teljes értékűnek fogok tekinteni a vizsgán.

Ezután tárgyaltam és bebizonyítottam a Borel–Cantelli lemmát. Itt is elegendő az eredményt megérteni, illetve természetes esetekben ezt az eredmény tudni kell használni. Az előadásban tárgyalt következő fontos fogalom a feltételes valószínűség volt. Nagyon fontos megérteni, hogy hogyan kell ezt a fogalmat konkrét esetekben használni. Az itt kimondott eredményeket jobban meg lehet érteni, ha konkrét feladatokat vizsgálunk.

Bevezettem események függetlenségének a fogalmát is. Az itt kimondott fogalmak, eredmények ismerete rendkívül fontos. A tárgyalás során szóba kerültek mértékelméleti fogalmak és eredmények. Az egyszerűbb fogalmakat, mint például a valószínűségi mező, a σ-algebra fogalmát ismerni kell, de már olyan fogalmaknak az ismeretét, mint például a majdnem-mindenütt teljesülő tulajdonságok, Lebesgue integrál, Fubini tétel elegendő körülbelül tudni, azon a szinten, ami ahhoz kell, hogy a leírt valószínűségi eredményeket értsék és tudják használni. Ezenbelül a Fubini tétel ismerete fontos, mert ezt nagyon sok feladat megoldásában használják. (Az itt használt eredmények bizonyítása és részletes tárgyalása a mértékelmélet és nem a valószínűségszámítás témája. Arról, hogy milyen szigorúsággal követelik meg ezen eredmények ismeretét a mértékelmélet vizsgán nem én döntök.)

Több független eseményekkel kapcsolatos feladatot tárgyaltam. Ilyen feladatok megoldását a vizsgán tudni kell. Ugyancsak tárgyaltam az e problémakör általánosításának tekinthető úgynevezett szita-formulát, és néhány ennek segítségével megoldható problémát. Bár ez a problémakör a valószínűségszámítás temészetes részének tekinthető, ennek ismeretét, illetve (a csak) ezen formula segítségével megoldható feladatok megoldását nem követelem meg a vizsgán.

Ezután konkrét először diszkrét, majd folytonos eloszlású valószínűségi változókat vizsgáltam. Definiáltam valószínűségi változók függetlenségét, várható értékét, szórásnégyzetét és különböző valószínűségi változók kovarianciafüggvényét. Először diszkrét valószínűségi változók esetében definiáltam ezeket a fogalmakat, és csak később vezettem be őket folytonos eloszlású valószínűségi változók esetében. Ennek a tárgyalásmódnak elsősorban metodológiai okai voltak. Ugyanis diszkrét eloszlású valószínűségi változók vizsgálata nem igényli mély mértékelméleti fogalmak és eredmények ismeretét, és sok érdekes és fontos valószínűségszámítás jelenség már ezek segítségével is tárgyalható.

Folytonos eloszlású valószínűségi változók tárgyalásában a legfontosabb fogalmak, mint például a várható érték és szórásnégyzet precíz definiciójához szükséges a Lebesgue integrál fogalma. Vázoltam a Lebesgue integrál definicióját, de e fogalom pontos ismerete (ezen tantárgy keretein belül) nem szükséges. Viszont ki kell tudni számolni véletlen összegek várható értéket, szórásnégyzetet, és független valószínűségi változók összegének a sűrűségfüggvényét (konvolució segítségével). Tudni kell, hogy a felhasznált tételek milyen feltételek mellett érvényesek. E feladatok megoldásának érdekében jól meg kell érteni, hogy hogyan érdemes valószínűségi problémák jó modelljét bevezetni, és hogyan kell velük számolni. Ezenkívül tudni kell az analízisben tanult integrál és differenciálszámítás legfontosabb eredményeit is.

Bevezettem a legfontosabb diszkrét és folytonos eloszlásokat, Ezekkel tudni kell számolni, illetve ezen eloszlások valószínűségi tartalmát is tudni és érteni kell.

Tárgyaltam a Markov és Csebisev egyenlőtlenséget. Ezután az előadás fontos témája volt az eloszlások fogalma, legfontosabb tulajdonságai, a valószínűségszámításban szereplő különböző konvergenciafogalmak (eloszlásban való konvergencia, sztochasztikus konvergencia, egy valószínűséggel való konvergencia) valamint azok jelentése és kapcsolata. Ugyancsak fontos megérteni a nagy számok gyenge és erős törvényét, azt hogy mit mondanak ki ezek az eredmények. A bizonyítások részleteinek ismerete nem szükséges.

Az előadás legfontosabb témája a centrális határeloszlástétel volt. Ennek tárgyalása érdekében bevezettem a karakterisztikus függvény fogalmát. Ennek erészletes tárgyalására azonban nem maradt idő. Ezenkívül a Fourier sorok elmélete, amely jobban megvilágítja az itt szereplő fogalmakat és a bizonyítások hátterét sokaknak nem szerepelt az eddigi tananyagában. Ezért ennek az elméleti résznek az ismerete a vizsgán nem szükséges. Viszont nagyon fontos tudni azt, hogy hogyan és mire lehet használni a centrális határeloszlástételt. Ebbe beletartoznak az előadáson tárgyalt statisztikai problémák is.

Végül a több-dimenziós centrális határeloszlástételt és a χ-négyzet próbát tárgyaltam. Ezen belül ismertettem bizonyos fogalmak (eloszlás függvény, sűrűségfüggvény, eloszlásban való konvergencia, várható érték, szórásnégyzet) több-dimenziós megfelelőit. Ezen fogalmakat és a hozzájuk kötödő eredményeket ismerni kell. Viszont a bizonyításokat nem kérem, elegendő ezek bizonyos durva áttekintését ismerni.

Végül megjegyzem, hogy a vizsga elsősorban feladatok megoldásából fog állni. Ezért a felkészüléshez azt javaslom, hogy ne csak a definiciókat, tételeket, hanem a tárgyalt feladatokat is tanulmányozzák. Ez utóbbiak is fontos részei az előadássorozatomnak, amelynek részletes leírása megtalálható a homepage-emen.

Homepage-em címe: http://www.renyi.hu/˜ major

Kiegészítés. A nagy számok erős törvényének a bizonyítása.

Ebben a kiegészítésben bebizonyítom a nagy számok törvényének elégségességről szóló felét az alább megfogalmazott Kolmogorov egyenlőtlenség segítségével. Pontosabban, azt látom be, hogy ha ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata, amely teljesíti az E|ξ_{1}| < ∞ feltételt, akkor ez a sorozat teljesíti a nagy számok erős törvényét is.

Kolmogorov egyenlőtlenség. Legyenek ξ_{1}, …, ξ_{n} független, (nem feltétlenül egyforma eloszlású) valószínűségi változók, Eξ_{k} = 0, Eξ_{k}^{2} = σ_{k}^{2}. Tekintsük e valószínűségi

változók S_{k} = ∑_{p=1}^{k} ξ_{p}, k = 1, …, n, részletösszegeit. Ekkor

P ( sup_{1≤k≤n} |S_{k}| ≥ x) ≤ \frac{ES_{n}^{2}}{x^{2}} = \frac{∑_{k=1}^{n} σ_{k}^{2}}{x^{2}}

minden x > 0-ra.

A Kolmogorov egyenlőtlenség bizonyítása. Rögzítsünk egy x > 0 számot, és vezessük be a következő τ = τ(n, x) véletlen időpontot: τ(ω) = k valamely 1 ≤ k ≤ n számra, ha |S_{k}(ω)| ≥ x, és |S_{j}(ω)| < x minden 1 ≤ j < k számra, és τ(ω) = n, ha |S_{j}(ω)| < x minden 1 ≤ j ≤ n indexre. A τ véletlen időpont (megállási szabály) szemléletes tartalma a következő: Az első olyan k ≤ n időpontot keressük, amelyre S_{k} ≥ x. Ha van ilyen időpont, akkor τ ezzel az időponttal egyenlő. Ha nincs ilyen időpont, akkor τ = n. Azt állítom, hogy érvényes az

ES_{τ}^{2} ≤ ES_{n}^{2}  (b)

egyenlőtlenség. Ennek bizonyítása érdekében vezessük be a τ_{j} = max(τ, j), 1 ≤ j ≤ n, valószínűségi változókat. Mivel τ_{1} = τ, és τ_{n} = n, ezért a (b) reláció bizonyításához elég megmutatni, hogy ES_{τ_{j}}^{2} ≤ ES_{τ_{j+1}}^{2} minden 1 ≤ j < n indexre. Viszont S_{τ_{j}}(ω) = S_{τ_{j+1}}(ω), ha τ > j, és S_{τ_{j}}(ω) = S_{j}(ω), S_{τ_{j+1}}(ω) = S_{j+1}(ω) = S_{j}(ω)+ξ_{j+1}(ω), ha τ ≤ j. Ezért elég megmutatni, hogy

ES_{τ_{j+1}}^{2}(ω) − ES_{τ_{j}}^{2}(ω) = E [(S_{τ_{j}}(ω) + ξ_{j+1}(ω))^{2} − S_{τ_{j+1}}^{2}(ω)] I_{A}(ω)
= 2EI_{A}(ω)S_{j}(ω)ξ_{j+1}(ω) + Eξ_{j+1}^{2}(ω)I_{A}(ω) ≥ 0,

ahol A az {ω: τ(ω) ≤ j} esemény, és I_{A}(ω) az A halmaz indikátor függvénye. Ennek érdekében vegyük észre, hogy a ξ_{j+1}(ω) és I_{A}(ω)S_{j}(ω) valószínűségi változók függetlenek, mivel a második valószínűségi változó a ξ_{1}(ω), …, ξ_{j}(ω) valószínűségi változók függvénye. Innen következik, hogy

EI_{A}(ω)S_{j}(ω)ξ_{j+1}(ω) = EI_{A}(ω)S_{j}(ω)Eξ_{j+1}(ω) = 0.

Másrészt Eξ_{j+1}^{2}(ω)I_{A}(ω) ≥ 0. Innen következik a bizonyítandó egyenlőtlenség és a (b) reláció.

A Kolmogorov egyenlőtlenség egyszerűen következik a (b) relációból és a Csebisev

egyenlőtlenségből. Valóban, mivel {ω: sup_{1≤k≤n} |S_{k}(ω)| ≥ x} = {ω: |S_{τ} (x)| ≥ x}, ezért

P ( sup_{1≤k≤n} |S_{k}| ≥ x) = P (|S_{τ} | ≥ x) ≤ \frac{ES_{τ}^{2}}{x^{2}} ≤ \frac{ES_{n}^{2}}{x^{2}} .

Érdemes megjegyezni, hogy a Kolmogorov egyenlőtlenség ugyanazt a felső becslést adja annak valószínűségére, hogy az S_{k} részletösszegek szuprémuma nagyobb mint valamilyen x > 0 szám, mint amit a Csebisev egyenlőtlenség ad annak az eseménynek a valószínűségére, hogy az utolsó tag S_{n} nagyobb, mint x. Természetesen

P ( sup_{1≤k≤n} |S_{k}| > x|) ≥ P (S_{n}| > x|) ,

de mint ahogy a Kolmogorov és Csebisev egyenlőtlenség összehasonlítása is sugallja a fenti egyenlőtlenség baloldala nem sokkal nagyobb mint a jobboldala.

A nagy számok törvényének bizonyításában hasznos a következő technikai jellegű lemma.

Kronecker lemma: Ha az a_{n} és q_{n}, n = 1, 2, … számsorozatok olyanok, hogy a ∑_{n=1}^{∞} a_{n}

összeg konvergens, a q_{n} sorozat monoton nő és lim_{n→∞} q_{n} = ∞, akkor lim_{n→∞} \frac{1}{q_{n}} ∑_{k=1}^{n} a_{k}q_{k} =

0.

A Kronecker lemma bizonyítása. Vezessük be az R_{n} = ∑_{j=n}^{∞} a_{j}, n = 1, 2, …, összegeket,

és írjuk fel az \frac{1}{q_{n}} ∑_{k=1}^{n} a_{k}q_{k} = \frac{1}{q_{n}} ∑_{k=1}^{n}(R_{k} − R_{k+1})q_{k} = \frac{1}{q_{n}} ∑_{k=1}^{n} R_{k}(q_{k} − q_{k−1}) − R_{n+1}

azonosságot. (A fenti típusú számolás, amelyet Abel-féle átrendezésnek hívnak, a parciális integrálás diszkrét megfelelője.) Felhasználva, hogy létezik olyan R < ∞ szám, amelyre |R_{n}| < R minden n = 1, 2, … indexre, minden ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε) index, amelyre |R_{n}| ≤ ε, ha n ≥ n_{0}, és q_{k} − q_{k−1} ≥ 0 minden k = 1, 2, …, számra, az előző azonosság alapján felírhatjuk a következő egyenlőtlenséget.

\frac{1}{q_{n}} |∑_{k=1}^{n} a_{k}q_{k}| ≤ \frac{1}{q_{n}} ∑_{k=1}^{n_{0}} R(q_{k} − q_{k−1}) + \frac{1}{q_{n}} ∑_{k=n_{0}+1}^{n} ε(q_{k} − q_{k−1}) + ε ≤ R\frac{q_{n_{0}}}{q_{n}} + 2ε,

ha n ≥ n_{0}. Mivel ez az egyenlőtlenség minden ε > 0 számra érvényes, és lim_{n→∞} q_{n} = ∞, innen n → ∞ határátmenettel következik a Kronecker lemma állítása.

A nagy számok erős törvényének be nem bizonyított részének igazolásához (ahhoz, hogy véges várható érték létezése esetén igaz a nagy számok erős törvénye) elegendő a következő állítást bebizonyítani.

Tétel a nagy számok erős törvényéről. Ha ξ_{n}, n = 1, 2, …, független egyforma

eloszlású valószínűségi változók sorozata, E|ξ_{1}| < ∞, Eξ_{1} = 0, S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, …, akkor lim_{n→∞} \frac{S_{n}}{n} = 0 egy valószínűséggel.

A nagy számok erős törvényéről szóló tétel bizonyítása. Vezessük be a tételben szereplő ξ_{n} valószínűségi változók következő felbontását: ξ_{n} = ξ′_{n} + ξ′′_{n}, ahol ξ′_{n} = ξ_{n}I(|ξ_{n}| ≤ n), ξ′′_{n} = ξ_{n}I(|ξ_{n}| > n), és I(A) az A halmaz indikátorfüggvényét jelöli. Megmutatom, hogy

a tétel állításának bizonyítását redukálni lehet a lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} ξ′_{n} = 0 egy valószínűséggel,

sőt a lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n}(ξ′_{n} − Eξ′_{n}) = 0 egy valószínűséggel reláció bizonyítására.

Az első redukció igazolásához elég észrevenni, hogy

∑_{k=1}^{∞} P (ξ′′_{k} ≠ 0) = ∑_{k=1}^{∞} P (|ξ_{k}| > k) = ∑_{k=1}^{∞} P (|ξ_{1}| > k) ≤ 1 + E|ξ_{1}| < ∞,

ezért a Borel–Cantelli lemma alapján egy valószínűséggel csak véges sok k-ra teljesül a

ξ′′_{k} ≠ 0 esemény. Innen \frac{1}{n} ∑_{k=1}^{n} ξ′′_{k} → 0 egy valószínűséggel.

A második redukció igazolásához elég megmutatni, hogy

|\frac{1}{n} ∑_{k=1}^{n} Eξ′_{k}| = |−\frac{1}{n} ∑_{k=1}^{n} Eξ′′_{k}| ≤ \frac{1}{n} ∑_{k=1}^{n} E|ξ_{1}|I(|ξ_{1}| ≥ k) → 0,

ha n → ∞, mert E|ξ_{1}| < ∞, és ezért E|ξ_{1}|I(|ξ_{1}| > k) → 0, ha k → ∞.

A redukált állítást érdemes a Kronecker lemma segítségével visszavezetni a követ-

kező állítás igazolására. A tétel feltételeinek teljesülése esetén a ∑_{n=1}^{∞} \frac{ξ′_{n}−Eξ′_{n}}{n} összeg egy

valószínűséggel konvergens. Valóban, ebből az állításból és a Kronecker lemmából a_{n} =

\frac{ξ′_{n}−Eξ′_{n}}{n} és q_{n} = n választással következik, hogy lim_{n→∞} ∑_{k=1}^{n} \frac{ξ′_{k}−Eξ′_{k}}{n} = 0 egy valószínűséggel.

Ezen állítás igazolásához elég belátni, hogy tetszőleges ε > 0 számra

P ( sup_{N≥n} |∑_{k=n}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > ε) → 0 ha n → ∞.

Innen ugyanis következik, hogy

P ( sup_{N,M: N≥n, M≥n} | ∑_{k=M}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > 2ε) → 0 ha n → ∞.

Mivel ez az egyenlőtlenség alkalmazható minden ε = \frac{1}{k}, k = 1, 2, …, számra, innen következik, hogy a ∑_{k=1}^{n} \frac{ξ′_{k}−Eξ′_{k}}{k} sorozat egy valószínűséggel Cauchy sorozat, és a

∑_{k=1}^{∞} \frac{ξ′_{k}−Eξ′_{k}}{k} összeg egy valószínűséggel konvergens.

Az igazolandó egyenlőtlenséget a Kolmogorov egyenlőtlenség segítségével igazolhatjuk. Ugyanis a Kolmogorov egyenlőtlenség alapján

P ( sup_{N≥n} |∑_{k=n}^{N} \frac{ξ′_{k} − Eξ′_{k}}{k} | > ε) ≤ \frac{1}{ε^{2}} ∑_{k=n}^{∞} \frac{Var ξ′_{k}}{k^{2}} ≤ \frac{1}{ε^{2}} ∑_{k=n}^{∞} \frac{Eξ′_{k}^{2}}{k^{2}} .

Ezért a kívánt egyenlőtlenség igazolásához elég megmutatni, hogy

∑_{k=1}^{∞} \frac{Eξ′_{k}^{2}}{k^{2}} < ∞.

Ez az egyenlőtlenség következik az alábbi számolásból.

∑_{k=1}^{∞} \frac{1}{k^{2}} Eξ′_{k}^{2} ≤ ∑_{k=1}^{∞} \frac{1}{k^{2}} Eξ_{1}^{2}I(|ξ_{1}| > k) ≤ const. ∑_{j=1}^{∞} j^{2}P (j ≤ |ξ_{1}| < j + 1) (∑_{k=j}^{∞} \frac{1}{k^{2}} )

≤ const. ∑_{j=1}^{∞} jP (j ≤ |ξ_{1}| < j + 1) ≤ const. E|ξ_{1}| < ∞.