A Valószínűségszámítás II. előadássorozat tízenkettedik előadása. 2002. december 3.

A nagy számok törvényéről. Második rész.

Láttuk, hogy mind a nagy számok gyenge mind a nagy számok erős törvényének bizonyításához arra van szükségünk, hogy képesek legyünk független (és egyforma elosz-

lású), nulla várható értékű ξ_{1}, ξ_{2}, …, valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, n = 1, 2, …,

összegének eloszlásfüggvényére jó becslést tudjunk adni. Pontosabban arra van szükségünk, hogy jól meg tudjuk becsülni minden n indexre és rögzített ε > 0 számra a P (|S_{n}| > εn) valószínűségeket. Valójában a nagy számok erős törvényének a bi-

zonyításában hasznosabb, ha a P ( sup_{1≤m≤n} |S_{m}| > εn) valószínűségeket jól meg tudjuk

becsülni. Felmerülhet a kérdés: Nem lehet-e a P (S_{n} > εn) alakú valószínűségekre a centrális határeloszlástétel segítségével adni jó becslést?

A válasz erre a kérdésre nemleges. Ugyanis a centrális határeloszlástétel a P (S_{n} > x\sqrt{n}) alakú valószínűségekre ad jó aszimptotikát nagy n indexre, és rögzített, az n indextől független x számra. De szabad-e rögzített x helyett n-től függő x_{n} = ε\sqrt{n} számot írni, és alkalmazni formálisan a centrális határeloszlástételben szereplő képletet nem törődve az x_{n} számnak az n indextől való függésével? Az, hogy e kérdés felvetésénél nem formális kötőzködésről van szó mutatja a következő egyszerű példa: Legyenek ξ_{1}, ξ_{2} …, független egyforma eloszlású valószínűségi változók, melyekre P (ξ_{1} = 1) =

P (ξ_{1} = −1) = \frac{1}{2}, S_{n} = ∑_{j=1}^{n} ξ_{j}. Ekkor a p_{n}(x) = P (S_{n} ≥ nx) valószínűségre p_{n}(x) = 0,

ha x > 1, és p_{n}(x) = 2^{−n}, ha x = 1. (Az x < 1 esetben is jó aszimptotikus formulát lehet adni a p_{n}(x) mennyiségre, de ahhoz külön vizsgálódás lenne szükséges, ezért ezt most nem tesszük.) Ez a példa azt mutatja, hogy a p_{n}(x) függvény nem viselkedik mindig úgy, ahogyan azt a centrális határeloszlástételből adódó formális analógia sugallná. A P (S_{n} ≥ nx) alakú valószínűségek vizsgálatával a valószínűségszámítás egyik fontos és érdekes fejezete a nagy eltérések elmélete foglalkozik. Ez az elmélet nem témája jelen előadássorozatnak.

Ismertetem az úgynevezett Kolmogorov egyenlőtlenséget, amelyik nagyon hasznos a nagy számok erős törvényének bizonyításában. Itt csak magát az egyenlőtlenséget fogalmazom meg, a bizonyítást a kiegészítésben írom le.

Kolmogorov egyenlőtlenség. Legyenek ξ_{1}, …, ξ_{n} független, (nem feltétlenül egy-

forma eloszlású) valószínűségi változók, Eξ_{k} = 0, Eξ_{k}^{2} = σ_{k}^{2}, S_{k} = ∑_{p=1}^{k} ξ_{p}, k = 1, …, n.

Ekkor

P ( sup_{1≤k≤n} |S_{k}| ≥ x) ≤ \frac{ES_{n}^{2}}{x^{2}} = \frac{∑_{k=1}^{n} σ_{k}^{2}}{x^{2}}

minden x > 0-ra.

Érdemes észrevenni, hogy a Kolmogorov egyenlőtlenség ugyanazt a felső becslést adja annak valószínűségére, hogy az S_{k} részletösszegek abszolut értékének sup_{1≤k≤n} |S_{k}|

szuprémuma nagyobb, mint valamilyen x > 0 szám, mint amit a Csebisev egyenlőtlenség ad annak az eseménynek a valószínűségére, hogy az utolsó |S_{n}| tag abszolut értéke nagyobb, mint x. Természetesen

P ( sup_{1≤k≤n} |S_{k}| > x|) ≥ P (S_{n}| > x|) ,

de mint ahogy a Kolmogorov és Csebisev egyenlőtlenség összehasonlítása is sugallja, a fenti egyenlőtlenség baloldala nem sokkal nagyobb mint a jobboldala.

Felidézem a nagy számok (éles formában megfogalmazott) erős törvényének még be nem bizonyított elégséges felét.

A nagy számok erős törvényének elégséges feltétele. Legyen ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók sorozata, melyek teljesítik az E|ξ_{1}| < ∞

feltételt. Definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, részletösszegeket. Ekkor \frac{S_{n}(ω)}{n}

átlagok teljesítik a

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

relációt.

Most megmutatom, hogy bizonyítható ez az állítás a Kolmogorov egyenlőtlenség segítségével.

A nagy számok erős törvényének elégséges felét megfogalmazó állítás bizonyítása. Fel fogjuk tenni, hogy Eξ_{1} = 0. Ehhez jogunk van, mert helyettesítve a ξ_{n} valószínűségi változókat a ξ_{n} − Eξ_{n} valószínűségi változókkal teljesül ez a feltétel, és az általános eset könnyen következik az erre a speciális esetre megfogalmazott állításból.

Természetes gondolat szétválasztani a ξ_{n} valószínűségi változók túl nagy és nem túl nagy értékeinek a hatását a bizonyításban. Ez sugallja, hogy érdemes a ξ_{n} valószínűségi változók következő felbontását venni: ξ_{n} = ξ_{n}I(|ξ_{n}| ≤ n) + ξ_{n}I(|ξ_{n}| > n) = ξ′_{n} + ξ′′_{n}, ahol I(A) egy A halmaz indikátorfüggvényét jelöli. Azt, hogy a ξ_{n} valószínűségi változó értékeit az n szinten csonkítottuk az teszi természetessé, hogy az előző előadás

végén bizonyított lemma alapján az E|ξ_{1}| < ∞ feltétel ekvivalens a ∑_{n=1}^{∞} P (ξ′′_{n} = 0) =

∑_{n=1}^{∞} P (|ξ_{n}| > n) = ∑_{n=1}^{∞} P (|ξ_{1}| > n) < ∞ egyenlőtlenséggel. Ezért a Borel–Cantelli

lemma alapján a ξ′′_{n} valószínűségi változók egy valószínűséggel véges sok kivétellel

nullával egyenlőek. Ezért elegendő azt bizonyítani, hogy a \frac{1}{n} ∑_{k=1}^{n} ξ′_{k}, n = 1, 2, …,

valószínűségi változók egy valószínűséggel nullához konvergál. Először lássuk be azt, hogy lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} Eξ′_{k} = 0, ez ugyanis lehetóvé teszi, hogy a bizonyítandó állítást arra redukáljuk, hogy a \frac{1}{n} ∑_{k=1}^{n}(ξ′_{k} − Eξ′_{k}) átlagok tartanak egy valószínűséggel nullához, azaz nulla várható értékű valószínűségi változók átlagát elég vizsgálni. A bizonyítandó állítás

azért igaz, mert ∑_{k=1}^{n} Eξ′_{k} = − ∑_{k=1}^{n} Eξ′′_{k}, és

|−\frac{1}{n} ∑_{k=1}^{n} Eξ′′_{k}| ≤ \frac{1}{n} ∑_{k=1}^{n} E|ξ′′_{k}| ≤ \frac{1}{n} ∑_{k=1}^{n} ∑_{j=k}^{n} E|ξ_{1}|I(k − 1 ≤ |ξ_{1}| < k) + E|ξ_{1}|I(|ξ_{1}| ≥ n)

≤ ∑_{k=1}^{n} ∑_{j=k}^{n} \frac{k}{n}P (k ≤ |ξ_{1}| < k + 1) + E|ξ_{1}|I(|ξ_{1}| ≥ n)

= ∑_{k=1}^{n} \frac{k^{2}}{n} P (k ≤ |ξ_{1}| < k + 1) + E|ξ_{1}|I(|ξ_{1}| ≥ n)

Az utolsó becslés jobboldalán szereplő kifejezés nullához tart, ha n → ∞. Ugyanis az E|ξ_{1}| < ∞ feltételből következik egyrészt, hogy lim_{n→∞} E|ξ_{1}|I(|ξ_{1}| ≥ n) = 0, másrészt az, hogy minden ε > 0 számhoz létezik olyan L = L(ε), hogy ∑_{k=L}^{∞} kP (|ξ_{k}|I(k − 1 ≤ |ξ_{1}| <

k) < ε, ahonnan ∑_{k=L}^{n} \frac{k^{2}}{n} P (k ≤ |ξ_{1}| < k + 1) ≤ ∑_{k=L}^{∞} kP (|ξ_{k}|I(k − 1 ≤ |ξ_{1}| < k) < ε,

és lim_{n→∞} ∑_{k=1}^{L} \frac{k^{2}}{n} P (k ≤ |ξ_{1}| < k + 1) = 0. Mivel a fenti becslések minden ε > 0 számra elmondhatóak, ezért az előzőekből következik, hogy lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} Eξ_{k} = 0, mint állítottuk.

Megmutatjuk, hogy a Borel–Cantelli lemma alapján a redukált állítás bizonyításához elég megmutatni, hogy minden ε > 0 számra

∑_{n=0}^{∞} P ( sup_{1≤k≤2^{n}} |∑_{j=1}^{k} (ξ′_{j} − Eξ′_{j})| > ε2^{n}) < ∞  (∗)

Ekkor ugyanis tetszőleges ε > 0 számhoz, és majdnem minden ω ∈ Ω elemi eseményre létezik olyan n_{0} = n_{0}(ω, ε) küszöbindex, melyre sup_{1≤k≤2^{n}} | ∑_{j=1}^{k} (ξ′_{j}(ω) − Eξ′_{j}(ω))| ≤ ε2^{n}, ha n ≥ n_{0}. Ezért, ha k ≥ 2^{n_{0}}, akkor létezik olyan n_{1} = n_{1}(k) index, melyre 2^{n_{1}} ≤

k < 2^{n_{1}}, és | ∑_{j=1}^{k} (ξ′_{j}(ω) − Eξ′_{j}(ω))| ≤ e2^{n_{1}+1} ≤ 2εk. Mivel ez tetszőleges ε = \frac{1}{j}

számra elmondható, és innen következik, hogy egy valószínűségi ω ∈ Ω halmazra lim_{k→∞} | ∑_{j=1}^{k} (ξ′_{j}(ω) − Eξ′_{j}(ω))| → 0. Viszont a nagy számok erős törvényét ennek az állításnak a bizonyítására redukáltuk.

A (∗) formulában olyan valószínűségek összegének a konvergenciáját kell megmutatni, melyeket a Kolmogorov egyenlőtlenség segítségével tudunk megbecsülni. A Kolmogorov egyenlőtlenség szerint

P ( sup_{1≤k≤2^{n}} |∑_{j=1}^{k} (ξ′_{j} − Eξ′_{j})| > ε2^{n}) ≤ \frac{∑_{j=1}^{2^{n}} Var ξ′_{j}}{ε^{2}2^{2n}} ≤ \frac{∑_{j=1}^{2^{n}} Eξ′_{j}^{2}}{ε^{2}2^{2n}} ,

ezért elég megmutatni azt, hogy

∑_{n=1}^{∞} 2^{−2n} ∑_{j=1}^{2^{n}} Eξ′_{j}^{2} < ∞,  (∗∗)

ha E|ξ_{1}| < ∞.

A (∗∗) formula bizonyítása érdekében írjuk fel az Eξ′_{j}^{2} = ∑_{l=1}^{j} E|ξ_{1}|^{2}I(l − 1 ≤ |ξ_{1}| <

l) ≤ ∑_{l=1}^{j} lE|ξ_{1}|I(l − 1 ≤ |ξ_{1}| < l) relációt az e formulában szereplő mindegyik tagra, és

számoljuk össze, hogy átrendezve az így kapott összeget, mint az E|ξ_{1}|I(l−1 ≤ |ξ_{1}| < l) kifejezések lineáris kombinációját mi lesz az E|ξ_{1}|I(l − 1 ≤ |ξ_{1}| < l) tag együtthatója.

Ha 2^{m−1} < l ≤ 2^{m}, akkor ez az együttható ∑_{n=m}^{∞}(2^{n} − l)l2^{−2n} ≤ l ∑_{n=m}^{∞} 2^{−n} ≤ 2l2^{−m} ≤ 4,

ahonnan

∑_{n=1}^{∞} 2^{−2n} ∑_{j=1}^{2^{n}} Eξ′_{j}^{2} < 4 ∑_{l=1}^{∞} E|ξ_{1}|I(l − 1 ≤ |ξ_{1}| < l) ≤ 4E|ξ_{1}| < ∞.

Ezzel a tételt beláttuk.

A Kolmogorov egyenlőtlenség alkalmas arra is, hogy jellemezzük azt, hogy független valószínűségi változók összegei mikor konvergálnak egy valószínűséggel. Először az alábbi viszonylag gyengébb, de sokszor jől használható eredményt ismertetem, melyet szoktak Kolmogorov-féle egy sor tételnek nevezni, (utalva az utána ismertetett tartalmasabb Kolmogorov féle három sor tételre).

Kolmogorov-féle egy sor tétel. Legyenek ξ_{1}, ξ_{2}, …, független valószínűségi változók, melyeknek létezik az Eξ_{k}^{2} < ∞ második momentumai minden k = 1, 2, … számra. Ha

∑_{k=1}^{∞} Var ξ_{k} < ∞, akkor a ∑_{k=1}^{∞}(ξ_{k} − Eξ_{k}) sorozat egy valószínűséggel konvergál.

A fenti eredmény elégséges feltételt ad arra, hogy független valószínűségi változók összege mikor konvergál egy valószínűséggel. Az alább ismertett eredmény, melyet az irodalomban Kolmogorov-féle három sor tételnek neveznek, megadja e tulajdonság szükséges és elégséges feltételét.

Kolmogorov-féle három sor tétel. Legyenek ξ_{1}, ξ_{2}, …, független valószínűségi változók. Rögzítsünk valamely C > 0 számot, és definiáljuk a ξ′_{k} = ξ_{k}I({|ξ_{k}| < C}) való-

színűségi változókat, k = 1, 2, …, ahol I(A) az A halmaz indikátorfüggvénye. A ∑_{k=1}^{∞} ξ_{k}

véletlen összeg akkor és csak akkor konvergens egy valószínűséggel, ha a ξ_{k}, k = 1, 2, …, valószínűségi változók sorozata teljesíti a következő feltételeket:

(i) ∑_{k=1}^{∞} P (ξ_{k} ≠ ξ′_{k}) = ∑_{k=1}^{∞} P (|ξ_{k}| ≥ C) < ∞,

(ii) A ∑_{k=1}^{∞} Eξ′_{k} összeg konvergens.

(iii) ∑_{k=1}^{∞} Var ξ′_{k} < ∞.

1. megjegyzés: Az előbb kimondott eredmények azt sugallják, hogy közvetlen módon be lehet látni az alábbi állításokat:

a) Ha a Kolmogorov-féle három-sor tétel feltételei teljesülnek valamely C > 0 számra, akkor ezek a feltételek teljesülnek tetszőleges C̄ > 0 számra.

b.) Ha a xi_{k} valószínűségi változók teljesítik a ∑_{k=1}^{∞} Var ξ_{k} < ∞ és ∑_{k=1}^{∞} Eξ_{k} < ∞

feltételeket, akkor teljesítik a Kolmogorov három sor tétel feltéteit is.

Ezeket az állításokat, melyek következnek a Kolmogorov-féle egy sor és három sor tételből, be lehet bizonyítani közvetlenül is, de ezt most elhagyom.

2. megjegyzés: Az előző két eredményben annak adtuk meg a feltételét, hogy független valószínűségi változók sorozata egy valószínűséggel konvergáljon. Érdemes megjegyezni, hogy a valószínűségszámítás egyik alapvető eredménye, az úgynevezett 0–1 törvény, alapján meg lehet mutatni, hogy független valószínűségi változók sorozata vagy 1 valószínűséggel konvergens vagy 1 valószínűséggel divergens. Tehát nem lehetséges megadni független valószínűségi változókat, melyek összegei például 1/2 valószínűséggel konvergálnak és 1/2 valószínűséggel divergálnak. Hasonló állítás mondható független valószínűségi változók átlagairól. Csak két eset lehetséges. Vagy egy valószínűséggel konvergálnak egy konstanshoz vagy egy valószínűséggel divergálnak (nem konvergálnak). Ha marad rá idő, akkor később a most említett nulla-egy törvény tárgyalására is rátérek.

A Kolmogorov-féle egy-sor tétel bizonyítása: Elég megmutatni, hogy a tétel feltételeinek

teljesüléseinek teljesülése esetén az S_{n}(ω) = ∑_{k=1}^{n}(ξ_{k}(ω) − Eξ_{k}(ω)), n = 1, 2, … valószí-

nűségi változók sorozata egy valószínűséggel Cauchy sorozat. Megmutatatjuk, hogy elegendő azt megmutatni, hogy minden ε > 0 számra

lim_{n→∞} P (sup_{k≥n} |∑_{j=n}^{k}(ξ_{j} − Eξ_{j})| ≥ ε) = 0.  (+)

Valóban, definiáljuk az A(n, ε) = {ω: ∑_{k=m}^{M}(ξ_{k}(ω) − Eξ_{k}(ω)) < 2ε, ha M ≥ m ≥ n}

halmazokat. Ekkor lim_{n→ε} P (A(n, ε)) = 1, mert

Ω \ A(n, ε) ⊂ {ω: sup_{k≥n} |∑_{j=n}^{k}(ξ_{j}(ω) − Eξ_{j}(ω))| > ε} ,

és az utóbbi esemény valószínűsége nullához tart. Továbbá az A(n, ε) halmazok rögzített

ε számra egymásba skatulyázott halmazok. Ezért minden ε > 0-ra az Ω(ε) = ⋃_{n=1}^{∞} A(n, ε)

halmazra P (Ω(ε)) = 1 és minden ω ∈ Ω(ε) elemi eseményre létezik olyan n_{0} = n_{0}(ω) küszöbindex, melyre M ≥ m ≤ n_{0} esetén |S_{M}(ω)−S_{m}(ω)| < 2ε. Ekkor az Ω̄ = ⋂_{l=1} Ω (\frac{1}{l})

halmazra P (Ω̄) = 1, és minden ω ∈ Ω̄ halmazra az S_{n}(ω), n = 1, 2, … sorozat Cauchy sorozat. Ezért elég bebizonyítani a (+) relációt.

Viszont a Kolmogorov egyenlőtlenség alapján

P (sup_{k≥n} |∑_{j=n}^{k}(ξ_{j} − Eξ_{j})| ≥ ε) = lim_{N→∞} P ( sup_{N≥k≥n} |∑_{j=n}^{k}(ξ_{j}(ω) − Eξ_{j}(ω)| ≥ ε)

≤ lim_{N→∞} \frac{∑_{j=n}^{N} Var ξ_{j}}{ε^{2}} = \frac{∑_{j=n}^{∞} Var ξ_{j}}{ε^{2}}

és mivel lim_{n→∞} ∑_{j=n}^{∞} Var ξ_{j} = 0, innen következik a (+) reláció.

A Kolmogorov-féle három sor tételnek itt csak az elégséges részét bizonyítom be, a feltételek szükségességének bizonyítását a kiegészítésben teszem meg. Ennek az az oka, hogy egyrészt alkalmazásokban az elégségesség a Tétel fontos része, másrészt a szükségesség tárgyalása az itteni tárgyalástól eltérő módszert igényel. Láttuk ugyanis, hogyan lehet független valószínűségi változók szőrásnégyzeteinek az ismeretében e változók összegeit megbecsülni. De, ha a független valószínűségi változók összegének a konvergenciájából a valószínűsési változók szórásnégyzeteinek összegére akarunk következtetni, akkor ez új gondolatokat igényel.

A Kolmogorov-féle három sor tétel elégséges részének bizonyítása. Azt akarjuk megmutatni, hogy amennyiben a független ξ_{n} valószínűségi változók teljesítik az (i), (ii) és (iii)

feltételeket, akkor a ∑_{n=1}^{∞} ξ_{n} valószínűségi változók egy valószínűséggel konvergensek. Az

egy sor tétel bizonyításához hasonlóan látható, hogy elég belátni azt, hogy tetszőleges ε > 0-ra

lim_{n→∞} P ( sup_{m≥n} |∑_{k=n}^{m} ξ_{k}| > ε) → 0.

Vegyük észre, hogy

P ( sup_{m≥n} |∑_{k=n}^{m} ξ_{k}| > ε) ≤ ∑_{k=n}^{∞} P (ξ_{k} ≠ ξ′_{k}) + P ( sup_{m≥n} |∑_{k=n}^{m}(ξ′_{k} − Eξ′_{k})| > ε − ∑_{k=n}^{m} ξ′_{k})

továbbá ∑_{k=n}^{∞} P (ξ_{k} ≠ ξ′_{k}) → 0 n → ∞ esetén (i) miatt és ∑_{k=n}^{m} Eξ′_{k} < \frac{ε}{2} minden m ≥ n-re

ha n > n(ε) (ii) miatt. Végül a Kolmogorov egyenlőtlenség alapján

P ( sup_{m≥n} |∑_{k=n}^{m}(ξ′_{k} − Eξ′_{k})| > \frac{ε}{2}) ≤ \frac{∑_{k=n}^{∞} Var ξ′_{k}}{ε^{2}} → 0 ha n → ∞.

a (iii) tulajdonság miatt. Ezekből az egyenlőtlenségekből következik a tétel állítása.

Felidézem a nagy számok gyenge törvényéről szóló tételt annak általános, éles formájában. Ennek az eredménynek is csak az elégséges részét fogom itt bizonyítani, a szükségesség bizonyítását csak a Kiegészítésben adom meg. Egyébként érdemes megjegyezni, hogy ez a bizonyítás nagyon hasonló az előző órán tárgyalt első példához.

A nagy számok gyenge törvényét kimondó tétel éles alakja. Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata F eloszlásfüggvénnyel. Ezek a valószínűségi változók akkor és csak akkor teljesítik a nagy számok

gyenge törvényét, azaz a \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag akkor és csak akkor konvergál sztochasztikusan

n → ∞ esetében egy a számhoz, −∞ < a < ∞, ha

lim_{x→∞} x [F (−x) + (1 − F (x))] = 0, és lim_{u→∞} ∫_{−u}^{u} xF ( dx) = a.  (++)

A nagy számok gyenge törvénye elégséges részének bizonyítása Tegyük fel, hogy a ξ_{k} valószínűségi változók F (x) eloszlásai teljesítik a (++) feltételt. Adott n-re definiáljuk

a ξ̄_{k} = ξ̄_{k}^{(n)} = ξ_{k}I(|ξ_{k}| ≤ n) és ¯ ξ̄_{k} = ¯ ξ̄_{k}^{(n)} = ξ_{k} − ξ̄_{k} valószínűségi változókat. Ekkor

\frac{1}{n} ∑_{k=1}^{n} ξ_{k} = \frac{1}{n} ∑_{k=1}^{n} ξ̄_{k} + \frac{1}{n} ∑_{k=1}^{n} ¯ ξ̄_{k}, ezért elegendő azt megmutatni, hogy \frac{1}{n} ∑_{k=1}^{n} ξ̄_{k} ⇒ a

és \frac{1}{n} ∑_{k=1}^{n} ¯ ξ̄_{k} ⇒ 0, ahol ⇒ sztochasztikus konvergenciát jelöl. A bizonyítandó második

reláció következik a (++) feltétel első részéből, mert P (\frac{1}{n} ∑_{k=1}^{n} ¯ ξ̄_{k} ≠ 0) ≤ ∑_{k=1}^{n} P (|ξ_{k}| ≥

n) = n [F (−n) + (1 − F (n))] → 0, ha n → ∞. Az első reláció a Csebisev egyenlőtlenségből következik, mert minden ε > 0 számra

P (|\frac{1}{n} ∑_{k=1}^{n}(ξ̄_{k} − a)| > ε) ≤ P (|\frac{1}{n} ∑_{k=1}^{n}(ξ̄_{k} − Eξ̄_{k})| > (ε − |(a − Eξ̄_{1})|)

≤ \frac{nVar ξ̄_{1}}{n^{2} (ε − |a − Eξ̄_{1}|)^{2})},

(ε − |a − Eξ̄_{1}|)^{2} ≥ \frac{ε}{2}, ezért a bizonyítás befejezéséhez elég azt megmutatni, hogy

lim_{n→∞} \frac{Var ξ̄_{1}^{(n)}}{n} = 0. Mivel

Var ξ̄_{1} ≤ Eξ̄_{1}^{2} = ∫_{−n}^{n} u^{2}F ( du) = ∫_{−L}^{L} u^{2}F ( du) + ∫_{L≤|u|≤n} u^{2}F ( du)

tetszőleges L > 0 számra, az utolsó összeg első tagja rögzített L számra nem függ az n számtól, ezért elegendő azt megmutatni, hogy minden ε > 0 számra létezik olyan

L = L(ε) szám, hogy \frac{1}{n} ∫_{L}^{n} u^{2}F ( du) ≤ ε és \frac{1}{n} ∫_{−n}^{−L} u^{2}F ( du) ≤ ε. A (++) formula első

relációja miatt létezik olyan L = L(ε) szám, melyre x ≥ L esetén x(1 − F (x)) ≤ \frac{ε}{2} és

xF (−x) ≤ \frac{ε}{2}. Ezért parciális integrálással kapjuk, hogy ilyen L-re \frac{1}{n} ∫_{L}^{n} u^{2}F ( du) =

\frac{−1}{n} ∫_{L}^{n} u^{2} (d(1 − F u)) = \frac{1}{n} ∫_{L}^{n} 2u(1 − F (u)) du − \frac{1}{n} [u^{2}(1 − F (u)]_{L}^{n} ≤ \frac{ε}{n} ∫_{L}^{n} 1 du ≤ ε.

A másik egyenlőtlenség hasonlóan bizonyítható.

Természetesen felvetődik a következő kérdés: Legyenek ξ_{1}, ξ_{2}, …, független egy-

forma eloszlású valószínűségi változók, melyekre Eξ_{1} = 0. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, . . .. Ekkor a nagy számok gyenge törvénye szerint a \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, a nagy számok erős törvénye szerint pedig egy valószínűséggel is nullához tartanak. Hogyan lehet élesíteni a nagy számok gyenge illetve erős törvényét?

Pontosabban fogalmazva, milyen a_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{a_{n}}

sztochasztikusan tart nullához, ha n → ∞? Milyen b_{n}, n = 1, 2, … sorozatokra mond-

hatjuk, hogy \frac{S_{n}}{b_{n}} egy valószínűséggel tart nullához, ha n → ∞? Az egyszerűség kedvéért

tegyük fel, hogy olyan valószínűségi változókat tekintünk, melyeknek van második momentumuk.

Az első kérdésre a válasz viszonylag egyszerű következménye a centrális határeloszlástételnek, és ezt az állítást feladat formájában fogalmazom meg. A második kérdésre a választ nehezebb megadni. Ezt a választ azalábbi bizonyítás nélkül ismertetett iterált logaritmustétel adja meg.

Feladat:

Legyenek ξ_{1}, ξ_{2}, …, olyan független, egyforma eloszlású valószínűségi változók, melyekre

Eξ_{1} = 0 és Eξ_{1}^{2} < ∞. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, . . .. Ekkor pozitív valós számok

valamely a_{n} sorozatára a \frac{S_{n}}{a_{n}} valószínűségi változók akkor és csak akkor tartanak sz-

tochasztikusan nullához n → ∞ esetén, ha lim_{n→∞} \frac{a_{n}}{\sqrt{n}} = ∞.

Végül megfogalmazom a valószínűségszámítás egyik híres eredményét, az úgynevezett iterált logaritmus tételt

Iterált logaritmus tétel. Legyenek ξ_{1}(ω), ξ_{2}(ω), …, független, egyforma eloszlású valószínűségi változók valamilyen (Ω, A, P) valószínűségi mezőn, melyekre Eξ_{1}(ω) = 0, Var ξ_{1}(ω) = σ^{2} < ∞. Ekkor

lim sup_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = 1, majdnem minden ω ∈ Ω elemi eseményre,

és

lim inf_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = −1, majdnem minden ω ∈ Ω elemi eseményre.

Kiegészítés:

A Kolmogorov egyenlőtlenség bizonyítása: Definiáljuk a

τ(ω) = min{k: k ≤ n; |S_{k}(ω)| ≥ x}

valószínűségi változót. (τ(ω) = n ha S_{k}(ω) < x minden k ≤ n-re.) Azt állítjuk, hogy

ES_{τ(ω)}^{2} ≤ ES_{n}^{2} .  (a)

Az utolsó egyenlőtlenség és a Csebisev egyenlőtlenség alapján

P (max_{k≤n} |S_{k}| > x) = P (|S_{τ(ω)}| > x) ≤ \frac{ES_{τ(ω)}^{2}}{x^{2}} ≤ \frac{ES_{n}^{2}}{x^{2}} ,

és ez a Kolmogorov egyenlőtlenség. A kívánt egyenlőtlenség bebizonyításához vegyük észre, hogy

\begin{aligned}ES_{n}^{2} − ES_{τ(ω)}^{2} & = ∑_{k=1}^{n} E(S_{n} − S_{k})(S_{n} − S_{k} + 2S_{k})I(\{τ(ω) = k\}) \\ & = ∑_{k=1}^{n} E(S_{n} − S_{k})^{2}I(\{τ(ω) = k\}) + 2 ∑_{k=1}^{n} E(S_{n} − S_{k})S_{k}I(\{τ(ω) = k\}) . \end{aligned}

(b)

Mivel az S_{n} − S_{k} és S_{k}I({τ(ω) = k}) valószínűségi változók függetlenek, (az S_{n} − S_{k} a ξ_{l}, l = k + 1, …, n, az S_{k}I({τ(ω) = k}) az ξ_{l}, l = 1, …, k valószínűségi változóktól függ,) és E(S_{n} − S_{k}) = 0, ezért

E(S_{n} − S_{k})S_{k}I({τ(ω) = k}) = E(S_{n} − S_{k})ES_{k}I({τ(ω) = k}) = 0 .

Innen következik, hogy az (b) azonosság jobboldalának a második tagja nulla. Mivel az első tag egy nem negatív valószínűségi változó várható értéke, ezért az (b) azonosságból következik az (a) reláció. Így bebizonyítottuk a Kolmogorov egyenlőtlenséget.

A három sor tétel szükséges felének bizonyítása. Ha a ∑_{k=1}^{∞} ξ_{k}(ω) összeg egy valószínűség-

gel konvergens, akkor a |ξ_{k}(ω)| > C esemény csak véges sok k indexre teljesül. Ezenkívül ezek az események különböző k indexre függetlenek, ezért, ha az alábbi sorozat kon-

vergál, akkor a Borel–Cantelli lemma alapján ∑_{k=1}^{∞} P (|ξ_{k}| > C) < ∞, azaz az (i) tulaj-

donság teljesül. Továbbá a Borel-Cantelli lemma másik fele alapján a ∑_{k=1}^{∞}(ξ_{k}(ω)−ξ′_{k}(ω))

így a ∑_{k=1}^{∞} ξ′_{k}(ω)) összeg is egy valószínűséggel konvergens, ahol ξ′_{k}(ω) = ξ_{k}(ω)I(|ξ_{k}(ω)| <

C). A bizonyítás következő lépésében egy más problémák megoldásában is hasznos módszert, az un. szimmetrizálást alkalmazzuk. Legyen ξ′′_{k} független valószínűségi változók sorozata, melyek a ξ′_{k} sorozattól is függetlenek, és ξ′′_{k} ugyanolyan eloszlású mint a ξ′_{k} valószínűségi változó. Legyen ξ̃_{k} = ξ′_{k} − ξ′′_{k}. Ekkor ξ̃_{k} független szimmetrikus, azaz olyan eloszlású valószínűségi változók sorozata, melyekre P (ξ̃_{k} > x) = P (ξ̃_{k}− < x)

minden x számra, és a ∑_{k=1}^{∞} ξ̃_{k} sorozat egy valószínűséggel konvergens. Be fogjuk látni

az alábbi lemmát.

Lemma. Ha ξ_{1}, ξ_{2}, …, független szimmetrikus eloszlású, korlátos valószínűségi változók, azaz olyanok, melyekhez létezik olyan K > 0 szám, hogy P (|ξ_{k}| ≤ K) minden

k = 1, 2, … indexre, és a ∑_{k=1}^{∞} ξ_{k}(ω) összegek egy valószínűséggel konvergálnak, akkor

∑_{k=1}^{∞} Var ξ_{k} < ∞.

Először megmutatjuk az állítás bizonyítását e Lemma segítségével. E lemma alapján

tudjuk, hogy ∑_{k=1}^{∞} Var ξ̃_{k} < ∞, és mivel Var ξ̃_{k} = 2Var ξ′_{k} innen következik a (iii) tulaj-

donság. A ξ′_{k} − Eξ′_{k} sorozat teljesíti a három sor tétel mindhárom feltételét. Ezért e

tételnek a már bizonyított elégséges felét felhasználva azt kapjuk, hogy a ∑_{k=1}^{∞}(ξ′_{k} − Eξ′_{k})

és ∑_{k=1}^{∞} Eξ′_{k} = ∑_{k=1}^{∞} ξ′_{k} − ∑_{k=1}^{∞}(ξ′_{k} − Eξ′_{k}) összegek konvergensek egy valószínűséggel. Ezért

a (ii) tulajdonság is teljesül.

A lemma bizonyítása. Jelölje a ξ valószínűségi változó eloszlásfüggvényét F (x), és karakterisztikus függvényét φ_{k}(t). Először azt mutatjuk meg, hogy elég kis t indexre

a ∑_{k=1}^{∞}(1 − φ_{k}(t) reláció teljesül, sőt a tekintett összeg abszolult konvergens. Valóban a

∑_{k=1}^{∞} ξ_{k}(ω) egy valószínűséggel való konvergenciájából következik, hogy e véletlen összegek eloszlásban is konvergálnak, ezért a ∏_{k=1}^{n} φ_{k}(t) függvények konvergálnak egy folytonos

φ(t) függvényhez. A φ_{k}(t) karakterisztikus függvények a ξ_{k} valószínűségi változók szimmetrikus eloszlása miatt valós értékűek, 1-nél kisebbek, és logaritmust véve kapjuk,

hogy a ∑_{k=1}^{∞} log φ(t) abszolut konvergens kis t számra, és az összeg kisebb, mint ε.

(Azt használjuk itt ki, hogy a φ(t) határfüggvény a nullában folytonos, és φ(0) = 1. Tekintve a log(1 + x) függvény Taylor sorát nulla kis környezetében x = 1 − φ_{k}(t) választással kapjuk, hogy 1 − φ_{k}(t) ≤ −2 log φ(t) elég kis t-re minden k indexre, és

∑_{k=1}^{∞}[1 − φ_{k}(t)) < ∞, amint állítottuk.

Legyen ξ olyan valószínűségi változó, amelyikre P (|ξ| ≤ K) = 1, és jelölje φ(t) ξ karakterisztikus F (x) az eloszlás függvényét. Azt állítjuk, hogy ha t > 0 olyan szám, melyre tK ≤ 1, akkor \frac{t^{2}}{4} Var ξ ≤ Re Var φ(t). Valóban ekkor

Re (1 − φ(t)) = ∫_{−∞}^{∞}(1 − cos tx)F ( dx) ≥ ∫_{−∞}^{∞} \frac{t^{2}x^{2}}{4} F ( dx) = \frac{t^{2}}{4} Eξ^{2} ≥ \frac{t^{2}}{4} Var ξ,

mivel |tx| ≤ |tK| ≤ 1 esetén 1 − cos tx > \frac{(tx)^{2}}{4} .

A fenti két állításból következik, hogy esetünkben ∑_{k=1}^{∞} Var ξ_{k} ≤ \frac{4}{t} ∑_{k=1}^{∞}(1−φ(t)) < ∞

egy elég kis t > 0 számmal.

A gyenge konvergenciáról szóló tétel szükséges felének a bizonyítása. Ennek az állításnak a bizonyítását kevésbé részletesen írom le. Az egyszerűség kedvéért felteszem, hogy a limesz a = 0, mert az általános eset erre visszavezethető, ha az eredményt a ξ̄_{k} = ξ_{k} − a valószínűségi változókra alkalmazzuk. Először azt mutatjuk meg, hogy abból, hogy a xi_{k} független, egyforma valószínűségi változók átlagai sztochasztikusan konvergálnak nullához következik, hogy e valószínűségi változók φ(t) karakterisztikus függvényei a nullában deriválhatóak, és deriváltjuk nullával egyenlő. (Valójában a két állítás ekvivalens egymással.)

Valóban, az, hogy ezek az átlagok sztochasztikusan konvergálnak nullához, ekvivalens azzal, hogy eloszlásban konvergálnak nullához, ami a karakterisztikus függvények nyelvén azt jelenti, hogy lim_{n→∞} φ (\frac{t}{n}) → 1, és ez a konvergencia minden véges interval-

lumban egyenletes. Logaritmust véve azt kapjuk, hogy lim_{n→∞} n log φ (\frac{t}{n}) = 1 minden

valós t számra, és a konvergencia egyenletes. Véve a log(1 + z) = 1 − z + O(z^{2}) közelítést z = log φ (\frac{t}{n}) − 1 választással azt kapjuk, hogy lim_{n→∞} n (φ (\frac{t}{n}) − 1) = 0, és a becslés egyenletes minden véges intervallumon. Innen következik, hogy a karakterisztikus függvény nullában konvergens, és a deriváltja nulla.

Abból, hogy a derivált (valós része) nulla, következik, hogy tetszőleges ε > 0 számra |Re [1 − φ(u)]| < \frac{ε}{x}, ha u < \frac{1}{x} és x > x(ε). Ezért elég nagy x-re

ε > x^{2} ∫_{0}^{1/x} Re [1 − φ(u)] du = ∫_{0}^{1/x} ∫_{−∞}^{∞} x^{2}(1 − cos ut)F (d u) dt

= ∫_{−∞}^{∞} ∫_{0}^{1/x} x^{2}(1 − cos ut) dtF (d u) = ∫_{−∞}^{∞} (x − \frac{x^{2} sin \frac{u}{x}}{u} ) F ( du)

≥ \frac{x}{2} ∫_{\{|t|>2x\}} F ( du) = \frac{x}{2} [(1 − F (2x)) + F (−2x)] .

Innen következik, hogy lim_{x→∞} x[(1 − F (x) + F (−x)] = 0.

Viszont, ha ellenőrizzük a tétel elégségesség részének a bizonyítását, akkor láthatjuk, hogy ott elsősorban ezt a feltételt használtuk, és ez a feltétel önmagában elegendő

annak a bizonyításához, hogy a \frac{1}{n} ∑_{k=1}^{n} ∑_{k=1}^{n} (ξ_{k} − ∫ −n^{n}uF ( du)) valószínűségi változók

nullához konvergáljanak. Ez viszont azt jelenti, hogy az átlagok csak akkor konvergálhatnak egy a számhoz, ha a = lim_{n→∞} ∫ −n^{n}uF ( du), és ezt kellett belátni.