A december 11-i gyakorlat témája Rövid összefoglaló

Ezen a gyakorlaton is elsősorban azzal foglalkozunk, hogy hogyan lehet megérteni annak a jegyzetnek néhány eredményét, mely a vizsgan kérdezett anyagot tartalmazza. Előtte azonban beszéljük meg röviden a pótdolgozaton feladott első feladatot, mert erre a konvolució segítségével is megoldható feladatra senki nem adott jó megoldást. A feladat a következő:

Legyen ξ_{1} és ξ_{2} két független, a [−\frac{1}{2}, \frac{1}{2}] intervallumban egyenletes eloszlású valószínűségi változó azaz legyen ξ_{j} sűrűségföggvénye f(x) = 1, ha −\frac{1}{2} ≤ x ≤ \frac{1}{2}, és f(x) = 0 egyébként, j = 1, 2. Számítsuk ki a ξ_{1} + ξ_{2} valószínűségi változó sűrűségfüggvényét. Megoldás a konvolució segítségével: A ξ_{1}+ξ_{2} valószínűségi változó sűrűségfüggvénye

f ∗ f(x) = ∫_{−∞}^{∞} f(y)f(x − y) dy = ∫_{\{y: − \frac{1}{2} ≤y≤ \frac{1}{2} ,− \frac{1}{2} ≤x−y≤ \frac{1}{2}\}} 1 dy

= ∫\begin{matrix}min & (\frac{1}{2} , \frac{1}{2} , \frac{1}{2} +x) \\ max & (− \frac{1}{2} ,− \frac{1}{2} +x) \end{matrix} dy,

ahonnan

f ∗ f(x) = \{ \begin{matrix}∫− \frac{1}{2} +x^{\frac{1}{2}} dx = 1 − x, & ha 0 ≤ x ≤ 1 \\ ∫_{− \frac{1}{2}}^{\frac{1}{2} +x} dx = 1 + x, & ha − 1 ≤ x ≤ 0 \\ 0 & , egyébként \end{matrix}

Másik megoldás: A (ξ_{1}, ξ_{2}) vektor sűrűségfüggvénye 1 a B = [−\frac{1}{2}, \frac{1}{2}] × [−\frac{1}{2}, \frac{1}{2}]

négyzeten, ezért tetszőleges (a síkon értelmezett) A halmazra P (ξ_{1}, ξ_{2}) ∈ A) = λ(A ∩ B), ahol λ a Lebesgue mérték, azaz az A ∩ B halmaz területét tekintettük. Viszont a {ξ_{1} + ξ_{2} < x} esemény megegyezik a {(ξ_{1}, ξ_{2}) ∈ A(x)} eseménnyel, ahol A(x) = {(u, v): u + v < x}. Innen P (ξ_{1} + ξ_{2} < x) = λ(A_{x} ∩ B), ahonnan P (ξ_{1} + ξ_{2} < x) = \frac{1}{2}(1 + x)^{2}, ha −1 ≤ x ≤ 0, és P (ξ_{1} + ξ_{2} < x) = 1 − P (ξ_{1} + ξ_{2} ≥ x) = λ(B \ A(x)) = 1 − \frac{1}{2}(1 − x)^{2}, ha 0 ≤ x ≤ 1. Továbbá P (ξ_{1} + ξ_{2} < x) = 0, ha x < −1 és P (ξ_{1} + ξ_{2} < x) = 1, ha x > 1. Deriválva a ξ_{1} + ξ_{2} fent kiszámítoott eloszlásfüggvényét megkapjuk a ξ_{1} + ξ_{2} sűrűségfüggvényét.

Megjegyzések a függetlenség és Kolmogorov 0–1 törvénye fejezethez.

Először értsék meg σ-algebráknak a 2.1 definicióban megadott függetlenségét. Itt szerepel események illetve valószínűségi változók függetlensége is. Én ez utóbbiakat tételnek nevezném. Nevezetesen arról van szó, hogy a korábban tanult σ-algebrák fogalma nélkül definiált függetlenség definiciója megegyezik az itt megadottal. E fejezet megértéséhez elengedhetetlen a farok σ-algebra 2.2 definiciója. A legérdekesebb eset, és gyakorlatilag az összes tekintett példa olyan, amelyikben bizonyos valószínűségi változók által generált σ-algebrát tekintünk. Ekkor a farok σ-algebra szemléletes tartalma az, hogy ez azon eseményekből áll, melyek be vagy be nem következtét meg tudjuk állapítani akkor is, ha ezen valószínűségi változók közül néhánynak az értékét nem ismerjük. Például az az esemény, hogy valószínűségi változók átlaga kisebb mint egy rögzített x szám nem függ véges sok az átlagban résztvevő valószínűségi változó értékétől. A fejezet fő eredménye a 2.6 Tétel, a Kolmogorov féle 0–1 törvény. Ez azt mondja ki, hogy független σ-algebrák, speciálisan független valószínűségi változók által generált σalgebrák farok σ-algebrája olyan eseményekből áll, melyeknek valószínűsége nulla vagy egy. A bizonyítás eszméje a következő: Tekintünk egy rögzített A eseményt a farok σ-algebrában, és keresünk olyan (halmaz) algebrákat illetve σ-algebrákat, melyeknek elemei függetlenek ettől az A halmaztól. Belátjuk bizonyos analízis segítségével, hogy a farok σ-algebra eseményei ilyenek. Az állítás bizonyításában kulcsszerepet játszik mértékek kiterjeszteésének egyértelműsége algebráról az általa generált σ-algebrára. Ez azt jelenti speciálisan, hogy az A halmaz önmagától is független, azaz P (A) = P (A)^{2}, és innen következik a kívánt állítás. Feltétlenül javaslom, hogy nézzék át a fejezetben szereplő példákat is. A fejezetben szereplő Borel–Cantelli lemma megegyezik a bevezető valószínűségszámításban szereplő hasonló nevű eredménnyel.

Konvergenciafogalmak a valószínűségszámításban. A nagy számok erős és gyenge törvénye.

Először idézzük fel e fogalmak definicióit. Megjegyzem, hogy az egy valószínűségű konvergenciát majdnem mindenütt való a sztochasztikus konvergenciát pedig mértékben való konvergenciának is hívják.

Az egy valószínűségű konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt)

P (ω: lim_{n→∞} ξ_{n}(ω) = ξ(ω)) = 1.

A sztochasztikus konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál sztochasztikusan egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt) minden ε > 0 számra

lim_{n→∞} P (|ξ_{n}(ω) − ξ(ω)| > ε) = 0.

Az eloszlásban való konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez vagy az ezen eloszlásfüggvény által meghatározott eloszláshoz, ha lim_{n→∞} P (ξ_{n} < u) = F (u) minden olyan u számra, ahol az F (·) eloszlásfüggvény függvény folytonos. (Azt mondjuk, hogy a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata eloszlásban konvergál egy ξ valószínűségi változóhoz, ha ez a sorozat eloszlásban konvergál az F (u) = P (ξ < u) eloszlásfüggvényhez.)

Eloszlásfüggvények F_{n}(u) sorozata akkor és csak akkor konvergál egy F (u) eloszlásfüggvényhez, ha valószínűségi változók olyan ξ_{n}, n = 1, 2, …, sorozata, melyekre ξ_{n} eloszlása F_{n}(u) eloszlásban konvergálnak az F (u) eloszlásfüggvényhez. Más szavakkal ez azt jelenti, hogy lim_{n→∞} F_{n}(u) = F (u) az F (·) függvény minden folytonossági pontjában.

Igaz a következő kapcsolat: Egy valószínűségi konvergencia ⇒ Sztochasztikus konvergencia ⇒ Eloszlásban való konvergencia.

Megmutatjuk hogy, ha ξ_{n}(ω) → ξ(ω) egy valószínűséggel, akkor definiálva az

A_{n} = A_{n}(ε) = {ω: sup_{k≥n} |ξ_{k}(ω) − ξ(ω)| < ε} halmazokat kapjuk, hogy az egymásba

skatulyázott A_{n} halmazokra, (azaz A_{1}(ω) ⊂ A_{2} ⊂ ⋯), P ( ⋃_{n=1}^{∞} A_{n}) = 1. Ezért

lim_{n→∞} P (A_{n}) = 1. Mivel {|ξ_{n}(ω) − ξ(ω)| < ε} ⊃ A_{n}, P (|ξ_{n}(ω) − ξ(ω)| < ε) → 1, azaz

P (|ξ_{n}(ω)−ξ(ω)| ≥ ε) → 0, ha n → ∞. Ez azt jelenti, hogy az egy valószínűségű konvergenciából következik a sztochasztikus konvergencia. A jegyzet tartalmazza a következő eredményt is (Lemma 5.7 (i):

Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata, akkor és csak akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha az η_{n} = sup_{k≥n} |ξ_{k} − ξ| valószínűségi

változók sorozata sztochasztikusan konvergál nullához, azaz minden ε > 0 számra

P ( lim_{n→∞} sup_{k≥n} |ξ_{k} − ξ| > ε) = 0.

Lássunk példát arra, hogy lehetséges olyan ξ_{n}, n = 1, 2, …, és ξ valószínűségi változókat konstruálni, melyekre a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan tart ξ-hez, de a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűséggel a ξ valószínűségi változóhoz.

Tekintsük a következő (Ω, A, P) valószínűségi mezőt: Ω a [0, 1] intervallum, A a Borel mérhető halmazok σ-algebrája a [0.1] intervallumon, a P valószínűségi mérték a Lebesgue mérték. Legyen

ξ_{n}(x) = \{ \begin{matrix}1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \\ 1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \end{matrix}
akkor ha 2^{k} ≤ n < 2^{k+1}, k = 1, 2, …,

és ξ(x) = 0 minden 0 ≤ x ≤ 1 számra. Ekkor P (|ξ_{n} − ξ| > ε) = 2^{−k} minden ε > 0 számra, ha 2^{k} ≤ n < 2^{k+1}. Tehát a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál a ξ valószínűségi változóhoz. Viszont mivel lim sup_{n→∞} ξ_{n}(x) = 0 minden 0 ≤ x ≤ 1 számra,

ezért a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

Azt mondjuk, hogy ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók

teljesítik a nagy számok gyenge törvényét, ha ezek S_{n} = ξ_{1} + · + ξ_{n} összegeire \frac{S_{n}}{n} →

Eξ_{1} sztochasztikusan, teljesítik a nagy számok erős törvényét, ha \frac{S_{n}}{n} → Eξ_{1} egy valószínűséggel, ha n → ∞. Valójában, olyan becsléseket bizonyítanak, melyek független (esetleg csak korrelálatlan), de nem feltétlenül egyforma eloszlású valószínűségi változók normalizált összegéről szólnak.

Az 5.1 illetve 5.2 Tétel tartalmazza a nagy számok gyenge törvényének a bizonyítását. A bizonyítás lényege a Csebisev egyenlőtlenség.

Az itt szereplő eredményekben fontos szerepet játszik az, hogy milyen momentum feltételek teljesülnek az egyes valószínűségi változókra. Az, hogy egy valószínűségi változónak léteznek a magas momentumai azt jelenti, hogy viszonylag kis valószínűséggel vesz fel nagyon nagy értékeket, ezért nem kell attól tartani, hogy néhány tag extrém viselkedése rontja el a nagy számok erős törvényének az érvényességét. Így az 5.5 Tételben négy momentum létezése van feltéve. A nagy számok törvényének az igazán éles és nehezebben bizonyítható alakja a nagy számok Kolmogorov féle erős törvénye, 5.11 tétel. Eszerint az eredmény szerint a nagy számok erős törvényének szükséges és elégséges feltétele az, hogy a valószínűségi változók abszolut értékének legyen véges várható értéke. A bizonyításban szereplő elégségesség bizonyításának alaplépése a Kolmogorov egyenlőtlenség. Ez az egyenlőtlenség ugyanazt a becslést adja arra, hogy független egyforma eloszlású valószínűségi változók részletösszegeinek maximuma nagyobb mint egy x szám, mint amit a Csebisev egyenlőtlenség ad arra, hogy a maximumban résztvevő összegek közül az utolsó nagyobb mint ez az x szám. Egy másik fontos technikai lépés a bizonyításban a (nem valószínűségszámítás tartalmú) Kronecker Lemma ((5.9) Lemma). Ennek bizonyításában az úgynevezett Abel féle átrendezés játszik fontos szerepet, melyet a jegyzetben “parciális szummázás”-nak neveznek.

Érdemes röviden elmagyarázni azt, hogy a nagy számok erős törvényének miért szükséges feltétele az, hogy az összeadandók abszolut értékének legyen véges várható értéke. Azaz tegyük fel, hogy ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi

változók, S_{n} = ξ_{1} + ⋯ + ξ_{n}. Azt állítjuk, hogy amennyiben lim_{n→∞} \frac{S_{n}}{n} → c valamilyen konstanshoz (vagy valamilyen valószínűségi változóhoz), akkor E|ξ_{1}| < ∞.

Be lehet látni, hogy E|ξ| < ∞ akkor és csak akkor, ha ∑_{n=0}^{∞} P (|ξ| > n) < ∞. Jelölje

ugyanis F (·) a ξ valószínűségi változó eloszlásfüggvényét. Ezzel a jelöléssel E|ξ| < ∞ akkor és csak akkor, ha ∫ |u| dF (u) < ∞. Továbbá ez az integrál akkor és csak akkor

véges, ha ∑_{n=0}^{∞} nP (n < |ξ| ≤ n + 1) < ∞. (Miért?) Ezt az összeget átrendezve

∑_{n=0}^{∞} nP (n < |ξ| ≤ n + 1)) = ∑_{n=0}^{∞} n (P (|ξ| > n) − P (|ξ| > n + 1))

= ∑_{n=0}^{∞} P (|ξ| > n)[(n + 1) − n] = ∑_{n=0}^{∞} P (|ξ| > n)

Innen következik az állítás.

Belátjuk az előző eredmény és a Borel–Cantelli lemma segítségével, hogy ha a ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata olyan, hogy

E|ξ_{1}| = ∞, akkor az \frac{S_{n}(ω)}{n} sorozat egy valószínűséggel divergens, ahol S_{n} = ∑_{k=1}^{∞} ξ_{k}. Ez

azt jelenti, hogy ebben az esetben nem teljesül a nagy számok erős törvénye.

Valóban, ha E|ξ_{1}| = ∞, akkor ∑_{n=0}^{∞} P (|ξ_{n}| > n) = ∑_{n=0}^{∞} P (|ξ_{1}| > n) = ∞. Továbbá az

{ω: |ξ_{n}(ω)| > n} események függetlenek, ezért a Borel-Cantelli lemma szerint majdnem minden ω ∈ Ω esetén |ξ_{n}(ω)| > n végtelen sok n indexre.

Ha ω ∈ Ω olyan pont, melyben az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat konvergens, akkor

ebben az ω pontban sup_{1≤n<∞} |\frac{S_{n}(ω)}{n}| < K(ω), és lim_{n→∞} (\frac{S_{n+1}(ω)}{n + 1} − \frac{S_{n}(ω)}{n}) = 0. Vi-

szont, \frac{S_{n+1}(ω)}{n + 1} − \frac{S_{n}(ω)}{n} = \frac{ξ_{n+1}(ω)}{n + 1} + \frac{S_{n}(ω)}{n(n + 1)}, és \frac{S_{n}(ω)}{n(n + 1)} → 0, |ξ_{n+1}(ω)| < n + 1

minden n = 1, 2, … számra, ha az \frac{S_{n}(ω)}{n} sorozat konvergál. Ez viszont csak nulla valószínűségű ω ∈ Ω halmazra érvényes. Megfogalmazom bizonyítás nélkül, hogy érvényes ennek az állításnak a megfordítása is, nevezetesen a következő tétel, amelyik szerepel a jegyzetben.

Tétel. Legyen ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók sorozata,

és definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, …, részletösszegeket. Az \frac{S_{n}(ω)}{n}, n = 1, 2, …,

sorozat akkor és csak akkor konvergál pozitív valószínűséggel, ha E|ξ_{1}| < ∞. Ha E|ξ_{1}| < ∞, akkor ez a sorozat teljesíti a nagy számok erős törvényét, azaz

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

Az iterált logaritmus tétel.

Ez az eredmény felfogható úgy mint a nagy számok erős törvényének az élesítése. Ez pontosabban kifejezi azt, hogy független, egyforma eloszlású valószínűségi változók összegeinek a lim sup-ja mekkora. Ez akkor érvényes, ha a valószínűségi változóknak létezik második momentuma. Az iterát logaritmustétel a következőt mondja ki:

Iterált logaritmus tétel. Legyenek ξ_{1}(ω), ξ_{2}(ω), …, független, egyforma eloszlású valószínűségi változók valamilyen (Ω, A, P) valószínűségi mezőn, melyekre Eξ_{1}(ω) = 0, Var ξ_{1}(ω) = σ^{2} < ∞. Ekkor

lim sup_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = 1, majdnem minden ω ∈ Ω elemi eseményre,

és

lim inf_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = −1, majdnem minden ω ∈ Ω elemi eseményre,

sőt igaz a következő némileg élesebb állítás is: A \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}}, n = 1, 2, …,

sorozat torlodási pontjainak halmaza a [−1, 1] intervallum egy valószínűséggel.

Nem nehéz belátni a Csebisev egyenlőtlenség vagy a centrális határeloszlástétel segítségével, hogy tetszőleges α(n) → ∞, ha n → ∞ esetén

lim_{n→∞} P (\frac{|ξ_{1}(ω) + ⋯ + ξ_{n}(ω)|}{\sqrt{n}α(n)} < ε) = 1 minden ε > 0 számra,

azaz a \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{n}α(n)} valószínűségi változók sztochaszikusan konvergálnak nullá-

hoz.

A jegyzetben az állítás csak normális valószínűségi változók összegére van bizonyítva. Az bizonyos fokig standard, de meglehetősen fárasztó lépéseken alapul. Egyrészt a normális eloszlásfüggvény végtelenben való viselkedését kell leírni, (Lemma (6.2) ezután részben a Borel–Cantelli lemmát alkalmzzuk illetve a

P (\frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} > x)

és

P ( sup_{1≤k≤n} \frac{ξ_{1}(ω) + ⋯ + ξ_{k}(ω)}{\sqrt{2nσ^{2} log log n}} > x)

alakú eseményekre kell jó becslést adni. Ez utóbbi célból szerepel a bizonyításban a tükrözési elv (Lemma 6.3).

Megjegyzések a gyenge konvergencia című fejezethez.

A legfontosabb azt megérteni, hogy a gyenge konvergencia fogalma a számegyenesen már tárgyalt eloszlásban való konvergencia általánosítása (szeparábilis) metrikus tereken értelmezett valószínűségi mértékekre. Azaz, arról van szó, hogy amennyiben olyan valószínűségi változók (mérhető függvények) sorozatát vesszük, melyek értéküket nem feltétlenül a számegyenesen, hanem esetleg egy általános téren veszik fel, akkor mikor mondhatjuk, hogy ezen valószínűségi változók eloszlásban (azaz gyengén) konvergálnak egy ugyanazon a téren értelmezett valószínűségi változóhoz. Az előbb mondottak speciálisan azt jelentik, hogy valós értékű valószínűségi változók eloszlásban való, illetve gyenge konvergenciája megegyezik.

Megbeszéltük, hogy a számegyenesen is az eloszlásban való konvergencia esetén az eloszlásfüggvények konvergenciáját csak a határeloszlás folytonossági pontjaiban követeljük meg. Nem meglepő, hogy ennek a megszorításnak valamilyen módon öröklődni kell általános terekben is. Ráadásul általános esetben nem beszélhetünk eloszlásfüggvényekről. A fejezet fő eredménye a 7.2 Lemma, amelyik ekvivalens megfogalmazásait adja a gyenge konvergenciának. Ezek közül az (i) jellemzés a számegyenesen megegyezik az eloszlásban való konvergencia általunk megadott jellemzésével. Annak érdekében, hogy megértsük a (iii) és (iv) jellemzéseket, azt hogy miért van lim sup a lim helyett zárt halmazok, illetve lim inf a lim helyett nyílt halmazok esetén, tekintsük a következő egyszerű példát. Tekintsük a számegyenest, és legyen rajta x_{n}, n = 1, 2, …, olyan számsorozat, melyre x_{n} → x_{0} valamilyen x_{0} számra Legyen továbbá az x_{n} sorozat olyan, hogy x_{n} ≠ x_{0}, ha n ≥ 1. Definiáljuk azon μ_{n}, n = 0, 1, 2, …, valószínűségi mértékeket, melyek az x_{n} pontba vannak koncentrálva, n = 0, 1, 2, …, azaz legyen μ_{n}(A) = 1, ha x_{n} ∈ A, és μ_{n}(A) = 0, ha x_{n} ∉ A. Ekkor mint azt természetes várni, a μ_{n} mértékek gyengén konvergálnak a μ_{0} mértékhez. Tekintsük az F = {x_{0}} egyelemű halmazt. Ekkor F zárt halmaz, μ_{n}(F) = 0, ha n ≥ 1, és μ_{0}(F) = 1. Ez azt jelenti, hogy lim sup μ_{n}(F) ≤ μ_{0}(F) erre a zárt halmazra, ami konzisztens a (iii) tulajdonsággal, de nem írhatunk limeszt és egyenlőséget a lim sup és ≤ helyett. Hasonlóan, ha a G = R^{1} \ {x} halmazt tekintjük, azaz az F halmaz komplementerét, akkor a G halmaz nyílt, μ_{n}(G) = 1, ha n ≥ 1, és μ_{0}(G) = 0. Ez azt jelenti, hogy a (iv) tulajdonság teljesül ebben az esetben, de nem írhatunk egyenlőséget és limeszt ebben a formulában sem.

A feltételes valószínűségről és feltételes várható értékről

A feltételes valószínűség és feltételes várható érték nulla valószínűségi feltételek mellett is definiálják, de az így definiált fogalmak a valószínűségszámítás legnehezebb fogalmai közé tartoznak. Ahhoz, hogy e fogalmakat jobban megértsük, próbáljuk először megérteni azt, hogy milyen szemléletes képet akarunk ennek a definiciónak a segítségével megfogalmazni. Ennek érdekében tekintsük a következő példát.

Van tíz darab lámpánk, ezek élettartama egymástól független, (exponenciális eloszlással és) 25 óra várható értékkel. Egy foglalatba betesszük az első lámpát, hogy bevilágítson egy termet. Ha a lámpa kiégett azonnal kicseréljük a következő lámpára. Első kérdés: Mit várunk várunk, mennyi ideig elegendő a tíz lámpa együttesen a terem bevilágításához? A természetes válasz az, hogy ez a tíz lámpa együttes élettartamának a várható értéke, azaz 10×25 óra. A második probléma a következő: Megfigyeljük, hogy melyik időpontban cseréljük ki a második lámpát. Mit várunk ennek az információnak az ismeretében a tíz lámpa együttes élettartamára? Ha ez a csere 48 óra 22 perc múlva történik meg, akkor a természetes becslés a 10 lámpa együttes élettartamára 48 óra 22 perc plusz 8×25 óra, azaz 248 óra 22 perc. Ha ez a csere 51 óra 19 perc múlva történik, akkor hasonlóan azt várjuk, hogy ez az időtartam 251 óra 19 perc.

A fenti példa nem önmaga miatt érdekes számunkra, hanem azért, mert rámutat arra, hogy természetes felvetni a következő kérdést. Adva egy esemény vagy egy valószínűségi változó, akkor érdekelhet minket ennek az eseménynek a valószínűsége vagy valószínűségi változónak várható értéke. Előfordulhat, hogy más eseményekenek bekövetkezését vagy be nem következését más valószínűségi változók felvett értékét meg tudjuk figyelni, és ezen plusz információ ismeretében akarjuk megbecsülni a minket érdeklő esemény valószínűségét vagy valószínűségi változó várható értékét. Ekkor természetes olyan becslést adni, amelyik ezeket a plusz információkat is figyelembe veszi. Az előző paragrafusban is ilyen kérdést fogalmaztunk meg. Ott meg akartuk becsülni tíz valószínűségi változó összegének a várható értékét azon feltétel mellett, hogy az első két változó összegének az értéke ismert. Ennek a kérdésnek a természetes általánosítása vezet a feltételes valószínűség és feltételes várható érték fogalmához.

Az előző példa azt sugallja, hogy egy A halmaz feltételes valószínűségét feltéve bizonyos ξ_{1}, …, ξ_{k} valószínűségi változókat úgy érdemes definiálni, mint a ξ_{1}, …, ξ_{k} valószínűségi változók alkalmas (Borel) mérhető függvényét, azaz P (A|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) = f_{A}(x_{1}, …, x_{k}), ahol f_{A}(x_{1}, …, x_{k}) Borel mérhető függvény az R^{k} k-dimenziós euklideszi térben, és azt méri mennyire valószínű az A esemény feltéve, hogy ξ_{1} = x_{1}, …, ξ_{k} = x_{k}. Ezt a valószínűséget implicit módon tudjuk definiálni. Azt várjuk, hogy

P ((ξ_{1}, …, ξ_{k}) ∈ [x_{1}, x_{1} + dx_{1}] × ⋯ × [x_{k}, x_{k} + dx_{k}] ∩ A)
= P ((ξ_{1}, …, ξ_{k}) ∈ [x_{1}, x_{1} + dx_{1}] × ⋯ × [x_{k}, x_{k} + dx_{k}])f_{A}(x_{1}, …, x_{k}) .

Ez az azonosság azonban semmitmondó, mert az azonosság mindkét oldala nulla. Viszont ez egy tartalmas állítássá válik, ha ezt az azonosságot kiintegráljuk. Ez azt sugallja, hogy teljesülnie kell a

P (A ∩ {(ξ_{1}, …, ξ_{k}) ∈ B})

= ∫_{(x_{1},...,x_{k})∈B} f_{A}(x_{1}, …, x_{k})P (ξ_{1} ∈ [x_{1}, x_{1} + dx_{1}], …, ξ_{k} ∈ [x_{k}, x_{k} + dx_{k}])

= ∫_{(x_{1},...,x_{k})∈B} f_{A}(x_{1}, …, x_{k})F ( dx_{1}, …, dx_{k})  (∗)

azonosságnak, ahol B az R^{k} k-dimenziós tér tetszőleges (Borel) mérhető halmaza, F (x_{1}, …, x_{k}) pedig a k-dimenziós (ξ_{1}, …, ξ_{k}) valószínűségi változó eloszlásfüggvénye. Az analízis egy fontos eredményéből, a Banach–Hahn tételből következik, hogy létezik olyan f_{A}(·, ·, ·) függvény mely teljesíti a (∗) azonosságot minden mérhető B halmazra, és ezek az azonosságok lényegében egyértelműen meghatározzák ezt az f_{A} feltételes valószínűség függvényt. Annak érdekében, hogy megértsük a lényegében egyértelműen kitétel értelmét jegyezzük meg, hogy ha egy f_{A} függvény teljesíti a (∗) azonosságok rendszerét, akkor megváltoztatva ezt az f_{A} függvényt egy a (ξ_{1}, …, ξ_{k}) valószínűségi változók F eloszlása által meghatározott mérték szerint null mértékű halmazon, akkor olyan új függvényt kapunk, mely szintén teljesíti a fenti egyenletrendszert. Az, hogy a (∗) azonosságot minden B halmazra teljesítő f_{A} függvény lényegében egyértelműen meg van határozva azt jelenti, hogy ha két f_{A} és f̄_{A} függvény teljesíti a (∗) azonosságot a k-dimenziós euklideszi tér minden B Borel mérhető halmazára, akkor f_{A}(x_{1}, …, x_{k}) = f̄_{A}(x_{1}, …, x_{k}) az F eloszlás szerint meghatározott mérték szerint majdnem minden (x_{1}, …, x_{k}) pontra.

Hasonló gondolatmenet segítségével kapjuk meg egy η valószínűségi változó, E|η| < ∞, g_{η}(x_{1}, …, x_{k}) = E(η|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) feltételes várható érték definicióját feltéve a ξ_{1} = x_{1}, …, ξ_{k} = x_{k} feltételeket. Ezt az

\begin{aligned}Eη(ω)I (\{ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A\}) & = ∫_{A} η(ω) dP (ω) \\ & = ∫_{A} g_{η}(x_{1}, …, x_{k})F (dx_{1}, …, dx_{k}) \end{aligned}  (∗∗)

relációk definiálják, ahol I(B) jelöli egy B ⊂ Ω halmaz indikátor függvényét, A a k-dimenziós R^{k} euklideszi tér tetszőleges Borel mérhető részhalmaza, F (x_{1}, …, x_{k}) a (ξ_{1}, …, ξ_{k}) véletlen vektor eloszlásfüggvénye. Azt, hogy ilyen g_{η}(x_{1}, …, x_{k}) függvény valóban létezik, és ez a g_{η} függvény az F (x_{1}, …, x_{k}) eloszlásfüggvény által meghatározott mérték szerint egy valószínűséggel meg van határozva szintén a Banach–Hahn tétel segítségével láthatjuk.

Mielőtt megtárgyalnánk a fent említett Banach–Hahn tételt, megfogalmazzuk a feltételes valószínűség és várható érték fogalmát némileg általánosabb esetben. Előfordulhat ugyanis, hogy az előzetes információink, melyek alapján egy halmaz valószínűségére vagy egy valószínűségi változó értékére becslést akarunk adni nem tömöríthető véges sok valószínűségi változó megfigyelt értékébe. Ahhoz, hogy a feltételes valószínűség és feltételes várható érték fogalmát természetes módon meg tudjuk fogalmazni ebben az általánosabb esetben is, először azt kell tisztáznunk, hogy mit jelent az általános esetben az, hogy bizonyos megfigyelt események függvényéként akarunk valamit megbecsülni.

Ha meg tudunk figyelni megszámlálható sok eseményt, akkor meg tudjuk figyelni ezek unióját, metszetét, illetve mindegyik esemény komplementerét. Ez azt jelenti, hogy ezek az események egy σ-algebrát alkotnak. Ezért az általános kérdés úgy fogalmazható meg, hogy adva egy (Ω, A, P) valószínűségi mezőn F ⊂ A σ-algebra és egy η valószínűségi változó, melyre E|η| < ∞, illetve A esemény, akkor definiáljuk a P (A|F)(ω) feltételes valószínűségi változót, illetve E(η|F)(ω) feltételes várható értéket feltéve a F σ-algebrát. Az, hogy a F σ algebra ismeretében akarjuk megbecsülni az A halmaz valószínűségét illetve η valószínűségi változó értékét a P (A|F)(ω) és E(η|F)(ω) feltételes valószínűség definiciójában, azt jelenti, hogy

i.) A P (A|F)(ω) feltételes valószínűség F mérhető függvény. i′). Az E(η|F)(ω) feltételes várható érték F mérhető függvény.

A F σ-algebra szerinti feltételes valószínűség és feltételes várható érték definicióját a (∗) képlethez vezető érveléshez hasonlóan a következő módon próbáljuk definiálni a P (A|F)(ω) feltételes valószínűséget és E(η|F)(ω) feltételes várható értéket.

ii.) P (A ∩ B) = ∫_{B} P (A|F)(ω) dP (ω) minden F mérhető B halmazra.

ii.′) ∫_{B} η(ω) dP (ω) = ∫_{B} E(η|F)(ω) dP (ω) minden F mérhető B halmazra.

A feltételes valószínűség és feltételes várható érték definiciója. Legyen adva egy (Ω, A, P) valószínűségi térnek egy F ⊂ A rész σ-algebrája. Legyen továbbá adva egy A ∈ A esemény vagy egy η(ω), E|η(ω)| < ∞ valószínűségi változó ezen a valószínűségi mezőn. Az A esemény P (A|F)(ω) feltételes valószínűsége feltéve a F σ-algebrát olyan valószínűségi változó mely teljesíti az i.) és ii.) tulajdonságokat. Az η(ω) valószínűségi változó E(η|F)(ω) feltételes várható értéke feltéve a F σ-algebrát olyan valószínűségi változó, mely teljesíti az i.′) és ii′.) tulajdonságokat.

Tisztázni kell, hogy a fenti definició tényleg meghatározza a P (A|F)(ω) feltételes valószínűséget és E(ξ|F)(ω) feltételes várható értéket. Ez az alább megfogalmazandó Banach–Hahn tétel következménye. Ezenkívül meg kívánjuk érteni az általános esetben defininiált P (A|F) illetve E(η|F) feltételes valószínűség és feltételes várható érték kapcsolatát az előzőleg speciális esetben definiált P (A|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) és E(η|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) kifejezésekkel.

Annak érdekében, hogy a Banach–Hahn tételt megfogalmazhassuk előbb be kell vezetni a következő definiciót.

Definició: Egy mérték abszolut folytonossága egy másik mérték szerint. Legyen μ véges (σ-additív) mérték és ν véges (σ-additív) előjeles mérték egy Ω téren értelmezett F σ-algebrán. Azt mondjuk, hogy a ν előjeles mérték abszolut folytonos a μ mérték szerint, ha minden olyan C ∈ F halmazra, melyre μ(C) = 0, a ν(C) = 0 reláció is teljesül.

Banach–Hahn tétel. Legyen adva egy Ω tér, rajta egy F σ-algebra, továbbá ezen a F σ-algebrán egy μ (véges) mérték és ν (véges) előjeles mérték. Tegyük fel, hogy a ν előjeles mérték abszolut folytonos a μ mértékre nézve. Akkor létezik olyan az Ω téren definiált valós értékű F mérhető f(ω) függvény, melyre ∫ |f(ω)| dμ(ω) < ∞, és ∫_{C} f(ω) dμ(ω) = ν(C) minden C ∈ F halmazra. Továbbá ez az f(ω) függvény egyértelmű a következő értelemben. Ha két f_{1}(ω) és f_{2}(ω) F mérhető függvény teljesíti a fenti relációt minden C ∈ F halmazra, akkor f_{1}(ω) = f_{2}(ω) a μ mérték szerint majdnem minden ω ∈ Ω pontban.

Jegyezzük meg, hogy az a kitétel, hogy a Banach–Hahn tételben meghatározott f(ω) mérték csak μ majdnem mindenütt van meghatározva természetes. Ha egy f(ω) függvény teljesíti a Banach–Hahn tételt, és a μ mérték szerint null mértékű halmazon megváltoztatjuk ezt a függvényt, akkor ez a megváltoztatott függvény is teljesíti a Banach–Hahn tételben megkövetelt tulajdonságokat.

A Banach–Hahn tételből egyszerűen következik a feltételes várható érték létezése. Valóban, ha adva van egy (Ω, A, P) valószínűségi mező, azon egy F ⊂ A σ-algebra valamint egy ξ(ω) valószínűségi változó, melyre E|ξ| < ∞, akkor alkalmazzuk a Banach– Hahn tételt a következő választással: Legyen a μ mérték a P valószínűségi mérték, pontosabban annak megszorítása az F σ-algebrára, és definiáljuk a ν előjeles mértéket az F σ-algebrán a következő formula segítségével: ν(F) = ∫_{F} η(ω) dP (ω) minden F ∈ F halmazra. Ekkor a Banach–Hahn tételt alkalmazhatjuk a μ mértékre és a ν előjeles mértékre, mert a ν előjeles mérték abszolut folytonos a μ mérték szerint. E tétel szerint létezik olyan f(ω) F mérhető függvény, melyre ν(F) = ∫_{F} f(ω)μ( dω) minden F ∈ F halmazra. Ez pedig azt jelenti, hogy a Banach–Hahn tétel segítségével konstruált f(ω) függvény az E(η|F)(ω) feltételes várható érték.

A g_{η}(x_{1}, …, x_{k}) = E(η|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) feltételes várható értéket hasonlóan definiálhatjuk csak ekkor más μ mértékkel és ν előjeles mértékkel dolgozunk. Ekkor mind a μ mértéket mind a ν előjeles mértéket az R^{k} k-dimenziós euklideszi tér Borel mérhető halmazain definiáljuk. A μ mérték a (ξ_{1}, …, ξ_{k}) véletlen vektor eloszlása az R^{k} tér B ∈ B Borel mérhető részhalmazain, azaz μ(B) = P ((ξ_{1}, …, ξ_{k}) ∈ B), B ∈ B, és ν(B) = ∫_{{ω: (ξ_{1}(ω),...,ξ_{k}(ω))∈B}} η(ω) dP (ω) minden B ∈ B halmazra. A Banach– Hahn tétel alapján létezik olyan g_{η}(x_{1}, …, x_{k}) Borel mérhető függvény a k-dimenziós euklideszi téren, melyre ν(B) = ∫_{B} g_{η}(x_{1}, …, x_{k})μ( dx_{1}, …, dx_{k}). Ekkor be lehet látni, hogy ez a g_{η} függvény a g_{η}(x_{1}, …, x_{k}) = E(η|ξ_{1} = x_{1}, …, ξ_{k} = x_{k}) feltételes várható érték.

A feltételes valószínűség fogalmával nem kell külön foglalkoznunk, mert a feltételes valószínűség és feltételes várható érték definiciójából következik, hogy tetszőleges mérhető A halmazra és annak I_{A}(ω) indikátor függvényére P (A|F)(ω) = E(I_{A}(ω)|F)(ω) és P (A|ξ_{1}(ω) = x_{1}, …, ξ_{k}(ω) = x_{k}) = E(χ_{A}(ω)|ξ_{1}(ω) = x_{1}, …, ξ_{k}(ω) = x_{k}). A továbbiakban egyrészt meg kívánjuk tárgyalni az E(η|F)(ω) és E(η|ξ_{1}(ω) = x_{1}, …, ξ_{k}(ω) = x_{k}) feltételes várható értékek közötti kapcsolatot abban az esetben, ha F = σ(ξ_{1}, …, ξ_{k}), a ξ_{1}, …, ξ_{k} valószínűségi változók által generált σ-algebra, azaz az a legszűkebb σ-algebra, melyben az összes ξ_{1}(ω), …, ξ_{k}(ω) valószínűségi változó mérhető függvény. Ezenkívül felsoroljuk a feltételes várható érték legfontosabb tulajdonságait, és azt, hogy hogyan lehet számolni a feltételes várható értékkel. Ez azért is fontos, mivel a feltételes várható értéket csak implicit módon (a Banach–Hahn tétel segítségével) tudjuk definiálni. Ez a fő oka annak, hogy csak nehezebben tudunk a feltételes várható érték segítségével számolni.

Az első kérdés megértéséhez szükségünk van a következő (nem triviális) mértékelméleti eredményre.

Tétel. Legyen adva egy (Ω, A, P) valószínűségi mező, azon ξ_{1}(ω), …, ξ_{k}(ω) valószínűségi változók. Jelölje F a ξ_{1}(ω), …, ξ_{k}(ω) valószínűségi változók által generált σ-algebrát. Egy η valószínűségi változó akkor és csak akkor mérhető erre az F σ-algebrára, ha létezik a k-dimenziós R^{k} euklideszi térben olyan Borel mérhető f(x_{1}, …, x_{k}) függvény, melyre η(ω) = f(ξ_{1}(ω), …, ξ_{k}(ω)).

(Megjegyezzük, hogy a tételben tekintett f(x_{1}, …, x_{k}) Borel mérhető függvény nincs egyértelműen meghatározva. A fent kimondott tétel tulajdonképpen a jegyzetben szereplő 1.13 Állítás némileg általánosabb formában.)

Legyen F egy ξ_{1}(ω), …, ξ_{k}(ω) valószínűségi változók által generált σ-algebra, és η(ω), E|η| < ∞ tetszőleges valószínűségi változó. Ekkor az E(η|F)(ω) F mérhető valószínűségi változó az előző tétel alapján felírható E(η(ω)|F) = g_{η}(ξ_{1}(ω), …, ξ_{k}(ω)) alakban, ahol g_{η}(x_{1}, …, x_{k}) k-változós Borel mérhető függvény. Azt állítjuk, hogy ekkor E(η|ξ_{1}(ω) = x_{1}, …, ξ_{k}(ω) = x_{k}) = g_{η}(x_{1}, …, x_{k}). Ehhez azt kell ellenőrizni integráltranszformáció segítségével, hogy a ii′.) relációból következik a (∗∗) reláció, ha a ii′.) relációban B = {ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A} halmazt választunk. Hasonlóan be lehet látni, hogy ha E(η|ξ_{1}(ω) = x_{1}, …, ξ_{k}(ω) = x_{k}) = g_{η}(x_{1}, …, x_{k}), akkor E(η|F)(ω) = g_{η}(ξ_{1}(ω), …, ξ_{k}(ω)). Ehhez, azt kell észrevenni, hogy az előbb kimondott tétel alapján egy B ∈ F halmazra létezik olyan A Borel mérhető halmaz az R^{k} k-dimenziós téren, melyre B = {ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A}. Ezután be lehet látni az integráltranszformáció segítségével, hogy a (∗∗) relációból következik a ii′.) relációból.

Felsoroljuk a feltételes várható érték legfontosabb tulajdonságait. Ezek bizonyítását, ami viszonylag egyszerű elhagyjuk. Ezek és néhány egyéb állítás szerepel a 9.5 tételben. Rögzítsünk egy (Ω, A, P) valószínűségi mezőt. Az alábbi tulajdonságokban szereplő valószínűségi változók ezen a valószínűségi mezőn vannak értelmezve.

1. Ha ∑_{k=1}^{∞} |a_{k}|E|ξ_{k}| < ∞, F ⊂ A tetszőleges σ-algebra, akkor

E (∑_{k=1}^{∞} a_{k}E(ξ_{k}| F) (ω) = ∑_{k=1}^{∞} a_{k}E(ξ_{k}|F)(ω) majdnem minden ω ∈ Ω pontban.

2. Ha E|ξ| < ∞, G ⊂ F ⊂ A tetszőleges σ-algebrák, akkor E (E(ξ|F)|G) (ω) = E(ξ|G)(ω) majdnem minden ω ∈ Ω pontban. Speciálisan E (Eξ|F) = Eξ.

3. Ha ξ olyan valószínűségi változó, melyre P (a ≤ ξ ≤ b) = 1 alkalmas −∞ < a < b < ∞ számokkal, F ⊂ A σ-algebra, akkor a ≤ E(ξ|F)(ω) < b majdnem minden ω ∈ Ω pontban.

4. E(ξ|A)(ω) = ξ(ω). Ha A_{0} jelöli a triviális σ-algebrát, amelyik csak az Ω és ∅ üres halmazból áll, akkor E(ξ|A_{0})(ω) = Eξ.

5. Ha E|ξ| < ∞, F ⊂ A, a ξ valószínűségi változó független az F σ-algebrától, azaz ha tetszőleges F ∈ F és a számegyenesen lévő Borel mérhető B ⊂ R^{1} halmazokra, P ({ω: ξ(ω) ∈ B} ∩ F) = P ({ω: ξ(ω) ∈ B})P (F), akkor E(ξ|F)(ω) = Eξ.

6. Ha Eξ^{2} < ∞, Eη^{2} < ∞, F ⊂ A, a ξ valószínűségi változó F σ-algebrára mérhető valószínűségi változó, azaz tetszőleges a számegyenesen lévő Borel mérhető B ⊂ R^{1} halmazra, {ω: ξ(ω) ∈ B} ∈ F, akkor E(ξη|F)(ω) = ξ(ω)E(η|F)(ω) majdnem minden ω ∈ Ω pontban.

A fenti állítások egyik érdekes következménye a következő tulajdonság. Tekintsünk egy ξ valószínűségi változót, melyre Eξ^{2} < ∞. Ekkor a

ξ(ω) = E(ξ|F)(ω) + (ξ(ω) − E(ξ|F)(ω))

felbontás olyan, hogy az összegben szereplő két valószínűségi változó egymásra merőleges az (Ω, A, P) téren négyzetesen integrálható függvények (Hilbert) terében, azaz

E(ξ|F)(ω) (ξ(ω) − E(ξ|F)(ω)) = 0.

Ebből a tényből, illetve a Hilbert terek néhány (egyszerű) alapvető tulajdonsága segítségével látható, hogy

7. E [ξ(ω) − E(ξ|F)(ω)]^{2} = inf_{η F mérhető valószínűségi változó, Eη^{2}<∞} E(ξ(ω) − η(ω))^{2}.

A hatodik pontban megfogalmazott tulajdonság fontos mind a valószínűségszámításban mind a statisztikában. Úgy lehet interpretálni, hogy az E(ξ|F)(ω) feltételes várható érték a ξ valószínűségi változó legjobb közelítése F mérhető valószínűségi változóval (az L_{2}(Ω, A, P) térben).

A matematikai statisztikában bizonyos vizsgálatokban szükség van feltételes eloszlásokkal való számolásra. Az itt felmerülő kérdések azonban egyszerűbbek. Olyan tipusú kérdések merülnek fel, melyekben adott egy (ξ_{1}, …, ξ_{k}, ξ_{k+1}, …, ξ_{k+l}) véletlen vektor, melynek létezik f(x_{1}, …, x_{k+l}) sűrűségfüggvénye, és ki akarjuk számítani a

(ξ_{1}, …, ξ_{k}, ξ_{k+1}, …, ξ_{k+l})

véletlen vektor egy h(ξ_{1}, …, ξ_{k}, ξ_{k+1}, …, ξ_{k+l}) függvényének feltételes várható értékét a ξ_{k+1} = x_{k+1}, …, ξ_{k+l} = x_{k+l} feltételek mellett. Ez azért egyszerűbb az előzőleg vizsgált kérdéseknél, mert ebben az esetben a felmerülő feltételes eloszlásokat explicit módon kiszámíthatjuk. Azt állítjuk, hogy ebben az esetben a (ξ_{1}, …, ξ_{k}) feltételes sűrűségfüggvénye feltéve a ξ_{k+1} = x_{k+1}, …, ξ_{k+l} = x_{k+l} feltételeket

f(x_{1}, …, x_{k}|x_{k+1}, …, x_{k+l}) = \frac{f(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l})}{g(x_{k+1}, …, x_{k+l})},

ahol

g(x_{k+1}, …, x_{k+l}) = ∫ f(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l}) dx_{1}, … dx_{k},

azaz a ξ_{k+1}, …, ξ_{k+l} véletlen vektor sűrűségfüggvénye. Ez azt jelenti, hogy tetszőleges Borel mérhető A ⊂ R^{k} halmazra

P ({ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A}|ξ_{k+1}(ω) = x_{k+1}, …, ξ_{k+l}(ω) = x_{k+l})
= ∫_{A} f(x_{1}, …, x_{k}|x_{k+1}, …, x_{k+l}) dx_{1} … dx_{k}.

Illetve a (∗) formula alapján azt kell ellenőrizni, hogy minden A ⊂ R^{k} és B ∈ R^{l} Borel mérhető halmazpárra

P ({ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A} ∩ {ω: (ξ_{k+1}(ω), …, ξ_{k+l}(ω)) ∈ B})

= ∫_{B} [∫_{A} f(x_{1}, …, x_{k}|x_{k+1}, …, x_{k+l}) dx_{1} … dx_{k}] g(x_{k+1}, …, x_{k+l}) dx_{k+1} … dx_{k+l}.

Ez az azonosság viszont érvényes, mert

∫_{B} [∫_{A} f(x_{1}, …, x_{k}|x_{k+1}, …, x_{k+l}) dx_{1} … dx_{k}] g(x_{k+1}, …, x_{k+l}) dx_{k+1} … dx_{k+l}

= ∫_{A×B} f(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l}) dx_{1} … dx_{k} dx_{k+1} … dx_{k+l}
= P ({ω: (ξ_{1}(ω), …, ξ_{k}(ω)) ∈ A} ∩ {ω: (ξ_{k+1}(ω), …, ξ_{k+l}(ω)) ∈ B}) .

Be lehet látni, hogy egy h(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l}) függvényre

h(ξ_{1}, …, ξ_{k}, ξ_{k+1}, …, ξ_{k+l})|ξ_{k+1} = x_{k+1}, …, ξ_{k+l} = x_{k+l})

= ∫ h(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l})\frac{f(x_{1}, …, x_{k}, x_{k+1}, …, x_{k+l})}{g(x_{k+1}, …, x_{k+l})} dx_{1} … dx_{k}.

Ennek a formulának a bizonyítását, mely úgy történhet, hogy előbb a legegyszerűbb h függvényre bizonyítjuk, majd alkalmas határátmenettel általános függvényekkel elhagyjuk. A fent tárgyalt formulák segítségével be lehet bizonyítani néhány érdekes formulát a feltételes eloszlásokra, ezt azonban időhiány miatt nem tesszük.