Markov folyamatok

Legyen adva valószínűségi változók egy X_{n}, n = 1, 2, …, sorozata egy (Ω, A, P) valószínűségi mezőn, amelyik értékeit valamely (X, B) mérhető téren veszi fel. Azt mondjuk, hogy az X_{n}, n = 1, 2, …, sorozat Markov lánc, ha P (X_{n+1} ∈ B|X_{n} = x_{n}, …, X_{1} = x_{1}) = P (X_{n+1} ∈ B|X_{n} = x_{n}) minden n = 1, 2, … egész számra, x_{j} ∈ X, j = 1, …, n elemekre, és B ∈ B halmazra. Érdemes a fogalmat egy kicsit általánosabban megfogalmazni. Ennek érdekében előbb néhány más fogalmat is bevezetünk.

Definició. Adaptált valószínűségi változók. Legyen adva X_{n} valószínűségi változóknak és F_{n} σ-algebráknak, n = 1, 2, …, a sorozata egy (Ω, A, P) valószínűségi mezőn. Azt mondjuk, hogy az X_{n} valószínűségi változók adaptáltak az F_{n} σ-algebrákhoz, ha F_{1} ⊂ F_{2} ⊂ ⋯ ⊂ A, és X_{n} F_{n} mérhető minden n = 1, 2, … -ra.

E definició szemléletes tartalma az, hogy F_{n} tartalmazza az n időpontig összegyüjtött információt. Így F_{n} tartalmazza a megfigyelt X_{j}, j = 1, …, n valószínűségi változók értékeit, de ezenkívül esetleg még más eseményeket is. E fogalmat természetes módon lehet értelmezni folytonos idejű sztochasztikus folyamatokra.

Legyen X_{t}, valószínűségi változók és F_{t} σ-algebrák egy rendszere valamilyen a ≤ t ≤ b intervallumba eső számokkal indexelve, ahol −∞ ≤ a < b ≤ ∞. Azt mondjuk, hogy az X_{t} valószínűségi változók adaptáltak az F_{t} σ-algebrákhoz, ha X_{t} F_{t} mérhető, és F_{s} ⊂ F_{t} ⊂ A, ha a ≤ s < t ≤ b.

Definició. Markov lánc fogalma. Legyen (X_{n}, F_{n}), n = 1, 2, …, (X, B) értékű valószínűségi változóknak és σ-algebráknak egy adaptált rendszere egy (Ω, A, P) valószínűségi mezőn. Azt mondjuk, hogy (X_{n}, F_{n}) Markov lánc, ha

P (X_{n+1} ∈ B|F_{n})(ω) = P (X_{n+1} ∈ B|X_{n})(ω)

minden n = 1, 2, … számra és B ∈ B halmazra. Feltesszük továbbá, hogy a definicióban szereplő feltételes valószínűségeknek létezik reguláris verziója, azaz létezik egy P (n, x, B) függvény, n = 1, 2, …, x ∈ X, B ∈ B, melyre P (n, ·, B) B mérhető függvény minden B ∈ B-re és n = 1, 2, … számra, P (n, x, ·) valószínűségi mérték az (X, B) téren, és

P (X_{n+1} ∈ B|X_{n})(ω) = P (n, X_{n}(ω), B) .

A P (n, x, B) függvényt átmenetvalószínűség függvénynek hívják.

Ha az X_{n}, n = 1, 2, …, valószínűségi változók teljesítik a fenti feltételeket valamilyen P (n, x, B) átmenetvalószínűség függvényekkel, és P (X_{1} = x) = 1 akkor az X_{n} sorozatot az x pontból kiinduló, ha X_{1} eloszlása valamilyen π valószínűségi mérték, akkor az X_{n}, n = 1, 2, …, sorozatot π kiinduló eloszlással rendelkező Markov láncnak hívjuk az (X, B) téren P (n, x, B) átmenetvalószínűség függvényekkel. Az (X, B) mérhető teret, ahol az X_{n} valószínűségi változók felveszik az értékeiket, fázistérnek hívják.

Megjegyzés: A fenti definicióban, és a későbbiekben is, azok az egyenlőségek (egyenlőtlenségek) melyekben feltételes valószínűség vagy feltételes várható érték szerepel, úgy értendőek, hogy az egyenlőség, (egyenlőtlenség) majdnem minden ω ∈ Ω-ra teljesül. Feltettük a definicióban, hogy az ott szereplő feltételes valószínűségeknek van reguláris változata, amelyek bizonyos mérhetőségi feltételeknek eleget tesznek, és amelyekban a kívánt egyenlőségek minden pontban teljesülnek, és nemcsak 1 valószínűséggel. Felmerülhet a kérdés, hogy ez a feltétel milyen erős megkötés. Be lehet látni, hogy ha az (X, B) tér bizonyos szép topológiai tulajdonságokkal rendelkezik, akkor a definicióban szereplő feltételes valószínűségeknek ilyen reguláris változata mindig létezik. Ennek a nem triviális eredménynek a tárgyalásával ebben a feladatsorban nem foglalkozunk. Megjegyezzük, hogy olyan terekben, amelyeknek nincsenek szép topológiai tulajdonságai lehet olyan példát konstruálni, ahol a szereplő feltételes valószínűségeknek nem létezik a kívánt reguláris változata.

Legyen (X_{t}, F_{t}), 0 ≤ t < ∞, (X, B) értékű valószínűségi változóknak és σ-algeb-ráknak egy adaptált redszere egy (Ω, A, P) valószínűségi mezőn. Azt mondjuk, hogy (X_{t}, F_{t}) Markov folyamat, ha

P (X_{t+s} ∈ B|F_{t})(ω) = P (X_{t+s} ∈ B|X_{t})(ω)

minden 0 ≤ s, t < ∞ és B ∈ B halmazra, és létezik a definicióban szereplő feltételes valószínűségeknek egy reguláris verziója, azaz egy olyan P (t, s, x, B) függvény, 0 ≤ s, t < ∞, x ∈ X, B ∈ B, melyre P (·, ·, ·, B) mérhető függvény minden B ∈ B-re, P (t, s, x, ·) valószínűségi mérték az (X, B) téren, és P (X_{t+s} ∈ B|X_{t})(ω) = P (t, s, X_{t}(ω), B). A P (t, s, x, B) függvényt átmenetvalószínűség függvénynek hívják.

Ha az X_{t}, 0 ≤ t < ∞ sztochasztikus folyamat teljesíti a fenti feltételeket valamilyen P (t, s, x, B) átmenetvalószínűség függvényekkel, és P (X_{0} = x) = 1 akkor az X_{t}, 0 ≤ t < ∞, sztochasztikus folyamatot az x pontból kiinduló, ha X_{0} eloszlása valamilyen π valószínűségi mérték, akkor az X_{t}, 0 ≤ t < ∞, sztochasztikus folyamatot π kiinduló eloszlással rendelkező Markov folyamatnak nevezik az (X, B) téren P (t, s, x, B) átmenetvalószínűség függvényekkel. Feltételezzük azt is, hogy a P (t, s, x, B) átmenetvalószínűség függvények olyanok, hogy tetszőleges x ∈ X pontra és 0 ≤ t_{0} < ∞ számra létezik olyan (Y_{t}, G_{t}), G_{t} = σ(Y_{s}, 0 ≤ s ≤ t), Markov folyamat (a G_{t} σ-algebra választását illetően lásd a 3. feladatot), mely a nulla időpontban az x pontból indul, azaz P (Y_{0} = x) = 1, és az átmenetvalószínűség függvényei P̄(t, s, x, B) = P (t + t_{0}, s, x, B) alakúak. Ez a feltétel a következőt fejezi ki. Mivel a feltételes eloszlások csak egy valószínűséggel vannak meghatározva, ezért az átmenetvalószínűség függvényeket elronthatnánk bizonyos x pontokban úgy, hogy ez nem befolyásolja a Markov folyamat eloszlását. Ezt azonban nem akarjuk megengedni.

Az (X, B) mérhető teret, ahol az X_{t} valószínűségi változók felveszik az értékeiket fázistérnek hívják.

Definició. Egy (X_{n}, F_{n}), Markov lánc, ((X_{t}, F_{t}) Markov folyamat) stacionárius ha P (n, x, B) = P (x, B), (P (t, s, x, B) = P (s, x, B)) alkalmas P (x, B), (P (s, x, B)) függvénnyel.

Megjegyzés. Az irodalomban, amikor Markov láncokról vagy Markov folyamatokról beszélnek, akkor gyakran stacionárius Markov láncokra (folyamatokra) gondolnak.

Defininició. Megállási szabály. Legyen F_{n}, n = 1, 2, …, vagy (F_{t}, 0 ≤ t < ∞), σalgebrák egy növekvő sorozata, (halmaza) egy (Ω, A, P) valószínűségi mezőn, melyekre F_{n} ⊂ A, (F_{t} ⊂ A). Minden 0 ≤ n < ∞ vagy (0 ≤ t < ∞)-re. Egy τ ≥ 0 valószínűségi változó megállási szabály a F_{n}, (F_{t}) σ-algebrák rendszerére, ha {τ ≤ n} ∈ F_{n} minden n = 1, 2, … -re, és τ egész értékű valószínűségi változó, ({τ ≤ t} ∈ F_{t} minden 0 ≤ t < ∞-re).

Legyen τ megállási szabály az F_{n} (F_{t}) σ-algebra rendszerre. Az F_{τ} (a τ időpontig megfigyelhető események σ-algebrája) definiciója: B ⊂ Ω halmazra B ⊂ F_{τ} akkor és csak akkor, ha B ∩ {τ ≤ n} ∈ F_{n} minden n = 1, 2, … -ra, (ha B ∩ {τ ≤ t} ∈ F_{t} minden 0 ≤ t < ∞-re).

1.) Lássuk be, hogy az F_{τ} σ-algebra fenti definicója értelmes, azaz a benne szereplő B halmazok valóban σ-algebrát alkotnak.

2.) Legyenek X_{1}, …, X_{k} F_{τ} mérhető valószínűségi változók, melyek értékeiket egy (X, B) mérhető téren veszik fel. Legyen g(x_{1}, …, x_{k}): X^{k} → R^{1} B^{k} mérhető függvény. Lássuk be, hogy g(X_{1}, …, X_{k}) is F_{τ} mérhető valószínűségi változó.

Az irodalomban nem egységes a terminológia abban az értelemben, hogy megköveteljük-e azt, hogy τ valódi valószínűségi változó legyen, azaz P (τ = ∞) = 0. Ha ezt a tulajdonságot nem követeljük meg a τ-ról, akkor nevezzük τ-t általánosított megállási szabálynak.

3.) Legyen (X_{n}, F_{n}), n = 1, 2, …, Markov lánc ((X_{t}, F_{t}), 0 ≤ t < ∞, Markov folyamat). Legyen G_{n} = σ(X_{1}, …, X_{n}) (G_{t} = σ(X_{s}, s ≤ t)). Bizonyítsuk be, hogy

(X_{n}, G_{n}) Markov lánc ((X_{t}, G_{t}) Markov folyamat.)

Megjegyzés: Ha X_{n}, n = 1, 2, …, Markov láncról vagy X_{t}, t ≥ 0, Markov folyamatról beszélünk, anélkül, hogy az F_{n} vagy F_{t} σ-algebrákat külön definiálnánk, akkor feltesszük, hogy F_{n} = σ(X_{j}, j ≤ n), F_{t} = σ(X_{s}, s ≤ t).

4.) Lássuk be, hogy a Poisson folyamat, a Wiener folyamat, a Brown bridge és az Ornstein–Uhlenbeck folyamat Markov folyamatok. A Poisson folyamat, a Wiener folyamat, és az Ornstein–Uhlenbeck folyamat stacionárius Markov folyamatok.

Legyen ξ_{n}, n = 1, 2, …, független valószínűségi változók sorozata, és legyen S_{n} =

∑_{j=1}^{n} ξ_{j}, n = 1, 2, . . .. Lássuk be, hogy mind a ξ_{n}, n = 1, 2, … mind az S_{n},

n = 1, 2, …, sorozat Markov lánc, és ha a ξ_{n} valószínűségi változók egyforma eloszlásúak, akkor ezek a Markov láncok stacionáriusak.

5.) Legyen (X_{n}, F_{n}), n = 1, 2, …, Markov lánc P (n, x, B) átmenetvalószínűség függvényekkel. Ekkor

P (X_{n+m} ∈ B_{m}, …, X_{n+1} ∈ B_{1}|F_{n})(ω)
= P (X_{n+m} ∈ B_{m}, …, X_{n+1} ∈ B_{1}|X_{n})(ω) ,

és

P (X_{n+m} ∈ B_{m}, …, X_{n+1} ∈ B_{1}|X_{n} = x)

=∫_{B_{1}} ⋯ ∫_{B_{m}} P (n + m − 1, x_{m−1}, dx_{m})P (n + m − 2, x_{m−2}, dx_{m−1}) … P (n, x, dx_{n+1}).

Az 5. feladat segítségével felírhatjuk egy Markov lánc véges dimenziós eloszlásait, ha ismerjük a Markov lánc P (n, x, B) átmenetvalószínűség függvényeit és az X_{1} valószínűségi változó π eloszlását. Valóban, ekkor

P (X_{1} ∈ B_{0}, X_{2} ∈ B_{1}, …, X_{m+1} ∈ B_{m}) = ∫_{B_{0}} P (X_{m+1} ∈ B_{m}, …, X_{2} ∈ B_{1})π(dx),

ahol az integrálban szereplő függvényt az 5. feladat képlete határozza meg m = 1 választással. 6.) Igaz az elöző állítás következő megfordítása: Ha (X_{n}, F_{n}), F_{n} = σ(X_{1}, …, X_{n})

olyan valószínűségi változók sorozata, melyre alkalmas P (n, x, B) átmenetvalószínűség függvényekkel és π valószínűségi mértékkel az (X, B) mérhető téren teljesül a

P (X_{n} ∈ B_{n}, X_{n−1} ∈ B_{n−1}, …, X_{1} ∈ B_{1})

=∫_{B_{1}} [∫_{B_{2}} ⋯∫_{B_{n}} P (n, x_{n−1}, dx_{n})P (n − 1, x_{n−2}, dx_{n−1}) … P (2, x, dx_{2})] π(dx)

azonosság, akkor (X_{n}, F_{n}) Markov lánc P (n, x, B) átmenetvalószínűség függvényekkel, melyre X_{1} eloszlása π.

Megjegyzés: Természetes az a kérdés, hogy tetszőleges P (n, x, B) átmenetvalószínűség függvényekre és π valószínűségi mértékre egy (X, B) mértéktéren létezik-e olyan Markov lánc, melynek az átmenetvalószínűség függvényei ezek a P (n, x, B) függvények, és X_{1} eloszlása π. A természetes konstrukció a következő: Legyen (Ω, A) = (X^{∞}, B^{∞}) és X_{n}(ω) = x_{n}, ha ω = (x_{1}, x_{2}, …) minden n = 1, 2, … -ra, a

P (ω: ω = (x_{1}, x_{2}, …), x_{1} ∈ B_{1}, …, x_{n} ∈ B_{n})
= P (X_{n} ∈ B_{n}, X_{n−1} ∈ B_{n−1}, …, X_{1} ∈ B_{1})

valószínűségeket pedig az 5. feladat második képlete adja meg. A fő probléma az, hogy így valószínűségi mértéket definiálunk-e. A válasz igenlő, de ehhez egy nem triviális mértékelméleti eredményt, a Tulcea–Ionescu tételt kell felhasználni. (Ez annak az eredménynek az általánosítása, mely szerint valószínűségi mértékek végtelen szorzata is valószínűségi mérték.) Megjegyezzük, hogy ennek az eredménynek az érvényességéhez nem szükséges az, hogy az (X, B) térnek jó topológiai tulajdonságai legyenek. Ezért ez az eredmény biztosítja Markov láncok létezését olyan esetekben is, amikor a Kolmogorov alaptétel nem alkalmazható.

7.) Lássuk be az 5. feladat eredményének segítségével a következő állítást: Legyen adva egy (X_{n}, F_{n}) Markov lánc egy (X, B) fázistéren P (n, x, B) átmenetvalószínűség függvényekkel. Tetszőleges n ≥ 1, m ≥ 1 számokra létezik olyan P (n, m, x, B) függvény, melyekre P (n, m, ·, B) B mérhető függvény tetszőleges n ≥ 1, m ≥ 1 egész számra, P (n, m, x, ·) valószínűségi mérték minden n ≥ 1, m ≥ 1 egész számra és x ∈ X pontra, és

P (X_{n+m} ∈ B|F_{n})(ω) = P (X_{n+m} ∈ B|X_{n})(ω) = P (n, m, X_{n}(ω), B)

minden n ≥ 1, m ≥ 1 egész számra és B ∈ B halmazra. A P (n, m, x, B) függvényt az n időpontból n + m időpontba való átmenetvalószínűség függvénynek hívják. Lássuk be a következő úgynevezett Chapman–Kolmogorov egyenletet: Ha n ≥ 1, m_{1} ≥ 1, m_{2} ≥ 1, B ∈ B, akkor

P (n, m_{1} + m_{2}, x, B) = ∫_{X} P (n + m_{1}, m_{2}, y, B)P (n, m_{1}, x, dy) .

Mi ennek az egyenletnek a szemléletes tartalma? 8.) Legyen (X_{n}, F_{n}) Markov lánc, mely értékeit egy (X, B) mértéktéren veszi fel.

Lássuk be, hogy létezik olyan P (n, x, A) függvény, x ∈ X, A ∈ B^{∞}, ahol (X^{∞}, B^{∞}) jelöli az X, B tér végtelen direkt szorzatát önmagával, melyre P (n, ·, A) mérhető függvény az (X, B) téren minden A ∈ B^{∞} halmazra, P (n, x, ·) valószínűségi mérték az (X^{∞}, B^{∞}) téren, és

P ((X_{n+1}, X_{n+2}, …) ∈ A|X_{n}(ω) = x) = P (n, x, A)

minden n = 1, 2, …, x ∈ X és A ∈ B^{∞}-re. Ha a Markov lánc stacionárius, azaz a P (n, x, B) átmenetvalószínűség függvények n-től függetlenek, akkor a P (n, x, A) feltételes mértékek sem függnek n-től.

9.) Az elöző feladat jelöléseit használva, legyen τ megállási szabály az F_{n} σ-algebra rendszerre. Lássuk be, hogy

P ((X_{τ+1}, X_{τ+2}, …,) ∈ A|F_{τ})(ω) = P (τ, X_{τ} (ω), A) ,

ahol a P (n, x, A) függvény megegyezik az elöző feladatban szereplő függvénnyel. (Ezt az azonosságot nevezik erős Markov tulajdonságnak.) A Markov tulajdonság szemléletes tartalma az, hogy az X_{j}, j > n, valószínűsé-

gi változók együttes feltételes eloszlása feltéve az F_{n} σ-algebrát, azaz az n időpontig megfigyelhető eseményeket, megegyezik ezen események feltételes eloszlásával feltéve az X_{n}(ω) valószínűségi változót (lásd a 6. feladatot). Azaz az F_{n} σ-algebra további eseményei nem adnak pontosabb becslést arra, hogy mi történik a jövőben. Gyakran szokás a Markov tulajdonságot úgy interpretálni, hogy a múlt és jövő feltételesen független, feltéve a jelent. A következő feladat célja ennek az állításnak, illetve az erős Markov tulajdonság hasonló interpretációjának pontos megfogalmazása. 10.) Definiáljuk a F_{n}^{∞} = σ(X_{j}, j > n) és F_{τ}^{∞} = {A: A ∩ {τ > n} ∈ F_{n}^{∞} minden n ≥

1 − re} σ-algebrákat. Lássuk be, hogy ha A_{1} ∈ F_{n} és A_{2} ∈ F_{n}^{∞}, akkor P (A_{1} ∩ A_{2}|X_{n}(ω)) = P (A_{1}|X_{n}(ω))P (A_{2}|X_{n}(ω)). Ha az X_{n} Markov lánc stacionárius, A_{1} ∈ F_{τ} és A_{2} ∈ F_{τ}^{∞}, akkor P (A_{1} ∩ A_{2}|X_{τ} (ω)) = P (A_{1}|X_{τ} (ω))P (A_{2}|X_{τ} (ω)).

11.) Legyenek ξ_{n}, n = 1, 2, …, független egyforma eloszlású valószínűségi változók F (x) eloszlásfüggvénnyel, F (0) = 0, F (0 + 0) < 1, (azaz a ξ valószínűségi változók nem negatívak, és nem azonosan nullák), F_{n} = σ(ξ_{1}, …, ξ_{n}). Legyen τ megállási szabály a F_{n} σ-algebrára. Ekkor a ξ_{τ+n} valószínűségi változók, n = 1, 2, …, függetlenek, egyforma eloszlásúak F eloszlással, és ezek a valószínűségi változók függetlenek az F_{τ} σ-algebrától.

A következő feladat segítségével jellemezhetjük a Poisson folyamatokat független exponenciális eloszlások segítségével. (Lásd Poisson folyamatok feladatsor 5. feladatát.) 12.) Legyenek ξ_{n}, n = 1, 2, …, független, exponencális eloszlású valószínűségi változók

λ > 0 paraméterrel F_{n} = σ(ξ_{1}, …, ξ_{n}). Definiáljuk az S_{n} = ∑_{j=1}^{n} ξ_{j} részletössze-

geket, n = 1, 2, …, és rögzítsünk egy T > 0 számot. Definiáljuk a τ = τ_{T} = min{k: S_{k} ≥ T } valószínűségi változót. Lássuk be, hogy τ megállási szabály a F_{n} σ-algebrák rendszerére. Lássuk be, hogy az S_{τ} −T, és a ξ_{τ+n} valószínűségi változók, n = 1, 2, …, független, λ paraméterű exponenciális eloszlású valószínűségi változók, melyek függetlenek a τ valószínűségi változótól is. A következő állítások és feladatok célja megmutatni, hogy a Markov láncokról meg-

fogalmazott eredmények természetes megfelelője igaz folytonos idejű Markov folyamatokra is. Azokban az esetekben, amikor a bizonyítás a Markov láncokról szóló eredmény bizonyítását használja, csak kissé bonyolultabb jelólésekkel, elhagyjuk a részletek kidolgozását. Viszont részletesebb tárgyalást igényel az erős Markov tulajdonság megfogalmazása és bizonyítása Markov folyamatokra. 5a.) Legyen (X_{t}, F_{t}), 0 ≤ t < ∞, Markov folyamat P (t, s, x, B) átmenetvalószínűség

függvényekkel. Ekkor tetszőleges 0 ≤ t < ∞ és 0 < s_{1}, …, s_{k} < ∞ számokra

P (X_{t+s_{1}+···+s_{k}} ∈ B_{k}, …, X_{t+s_{1}} ∈ B_{1}|F_{t})(ω)
= P (X_{t+s_{1}+···+s_{k}} ∈ B_{k}, …, X_{t+s_{1}} ∈ B_{1}|X_{t})(ω)

és

P (X_{t+s_{1}+···+s_{k}} ∈ B_{k}, …, X_{t+s_{1}} ∈ B_{1}|X_{t} = x)
= ∫_{B_{1}} ⋯ ∫_{B_{k}} P (t + s_{1} + ⋯ + s_{k−1}, s_{k}, x_{k−1}, dx_{k})
P (t + s_{1} + ⋯ + s_{k−2}, s_{k−1}, x_{k−2}, dx_{k−1}) … P (t, s_{1}, x, dx_{1}) .

6a.) Igaz az elöző állítás következő megfordítása: Ha (X_{t}, F_{t}), F_{t} = σ(X_{s}, , 0 ≤ s ≤ t) olyan valószínűségi változók rendszere, melyre alkalmas P (t, s, x, B) átmenetvalószínűség függvényekkel, tetszőleges 0 < s_{1}, …, s_{k} < ∞ számokkal és π valószínűségi mértékkel az (X, B) mérhető téren teljesül a

P (X_{s_{1}+···+s_{k}} ∈ B_{k}, X_{s_{1}+···+s_{k−1}} ∈ B_{k−1}, …, X_{0} ∈ B_{1})

= ∫ B_{1}[∫_{B_{2}} ⋯ ∫_{B_{k}} P (s_{1} + ⋯ + s_{k−1}, s_{k}, x_{k−1}, dx_{k})

P (s_{1} + ⋯ + s_{k−2}, s_{k−1}, x_{k−2}, dx_{k−1}) … P (0, s_{1}, x, dx_{1})]π(dx)

azonosság, akkor (X_{t}, F_{t}) Markov folyamat P (t, s, , x, B) átmenetvalószínűség függvényekkel, melyre X_{0} eloszlása π. A 7. feladat első állításának megfelelőjét Markov folyamatokra tartalmazza a

Markov folyamat definiciója. Ezért csak a Chapman–Kolmogorov egyenlet állítását fogalmazzuk meg. 7a.) Ha t ≥ 0, s_{1} ≥ 0, s_{2} ≥ 0, B ∈ B, akkor

P (t, s_{1} + s_{2}, x, B) = ∫_{X} P (t + s_{1}, s_{2}, y, B)P (t, s_{1}, x, dy) .

Mi ennek az egyenletnek a szemléletes tartalma? 8a.) Legyen (X_{t}, F_{t}) Markov folyamat, mely értékeit egy (X, B) mértéktéren veszi fel.

Lássuk be, hogy létezik olyan P (t, x, A), x ∈ X, A ∈ B^{(0,∞)}, függvény, ahol (X^{(0,∞)}, B^{(0,∞)}) jelöli a 0 < t < ∞ intervallumon értelmezett (X, B) értékű függvények terét az {X_{t_{1}} ∈, B_{1}, …, X_{t_{k}} ∈ B_{k}}, 0 < t_{1} < ⋯ < t_{k} < ∞, B_{k} ∈ B_{k} halmazok által generált σ-algebrával az X^{(0,∞)} téren, melyre P (t, ·, A) mérhető függvény az (X, B) téren minden A ∈ B^{(0,∞)} halmazra, P (t, x, ·) valószínűségi mérték az (X^{(0,∞)}, B^{0,∞)}) téren, és

P ({ω: (X_{t+s}(ω), 0 < s < ∞) ∈ A}|X_{t}(ω) = x) = P (t, x, A)

minden t ≥ 0, x ∈ X és A ∈ B^{(0,∞)}-re. Ha a Markov folyamat stacionárius, azaz a P (t, s, x, B) átmenetvalószínűség függvények t-től függetlenek, akkor a P (t, x, A) feltételes mértékek sem függnek t-től. A következő feladatban bebizonyítjuk az erős Markov tulajdonságot Markov folya-

matokra nagyon speciális megállási szabályokra. 13.) Legyen (X(t), F_{t}) Markov folyamat P (t, s, x, B) átmenetvalószínűség függvényekkel

egy (X, B) mérhető téren, τ olyan megállási szabály az F_{t} σ-algebra rendszerre nézve, mely csak megszámlálható sok értéket vesz fel. Ekkor, az 5a.) feladat jelőléseit használva,

P ({ω: (X_{τ+s})(ω), 0 < s < ∞) ∈ A}|X_{t}(ω) = x) = P (τ(ω), x, A) .

Azt várnánk, hogy a fenti feladat állításának a segítségével tetszőleges megállási szabály esetére be lehet bizonyítani a Markov folyamatok erős Markov tulajdonságát a megállási szabály alkalmas approximációjával. A helyzet azonban bonyolultabb. A határátmenet végrehajtása problematikus. Bizonyos regularitási feltételek teljesülése esetén belátjuk, hogy a határátmenet (némi módosításssal) végrehajtható, és teljesül az erős Markov tulajdonság. De mutatunk példát olyan esetre, amikor az erős Markov tulajdonság nem érvényes. A probléma tárgyalásához szükséges a felhasznált fogalmak pontos definiciója. Nem fogalmazzuk és nem bizonyítjuk az állítást a lehető legáltalánosabb esetben, de a számunkra érdekes esetekben a bizonyított tételek biztosítják az erős Markov tulajdonságot.

Az erős Markov tulajdonság definiciója előtt bevezetünk egy másik fogalmat.

Definició. Legyen F_{t}, 0 ≤ t < ∞, σ-algebrák monoton rendszere, τ megállási szabály az F_{τ} σ-algebrákra nézve. Definiáljuk a F_{t+0}, 0 ≤ t < ∞, F_{τ+0} σ-algebrákat a következő módon: F_{t+0} = ⋂_{ε→0} F_{t+ε}, F_{τ+0} = ⋂_{ε→0} F_{τ+ε}. (Megjegyezzük, hogy τ + ε

szintén megállási szabály.)

14.) Lássuk be, hogy F_{t} ⊂ F_{t+0}, minden 0 < t < ∞-ra. és F_{τ} ⊂ F_{τ+0}. A tartalmazás valódi, azaz létezik olyan példa, melyre F_{t+0} \ F_{t} és F_{τ+0} \ F_{τ} nem üres halmaz.

Az erős Markov tulajdonságot csak stacionárius Markov folyamatra definiáljuk, azaz feltesszük azt, hogy a Markov folyamat a P (t, s, x, B) átmenetfüggvényei nem függnek t-től.

Definició. Erős Markov tulajdonság. Legyen (X_{t}, F_{t}), 0 ≤ t < ∞, stacionárius Markov folyamat egy (X, B) fázistéren P (s, x, B), 0 ≤ s < ∞, átmenetvalószínűség függvényekkel. Legyenek X_{t}(x), x ∈ X, 0 ≤ t < ∞, Markov folyamatok az (X, B) téren ugyanazokkal a P (s, x, B) átmenetvalószínűség függvényekkel és x kezdeti állapottal, azaz legyen P (X_{0}(x)) = 1. Definiáljuk ezen X_{t}(x) Markov folyamatok P (x, A), A ∈ A, eloszlásait, ahol (X^{(0,∞)}, A) = (X^{(0,∞)}, B^{(0,∞)}), X^{(0,∞)} a (0, ∞) intervallumon definiált X értékű függvények halmaza, és B^{(0,∞)} az {x(t) ∈ X^{(0,∞)} : x(t_{1}) ∈ B_{1}, …, x(t_{k}) ∈ B_{k}}, k = 1, 2, …, 0 < t_{1} ⋯ < t_{k} < ∞, B_{j} ∈ B, j = 1, …, k, halmazok által generált σ-algebra az X^{(0,∞)} téren, a következő módon: Ha A = {x(t) ∈ X^{(0,∞)} : x(t_{1}) ∈ B_{1}, …, x(t_{k}) ∈ B_{k}}, akkor P (x, A) = P (X_{t_{j}}(x) ∈ B_{j}, 1 ≤ j ≤ k), és az P (x, ·) mértéket kiterjesztjük tetszőleges A ∈ A-ra.

Az (X_{t}, F_{t}), P (s, x, B) átmenetvalószínűség függvényekkel rendelkező Markov folyamat teljesíti az erős Markov tulajdonságot, ha tetszőleges τ (az F_{t} σ-algebra rendszerre) megállási szabályra és A ∈ A halmazra

P ({ω: (X_{τ+s}(ω), 0 < s < ∞) ∈ A}|F_{τ+0})(ω) = P (X_{τ(ω)}, A)

(Jegyezzük meg, hogy az erős Markov tulajdonság definiciójában nemcsak a Markov folyamatot, hanem a P (s, x, B) átmenetvalószínűség függvényeket is meg kell adni, mivel a Markov folyamat nem határozza meg egyértelműen a folyamat átmenetvalószínűség függvényeit. Lásd a 19. feladatban konstruált ellenpéldát.)

15.) Legyen (X_{t}, F_{t}), 0 ≤ t < ∞, valószínűségi változók és σ-algebrák adaptált rendszere, τ megállási szabály az F_{t} σ-algebrákra. Tegyük fel, hogy az X_{t}(ω) trajektóriák a t változóban jobbról folytonos függvények minden ω-ra. Ekkor X_{τ} (ω) és P (X_{τ(ω)}, A) F_{τ} mérhető függvény. Be fogjuk látni az erős Markov tulajdonságot bízonyos esetekben. Csak valós értékű

Markov folyamatokat fogunk vizsgálni. Természetes feltenni, hogy a vizsgált Markov folyamat trajektóriái teljesítenek bizonyos símasági feltételeket. Egyébként ugyanis a Markov folyamatot minden t > 0 pontban csak 0 mértékű halmazon megváltoztatva olyan Markov folyamatot kaphatunk, melynek átmenetvalószínűség függvényei megegyeznek az eredeti Markov folyamat átmenetvalószínűség függvényeivel, de amelyik már nem teljesíti az erős Markov tulajdonságot. Markov folyamatok két osztályára látjuk be az erős Markov tulajdonságot. Az egyik osztály a tiszta ugró folyamatok osztálya (lásd a definicióját lejjebb), a másik osztály pedig olyan Markov folyamatokat tartalmaz, melynek trajektóriái jobbról folytonos és baloldali határértékkel rendelkező függvények. Ebben az esetben azonban szükség van egy plusz feltételre a P (x, B) átmenetvalószínűség függvények (mint az x változó függvényeinek) folytonosságáról, amelyiket az irodalomban Feller tulajdonságnak hívnak. Belátjuk egy példában azt is, hogy ha a Feller tulajdonság nem teljesül, akkor lehetséges, hogy az erős Markov tulajdonság sem teljesül.

Definició. Tiszta ugró folyamat. Legyen (X_{t}, F_{t}), 0 ≤ t < ∞, az R^{1}, B téren definiált stacionárius Markov folyamat P (s, x, B) átmenetvalószínűség függvényekkel. Azt mondjuk, hogy ez a Markov folyamat tiszta ugró folyamat, ha minden x ∈ R^{1}- re létezik olyan x pontból induló X_{t}(x) Markov folyamat (azaz P (X_{0}(x) = x) = 1)) ugyanezekkel a P (s, x, B) átmenetvalószínűség függvényekkel, melyeknek trajektóriái teljesítik az alábbi feltételeket: Az X_{t}(x) folyamat minden trajektóriája jobbról folytonos, és létezik baloldali limesze, a trajektóriák szakadási pontjai izoláltak, (azaz nincs véges torlódási pontjaik), és a trajektóriák konstanssal egyenlőek a folytonossági pontok kis környezetében.

16.) Bizonyítsuk be, felhasználva a 13. feladat eredményét, hogy a tiszta ugró folyamatok teljesítik az erős Markov tulajdonságot. Speciálisan, ez az eredmény alkalmazható a Poisson folyamatra. A 16. feladatra adott bizonyítás nem alkalmazható az általános esetben. A ne-

hézségek azzal függnek össze, hogy egy B ∈ B halmazra az f(t, ω) = I_{B}(X_{t}(ω)) függvény (mint t függvénye) nem folytonos. Annak érdekében, hogy a 16. feladatban végrehajtott határátmenet általánosabb esetben is végrehajtható legyen, célszerű olyan az erős Markov tulajdonsággal ekvivalens tulajdonságot megadni, amelyikben események feltételes valószínűsége helyett folytonos függvények feltételes várható értékét kell tekinteni. Ez a célja a következő feladatnak. 17.) Ha az (X(t), F_{t}) stacionárius, valós értékű Markov folyamat (P (s, x, B) átmenet-

valószínűség függvényekkel) teljesíti az erős Markov tulajdonságot, és g_{1}(x), …, g_{k}(x) folytonos, korlátos függvények, akkor tetszőleges τ megállási szabályra és 0 < t_{1} < t_{2} < ⋯ < t_{k} < ∞ számokra

E(g(X_{τ+t_{1}}) ⋯ g(X_{τ+t_{k}})|F_{τ+0}) = E_{X_{τ} (ω)}g(X_{t_{1}}) ⋯ g(X_{t_{k}}) ,

ahol E_{x} az erős Markov tulajdonság definiciójában szereplő P (x, ·) valószínűségi mérték szerinti várható értéket jelöli. Megfordítva, ha ez az egyenlőség igaz tetszőleges g_{1}(x), …, g_{k}(x) folytonos, korlátos tartójú függvényekre, akkor teljesül az erős Markov tulajdonság.

Definició. Feller tulajdonság. Legyen (X_{t}, F_{t}) valós értékű stacionárius Markov folyamat P (s, x, B) átmenetvalószínűség függvényekkel. A folyamat teljesíti a Feller tulajdonságot, ha tetszőleges folytonos korlátos g(x) függvényre és t > 0 számra a

P_{t}g(x) = E_{x}g(X_{t}) = ∫ g(y)P (t, x, dy)

függvény (mint x függvénye, rögzített t-re) folytonos. 18.) Legyen az (X_{t}, F_{t}) stacionárius Markov folyamat Feller folyamat. Tegyük fel to-

vábbá, hogy az X_{t} folyamat trajektóriái jobbról folytonosak és létezik baloldali határértékük minden időpontban. Ekkor X_{t} teljesíti az erős Markov tulajdonságot. Speciálisan a Wiener folyamat teljesíti a Feller, és ezért az erős Markov tulajdonságot is.

19.) Jelöljön W (t), 0 ≤ t < ∞, egy Wiener folyamatot, és minden −∞ < x < ∞-re definiáljuk a következő x pontból kiinduló Markov folyamatokat: X_{t}(x) = x+W (t), ha x ≠ 0, és X_{t}(0) ≡ 0 minden 0 ≤ t < ∞-ra. Lássuk be e példa alapján, hogy létezik X_{t}, 0 ≤ t < ∞, Markov folyamat a következő P (s, x, B) átmenetvalószínűség függvényekkel: P (s, x, B) = μ_{φ}(s^{−1/2}(B − x)), ha x ≠ 0, ahol μ_{φ} jelöli a standard normális eloszlást, és P (0, x, B) = 1, ha x ∈ B, és P (0, x, B) = 0 ha x ∉ B. Tekintsük az X_{t}(x) Markov folyamatot, x ≠ 0, ezekkel az átmenetvalószínűség függvényekkel, és a τ = inf{t: X_{t}(x) = 0} valószínűségi változót. Lássuk be, hogy τ megállási szabály, P (X(τ + 1) ∈ B) ≠ P (1, X(τ), B), ezért ez a Markov folyamat nem teljesíti az erős Markov tulajdonságot. A következő feladat a 10. feladat állításának folytonos változata.

10a.) Legyen (X_{t}, F_{t}) Markov folyamat, és τ megállási szabály az F_{t} σ-algebra rendszerre nézve. Definiáljuk a F_{t}^{∞} = σ(X_{u}, u > t) és F_{τ}^{∞} = {A: A ∩ {τ > t} ∈ F_{t}^{∞} minden t ≥ 0 − ra} σ-algebrákat. Lássuk be, hogy ha A_{1} ∈ F_{t} és A_{2} ∈ F_{t}^{∞}, akkor P (A_{1} ∩ A_{2}|X_{t}(ω)) = P (A_{1}|X_{t}(ω))P (A_{2}|X_{t}(ω)). Ha az X_{t} Markov folyamat stacionárius, trajektóriái jobbról folytonosak, és teljesíti az erős Markov tulajdonságot, A_{1} ∈ F_{τ+0} és A_{2} ∈ F_{τ}^{∞}, akkor P (A_{1} ∩ A_{2}|X_{τ} (ω)) = P (A_{1}|X_{τ} (ω))P (A_{2}|X_{τ} (ω)).

Megoldások

1.) Ha A_{k} ∈ F_{τ}, k = 1, 2, …, akkor ⋃_{k=1}^{∞} A_{k} ∩ {τ ≤ n} = ⋃_{k=1}^{∞} (A_{k} ∩ {τ ≤ n}) ∈ F_{n}

minden n-re, tehát ⋃_{k=1}^{∞} A_{k} ∈ F_{τ}. Hasonlóan, az F_{n} zárt megszámlálható met-

szetképzésre, és különbségképzésre. Ezért F_{τ} σ-algebra. (A folytonos idejű folyamatok hasonlóan tárgyalhatóak.)

2.) Azt kell belátni, hogy tetszőleges mérhető B ⊂ R^{1} halmazra és T > 0 számra a {g(X_{1}, …, X_{k}) ∈ B} ∩ {τ ≤ T } esemény F_{T} mérhető. Definiáljuk az X_{j}^{(T)}(ω) = X_{j}(ω)I_{{τ<T }}(ω), j = 1, …, k, valószínűségi változókat. Ekkor X_{j}^{(T)} F_{T} mérhető, és {g(X_{1}, …, X_{k}) ∈ B}∩{τ ≤ T } = {g(X_{1}^{(T)}, …, X_{k}^{(T)}) ∈ B}∩{τ ≤ T }. Ez utóbbi esemény viszont F_{T} mérhető, mivel mind {τ ≤ T } mind {g(X_{1}^{(T)}, …, X_{k}^{(T)}) ∈ B} F_{T} mérhető események.

3.) Az G_{n} (G_{t}) σ-algebrák egymásba ágyazottak, és mivel G_{n} ⊂ F_{n}, G_{t} ⊂ G_{t}, ezért

P (X_{n+1} ∈ B|G_{n})(ω) = E(I_{B}(X_{n+1})|G_{n})(ω) = E(E(I_{B}(X_{n+1})|F_{n})|G_{n})(ω)
= E(E(I_{B}(X_{n+1})|X_{n})|G_{n})(ω) = E(I_{B}(X_{n+1})|X_{n})(ω)
= P (X_{n+1} ∈ B|X_{n})(ω).

A folytonos idejű eset hasonlóan tárgyalható. 4.) Mivel a Poisson folyamat és Wiener folyamat független növekményű, ezért ezek

Markov tulajdonsága következik a Feladatok feladatsor 4. feladatából. Ezek a folyamatok stacionárius Markov folyamatok, mivel az átmenetmátrixuk

P (s, t, x, B) = P (X(t + s) − X(t) ∈ B) ,

ahol X(·) jelöli vagy a Wiener vagy a Poisson folyamatot, nem függ t-től. Az, hogy a Brown bridge és Ornstein–Uhlenbeck folyamatok Markov folyamatok, következik a fentiekből és a Wiener folyamatok feladatsor 9. és 11. feladatának eredményéből. P (ξ_{n+1} ∈ B|ξ_{n}, …, ξ_{1}) = P (ξ_{n+1} ∈ B), és P (S_{n+1} ∈ B|S_{n}, …, S_{1}) = P (ξ_{n+1} ∈ B − S_{n}). (Az utolsó képletben felhasználtuk azt, hogy hogyan kell feltételes valószínűségekkel számolni, lásd Feladatok feladatsor első feladatát.) Ezért ξ_{n}, n = 1, 2, …, Markov lánc P (n, x, B) = μ_{n+1}(B), és S_{n}, n = 1, 2, …, Markov lánc P (n, x, B) = μ_{n+1}(B − x), átmenetvalószínűség függvénnyel, ahol μ_{n} a ξ_{n} valószínűségi változó eloszlása. Ha a ξ_{n} valószínűségi változók egyforma eloszlásúak, akkor az átmenetvalószínűség függvények alakjából látható, hogy ezek a Markov láncok stacionáriusak.

5.) Ha m = 1, akkor az állítás következik a Markov tulajdonság definiciójából. Tegyük fel, hogy az állítás igaz m-re, és lássuk be indukcióval m + 1-re. Abból, hogy az állítás igaz m-re következik, hogy tetszőleges (X^{m}, B^{m}) mérhető g(x_{1}, …, x_{m}) függvényre

E(g(X_{n+m}, …, X_{n+1})|F_{n})(ω) = E(g(X_{n+m}, …, X_{n+1})|X_{n})(ω) ,

és

E(g(X_{n+m}, …, X_{n+1})|X_{n}(ω) = x)

= ∫_{X} ⋯ ∫_{X} g(x_{n+m}, …, x_{n+1})

P (n + m − 1, x_{m−1}, dx_{m})P (n + m − 2, x_{m−2}, dx_{m−1}) … P (n, x, dx_{n+1}).

Valóban, ezek az állítások igazak g(x_{1}, …, x_{m}) = ∏_{l=1}^{m} I_{B_{l}}(x_{l}) alakú függvényekre,

és szokásos limeszelési eljárással kiterjeszthetőek tetszőleges mérhető g(x_{1}, …, x_{m}) függvényre. Ezeket az azonosságokat felhasználva kapjuk, hogy

P (X_{n+m+1} ∈ B_{m+1}, …, X_{n+1} ∈ B_{n+1}|F_{n})
= E(I_{B_{m+1}}(X_{n+m+1})I_{B_{m}}(X_{n+m}) ⋯ I_{B_{1}}(X_{n+1})|F_{n})
= E(I_{B_{m}}(X_{n+m}) ⋯ I_{B_{1}}(X_{n+1})E(I_{B_{m+1}}(X_{n+m+1})|F_{n+m})|F_{n})
= E(g(X_{n+m}, …, X_{n+1})|F_{n})(ω) = E(g(X_{n+m}, …, X_{n+1})|X_{n})(ω) ,

ahol

g(x_{1}, …, x_{m}) = ∏_{l=1}^{m} I_{B_{l}}(x_{l})P (n + m, x_{m}, B_{m+1})

= ∏_{l=1}^{m} I_{B_{l}}(x_{l}) ∫_{B_{m+1}} P (n + m, x_{m}, dx_{m+1}) .

Kiszámítva az E(g(X_{n+m}, …, X_{n+1})|X_{n} = x) feltételes várható értéket a már bizonyított formula segítségével, kapjuk a kívánt állítást.

6.) Az X_{n} valószínűségi változók együttes eloszlását leíró képletet használva B_{2} = ⋯ = B_{n} = X választással kapjuk, hogy X_{1} eloszlása π. Ezenkívül be kell még látni, hogy az X_{n} ∈ B_{n} esemény feltételes eloszlása, feltéve az F_{n−1} = σ(X_{1}, …, X_{n−1}) σ-algebrát az előírt alakú. Ez ekvivalens a következő állítással:

P (X_{n} ∈ B_{n}, (X_{1}, …, X_{n−1}) ∈ A)
= ∫_{(X_{1}(ω),...,X_{n−1}(ω))∈A} g(X_{1}(ω), …, X_{n−1}(ω)) dP (ω)

tetszőleges A ∈ B^{m−1} halmazra, ahol

g(x_{1}, …, x_{n−1}) = P (n − 1, x_{n−1}, B_{n}) = ∫_{B_{n}} P (n − 1, x_{n−1}, dx_{n}) .

Elég ezt az állítást A = B_{1} × ⋯ × B_{n−1} alakú halmazokra belátni, mivel ha az azonosság igaz az ilyen halmazokra, akkor ez az azonosság kiterjeszthető az összes kívánt tipusú halmazra. Ezekre a halmazokra viszont az állítás következik a feladatban felírt azonosságból.

7.) Az 5. feladat eredményéből következik, hogy

P (X_{n+m} ∈ B|F_{n})(ω) = P (X_{n+m} ∈ B, X_{n+j} ∈ X, ∈ X, 1 ≤ j < m|F_{n})(ω) = P (X_{n+m} ∈ B, X_{n+j} ∈ X, ∈ X, 1 ≤ j < m|X_{n})(ω) = P (n, m, X_{n}(ω), B) ,

ahol

P (n, m, X_{n}(ω), B)

=∫_{X} ⋯∫_{B} P (n + m − 1, x_{m−1}, dx_{m})P (n + m − 2, x_{m−2}, dx_{m−1}) … P (n, x, dx_{n+1}).

E képlet segítségével standard számolással kapjuk a Kolmogorov–Chapman egyenletet.

8.) Az 5. feladatból következik, hogy az állítás igaz tetszőleges hengerhalmazra, azaz abban az esetben, ha A = {(x_{1}, x_{2}, …) ∈ X^{∞}: x_{j} ∈ B_{j}, j = 1, …, m} valamilyen pozitív egész m számmal, és B_{j} ∈ B halmazokkal. Ebben az esetben a feladatban felírt integrál kifejezi a kívánt feltételes valószínűséget. Innen viszont standard módon a feltételes valószínűségek kiterjeszthetőek tetszőleges B^{∞} mérhető A halmazra. Ha a Markov lánc stacionárius, akkor ezek a feltételes mértékek nem függnek n-től.

9.) Legyen B ∈ F_{τ}. Ekkor B = ⋃_{n=1}^{∞} (B ∩ {τ = n}), B∩{τ = n} ∈ F_{n}, és a B∩{τ = n}

halmazok diszjunktak különböző n-re. Ezért

P (B ∩ {(X_{τ+1}, X_{τ+2}, …) ∈ A})

= ∑_{n=1}^{∞} P ((B ∩ {τ = n} ∩ {(X_{n+1}, X_{n+2}, …) ∈ A})

= ∑_{n=1}^{∞} ∫_{B∩{τ=n}} P (n, X_{n}(ω), A)P ( dω) = ∫_{B} P (τ, X_{τ} (ω), A)P ( dω)

Ez az azonosság igaz minden B ∈ F_{τ} halmazra. Továbbá P (τ, X_{τ} (ω), A) ∈ F_{τ}. Valóban, ha a második feladat állítását alkalmazzuk X_{1} = τ, X_{2} = X_{τ} és g(x_{1}, x_{2}) = P (x_{1}, x_{2}, A) szereposztással, akkor megkapjuk a kívánt mérhetőségi tulajdonságot. E tulajdonságokból következik az állítás.

10.) Legyen A_{1} ∈ F_{n} és A_{2} ∈ F_{n}^{∞}. Ekkor

P (A_{1}A_{2}|X_{n}(ω)) = E((I_{A_{1}}(ω)I_{A_{2}}(ω)|F_{n})|X_{n})
= E(I_{A_{1}}(ω)E(I_{A_{2}}(ω)|F_{n})|X_{n}) = E(I_{A_{1}}(ω)P (A_{2}|X_{n})|X_{n})
= P (A_{2}|X_{n})E(I_{A_{1}}(ω)|X_{n}) = P (A_{1}|X_{n})P (A_{2}|X_{n}) .

A feladat másik állítása hasonlóan bizonyítható, de szükség van a következő észrevételre is: Ha A_{2} ∈ F_{τ}^{∞}, akkor létezik olyan Ã ∈ B^{∞} halmaz, melyre

A_{2} = {ω: (X_{τ+1}, …) ∈ Ã} .

Ezért, felhasználva a Markov folyamat stacionaritását is,

P (A_{2}|F_{τ}) = P ({ω: (X_{τ+1}, …) ∈ Ã}|F_{τ}) = P (τ, X_{τ} (ω), Ã))
= P (X_{τ} (ω), Ã) = P (A_{2}|X_{τ}).

Az utolsó azonosság bizonyításánál használjuk fel, hogy P (A_{2}|F_{τ}) = P (X_{τ} (ω), Ã) X_{τ} mérhető, és az X_{τ} valószínűségi változó által generált σ-algeba része F_{τ} -nak.

11.) A ξ_{n}, n = 1, 2, …, sorozat stacionárius Markov láncot alkot. Ezért alkalmazható rá a 9. feladatban megfogalmazott erős Markov tulajdonság. Ebben a speciális esetben a P (n, x, A) = P (x, A) feltételes mértékek nem mások mint az F eloszlásfüggvény által a számegyenesen meghatározott mérték önmagával végtelen példányban vett szorzatmértéke az R^{∞} szorzattéren. Ezért a ξ_{τ+j}, j = 1, 2, …, valószínűségi változók függetlenek és F eloszlásúak. Mivel az együttes eloszlásuk nem függ az F_{τ} σ-algebrától, ezért, mint a feltételes valószínűség definiciójából közvetlenül adódik, ezek a valószíűsǵi változók függetlenek a F_{τ} σ-algebrától, azaz az összes A ∈ F_{τ} eseménytől is.

12.) Mivel {τ ≤ n} = {S_{n} ≥ T } ∈ F_{n}, τ megállási szabály. Az elöző feladat szerint a ξ_{τ+1}, ξ_{τ+2}, … független exponenciális eloszlású valószínűségi változók λ paraméterrel, melyek függetlenek a (τ, S_{τ} − T) valószínűségi vektortól is, mivel ez utóbbi F_{τ} mérhető. Be kell még bizonyítani, hogy τ és S_{τ} − T független valószínűségi változók, és P (S_{τ} − T > x) = e^{−λx} ha x ≥ 0. Ez az állítás ekvivalens azzal, hogy P (S_{τ} − T > x|τ = k) = e^{−λx} minden x > 0 és k = 1, 2, … számra. Viszont

P (S_{τ} − T > x|τ = k) = P (S_{k−1} + ξ_{k} > T + x|S_{k−1} ≤ T, S_{k−1} + ξ_{k} > T)

= \frac{P (S_{k−1} + ξ_{k} > T + x, S_{k−1} ≤ T)}{P (S_{k−1} + ξ_{k} > T, S_{k−1} ≤ T)} .

Legyen S_{k−1} eloszlása F_{k}(x). Ekkor az S_{k−1} és ξ_{k} valószínűségi változól függetlensége miatt az elöző számolás szerint

P (S_{τ} − T > x|τ = k) = \frac{∫_{0}^{T} e^{−λ(T +x−y)}F_{k}( dy)}{∫_{0}^{T} e^{−λ(T −y)}F_{k}( dy)} = e^{−λx}.

Innen következik a feladat állítása.