Folytonos idejű Markov-láncok.

A folytonos idejű Markov láncok és Markov folyamatok elméletét nem fogom olyan részletesen tárgyalni, mint a diszkrét idejű Markov láncokét. Megelégszem néhány fontos probléma és eredmény ismertetésével.

Láttuk, hogy diszkrét idejű Markov-láncok átmenetvalószínűségeinek megadásához elegendő az egy lépéses P (i, j) = P (1, i, j) átmenetvalószínűségeket definiálni. Ezek ismeretében az n-lépéses P (n, i, j) valószínűségeket minden n pozitív egész számra ki tudjuk számolni az n lépésszám szerinti teljes indukcióval a

P (n, i, j) = ∑_{k: E_{k}∈E} P (n − 1, i, k)P (k, j)

Chapman–Kolmogorov azonosság segítségével. Szeretnénk megtalálni ennek az eredménynek a folytonos idejű megfelelőjét. Ebben az esetben nincsen a 0 időpont után közvetlenül következő időpont. Viszont tekinthetünk egy kis h számot, és felírhatjuk a P (t + h, i, j) időpontbeli átmenetvalószínűségeket és a \frac{P (t+h,i,j)−P (t,i,j)}{h} differenciahányadost a Chapman–Kolmogorov azonosság segítségével. Ezután a h számmal 0hoz tartva egy olyan differenciálegyenletet kapunk az átmenetvalószínűségekre, amely segít megérteni a Markov-lánc átmenetvalószínűségeinek a viselkedését. Abból a célból, hogy ezt jobban megértsük, tekintsük először a véges sok E_{1}, …, E_{k} állapotot felvevő Markov-láncokat, és vizsgáljuk ennek P (t, i, j) = P (X(t) = E_{j}|X(0) = E_{i}) átmenetvalószínűségeit és az átmenetvalószínűségek által meghatározott Π(t) = (P (t, i, j)) k × k méretű (sztochasztikus) átmenet mátrixokat, t ≥ 0. Be fogjuk látni egy egyszerű tétel segítségével, hogy amennyiben a Π(t) átmenet mátrixok rendszere differenciálható függvénye a t ≥ 0 időparaméternek, akkor a Markov-lánc eloszlásainak viselkedése egyszerűen megadható a t > 0 időpont függvényében, mint egy lineáris differenciálegyenlet megoldása. Előtte megfogalmazok egy itt nem bizonyított eredményt, amely azt mondja ki, hogy az azt követő Tétel feltételei nagyon általános feltételek mellett teljesülnek.

Propozició. Ha egy véges állapotterű folytonos idejű Markov-lánc Π(t) átmenetmátrixai, t ≥ 0, folytonosak a nullában, akkor azok deriválhatóak is minden t ≥ 0 számra.

Tétel véges állapotterű folytonos idejű Markov-láncok eloszlásainak viselkedéséről. Legyen X(t), t ≥ 0 Markov lánc egy k (véges) elemű E_{1}, …, E_{k} állapottéren P (t, i, j) = P (X(t) = E_{j}|X(0) = E_{i}) átmenetvalószínűségekkel. Jelölje

Π(t) = ((P (t, i, j)), 1 ≤ i, j ≤ k, t ≥ 0,

a Markov-lánc átmenetvalószínűség mátrixait. Tegyük fel, hogy a Π(t) mátrixnak létezik a (jobboldali, koordinátánként vett) differenciálhányadosa a t = 0 pontban. Jelölje a Q mátrix ezt a differenciálhányadost. Ha P (t) = (P (t, 1), …, P (t, k)), t ≥ 0, jelöli a Markov-lánc t időpontbeli eloszlását, azaz, P (t, j) = P (X(t) = E_{j}), akkor ez a vektor értékű függvény teljesíti a

\frac{d}{dt}P (t) = P (t)Q, t ≥ 0,

differenciálegyenletet, amelynek megoldása

P (t) = P (0)e^{tQ},

ahol P (0) = (P (0, 1), …, P (0, k)) a Markov-lánc eloszlása a nulla időpontban.

A tétel bizonyítása. A (stacionárius) Markov tulajdonságai miatt P (t + h) = P (t)Π(h), ahonnan \frac{P (t+h)−P (t)}{h} = P (t)\frac{Π(h)−I}{h}, ahol I az identitás mátrixot jelöli. Mivel Π(0) = I, a fenti azonosságból h → 0 határátmenettel következik a felírt differenciálegyenlet. (Némi plusz munkával, amit most elhagyunk be lehet bizonyítani, hogy a fenti h → 0 határátmenet negatív h számokra is igaz. Ez könnyen látható, ha először megmutatjuk, hogy P (t) a t változó folytonos függvénye.) A tétel második állítása a lineáris differenciálegyenleteknek az analízisben tanult megoldásából következik.

Első megjegyzés. A tételben szereplő Q mátrixot a Markov-lánc infinitezimális operátorának hívják az irodalomban.

Második megjegyzés. Az e^{tQ} kifejezést a Q mátrix Jordan alakjának a felírása segítségével érdemes kiszámolni. Ha a Q mátrixnak megtaláljuk a J Jordán alakját, akkor a Q mátrixot reprezentálhatjuk Q = CJC^{−1} alakban alkalmas invertálható C mátrix segítségével, és ekkor e^{tQ} = Ce^{tJ}C^{−1}. A J Jordan alakú mátrix e^{tJ} alakú függvénye egyszerűen kiszámítható.

Feladat. Mutassuk meg, hogy a Q mátrix sorösszegei nullával egyenlőek.

Meg akarjuk mutatni, hogy a véges sok állapotot felvevő Markov-láncokhoz hasonlóan, megszámlálhatóan sok állapotot felvevő Markov-láncoknak az átmenetvalószínűségei is teljesítenek olyan differenciálegyenletrendszereket, amelyek fontos szerepet játszanak a Markov-láncok viselkedésének a tanulmányozásában. Ebben az előadásban két fontos speciális modellt fogunk vizsgálni részletesebben, a születési és születési és halálozási folyamatokat. Megmutatjuk, hogy ezek ‘infinitezimálisan kis’ időintervallum alatt bekövetkezett megváltozásainak ismeretében fel lehet írni olyan differenciálegyenleteket, amelyek lehetővé teszik e folyamatok átmenetvalószínűségeinek kiszámítását tetszőleges időintervallumban.

Felmerül az a kérdés, hogy ezeknek a Markov-folyamatok átmenetvalószínűségeit meghatározó differenciálegyenleteknek egyértelmű-e a megoldásuk. Kiderült, hogy ez az egyértelműségi kérdés nem pusztán technikai probléma, hanem olyan a Markovláncok viselkedését leíró bonyolultabb jelenségekhez kapcsolódik, amelyek már a legegyszerűbb modellekben, a születési folyamatokban is megjelennek, és vizsgálatuk a Markov-folyamatok elméletének fontos része. Két különböző differenciálegyenletrendszert, fogunk felírni, az úgynevezett Kolmogorov-féle forward és Kolmogorov-féle backward differenciálegyenletek rendszerét. Később bebizonyítjuk és tárgyaljuk ezeket a differenciálegyenleteket általános Markov-folyamatok esetében is.

Mind a születési mind a születési és halálozási folyamat olyan Markov-lánc, amelynek állapottere az E = {0, 1, 2, … } természetes számok halmaza. A tekintett modellek olyan Markov-láncok, amelyek egy populáció fejlődését írják le. Annak, hogy X(t) = j az a szemléletes tartalma, hogy a Markov-lánc által leírt populáció létszáma a t időpontban j. A (stacionárius) Markov-lánc teljes definiciójához meg kell adnunk a P (t, i, j) = P (X(t) = j|X(0) = 0) átmenetvalószínűségeket. Mind a születési mind a születési és halálozási folyamat definiciójával meg fogunk adni egy aszimptotikus formulát a P (t, i, j) átmenetvalószínűségek értékére kis t számok esetére a modell paramétereinek tekintett számok segítségével. Azt mondjuk, hogy egy Markovlánc születési vagy születési és halálozási folyamat az adott paraméterekkel, ha annak átmenetvalószínűségei teljesítik az előírt aszimptotikus formulát.

Születési folyamat definiciója. Azt mondjuk, hogy egy X(t), t ≥ 0, időben folytonos (stacionárius) Markov-lánc az E = {0, 1, 2, … } állapottéren születési folyamat λ_{0}, λ_{1}, … paraméterekkel, ha P (t, i, j) = P (X(t) = j|X(0) = i) átmenetvalószínűségei teljesítik a

P (h, i, i + 1) = λ_{i}h + o(h), P (h, i, i) = 1 − λ_{i}h + o(h), és
P (h, i, j) = o(h), ha j ≠ i és j ≠ i + 1 h → 0 esetén

relációt.

A születési folyamat definiciójának szemléletes tartalma nyílvánvaló. A populáció tagjai nem halnak meg, és egy i elemű populációban kis h idő alatt 1 új egyed születhet közelítőleg λ_{i}h valószínűséggel.

Születési és halálozási folyamat definiciója. Azt mondjuk, hogy egy X(t), t ≥ 0, időben folytonos (stacionárius) Markov-lánc az E = {0, 1, 2, … } állapottéren születési és halálozási folyamat λ_{0}, λ_{1}, … és μ_{0}, μ_{1}, … paraméterekkel, (μ_{0} = 0), ha P (t, i, j) = P (X(t) = j|X(0) = i) átmenetvalószínűségei teljesítik a

P (h, i, i + 1) = λ_{i}h + o(h), P (h, i, i − 1) = μ_{i}h + o(h),
P (h, i, i) = 1 − (λ_{i} + μ_{i})h + o(h),
és P (h, i, j) = o(h), ha j ≠ i és j ≠ i ± 1 h → 0 esetén

relációt.

A születési és halálozási folyamat definiciója a születési folyamathoz hasonlóan interpretálható. Egy i elemű populációban közelítőleg λ_{i}h valószínűséggel történik egy születés, és közelítőleg μ_{i}h valószínűséggel történik egy halálozás kis h idő alatt.

Tekintsünk egy születési folyamatot, λ_{0}, λ_{1}, … paraméterekkel tetszőleges kezdeti t = 0 időpontbeli eloszlással, és jelölje P_{n}(t) annak a valószínűségét, hogy a Markov-lánc a t időpontban az n állapotban van. Ekkor

P_{n}(t + h) = (1 − hλ_{n})P_{n}(t) + hλ_{n−1}P_{n−1}(t) + o(h), ha n ≥ 1, és h → 0,

és

P_{0}(t + h) = (1 − λ_{0}h)P_{0}(t) + o(h), ha h → 0,

mert a t+h időpontban (elhanyagolhatóan kis valószínűségű eseményeket figyelmen kívül hagyva) vagy úgy lehet a populációnak n eleme, hogy az n időpontban a populációnak n eleme van és az adott időintervallumban nem következett be születés, aminek valószínűsége P_{n}(t)(1 − λ_{n}h + o(h)) vagy a populációnak a t időpontban n − 1 eleme van, és az adott időintervallumban egy születés történt. Ez utóbbi esemény valószínűsége P_{n−1}(t)λ_{n−1}h + o(h). Átrendezve az első egyenletet kapjuk, hogy

\frac{P_{n}(t + h) − P_{n}(t)}{h} = −λ_{n}P_{n}(t) + λ_{n−1}P_{n−1}(t) + o(1), ha n ≥ 1, és h → 0,

ahonnan h → 0 határátmenettel kapjuk, hogy

P′_{n}(t) = −λ_{n}P_{n}(t) + λ_{n−1}P_{n−1}(t), ha n ≥ 1.  (1a)

Hasonlóan

P′_{0}(t) = −λ_{0}P_{0}(t).  (1b)

A születési folyamat átmenetvalószínűségeit megadó differenciálegyenletek fenti levezetésében nem fogalmaztuk meg azokat a feltételeket, amelyek szükségesek ahhoz, hogy a benne szereplő határátmeneteket végrehajthassuk. A születési és születési és halálozási folyamatok ismertetése után fogom tárgyalni azt, hogy milyen feltételek mellett érvényesek az ott felírt egyenletek és azok általánosításai.

Vegyük észre, hogy rögzítve egy i ≥ 0 számot és a P_{i}(0) = 1, P_{j}(0) = 0, ha j ≠ i kezdeti feltételeket véve, azaz olyan születési folyamatot tekintve, amelyben a populáció létszáma i a nulla időpontban az (1a), (1b) differenciálegyenlet rendszer rekurzív módon megoldható. Azt kapjuk, hogy P_{j}(t) = 0 a 0 ≤ j < i esetben minden t ≥ 0 számra. Ezután indukcióval megoldható az (1a) egyenletet először az i paraméterre, majd ezután indukcióval j = i + 1, j = i + 2 számokra és így tovább.

Látszólag ilyen módon kielégítő leírását kapjuk ezáltal a tiszta születési folyamatoknak. Valójában számos kérdés nyitva maradt. Tisztáznunk kell, hogy a kapott megoldásrendszer teljesíti-e a Chapman–Kolmogorov egyenleteket, azaz tekinthető-e egy Markov-lánc átmenetvalószínűségeinek. Erre a kérdésre igenlő a válasz, de a bizonyítást

elhagyjuk. Ugyancsak érdekes kérdés, hogy a kapott megoldás teljesíti-e a ∑_{j=1}^{∞} P (t, i, j) =

1 egyenletet minden t ≥ 0 számra, ha ez a reláció teljesíti ezt az egyenletet t = 0 számra. Ez az összeg mindig kisebb vagy egyenlő, mint 1, de előfordulhat, hogy szigorúan kisebb, mint 1. Ennek szükséges és elégséges feltételét tartalmazza az alábbi tétel, amelynek bizonyítását elhagyom, de adok rá egy heurisztikus magyarázatot.

Tétel születési folyamatok viselkedéséről. Tekintsük egy λ_{0}, λ_{1}, …, paraméterekkel definiált X(t), t ≥ 0, születési folyamatot P (t, i, j) = P (X(t) = j|X(0) = i)

átmenetvalószínűségekkel. A ∑_{j=i}^{∞} P (t, i, j) = 1 azonosság teljesül minden t ≥ 0 számra,

ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} = ∞. Ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} < ∞, akkor ∑_{j=i}^{∞} P (t, i, j) < 1 minden t > 0 számra.

Az előző tétel annak a szükséges és elégséges feltételét adja meg, hogy a születési folyamat populációjának létszáma egy alkalmas véges időintervallumban pozitív valószínűséggel eléri a végtelent. Ha ez bekövetkezik valamely [0, t_{0}] időintervallumban, akkor

∑_{j=i}^{∞} P (t, i, j) < 1 minden t > t_{0} számra. Ha van ilyen t_{0} szám, akkor minden t_{0} > 0 ilyen

szám.

Az alábbi feladat segíthet az előző tétel okának megértésében.

Nem kötelező feladat. Tekintsünk egy időben folytonos, stacionárius Markov-láncot valamely E = {E_{1}, E_{2}, … } állapottéren P (t, i, j) = P (X(t) = E_{j}|X(0) = E_{i}) átmenetvalószínűségekkel. Tegyük fel, hogy a P (t, j, j) folytonos függvény. Mutassuk, hogy ebben az esetben F (t) = P (X(u) = E_{j}minden 0 ≤ u ≤ t időpontra|X(0) = E_{j}) = e^{−λ_{j}t} alkalmas λ_{j} ≥ 0 számmal, azaz az E_{j} állapotban való állandó tartózkodás hosszának ideje exponenciális eloszlású.

Segítség: Vegyük észre, hogy F (t + s) = F (t)F (s). Ha az F (t) függvény a nullában folytonos, akkor a fenti egyenletnek F (t) = e^{−λt}, λ > 0, alakú a megoldása.

A fenti feladat eredménye mutatja, hogy egy folytonos idejű Markov-folyamat egy helyen exponenciális sok ideig tartózkodik. Egy születési folyamatban az n helyen való tartózkodás ξ_{n} ideje exponenciális eloszlású valószínűségi változó λ = λ_{n} paraméterrel. Továbbá ezek a valószínűségi változók különböző n indexekre függetlenek. Az i állapotból induló születési folyamat akkor és csak akkor éri el a végtelent véges idő alatt,

ha ∑_{n=i}^{∞} ξ_{n} < ∞. A valószínűségszámítás egyik klasszikus eredményéből (Kolmogorov-

féle három sor tétel) következik, hogy ez az összeg egy valószínűséggel divergál, ha

∑_{n=i}^{∞} \frac{1}{λ_{n}} = ∞, és egy valószínűséggel konvergál, ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} < ∞.

A születési folyamat átmenetvalószínűségeit leíró (1a) és (1b) egyenletek a Kolmogorov-féle forward egyenletek speciális esetei. Később tárgyalni fogom ennek az egyenletnek pontos megfogalmazását és bizonyítását az általános esetben. Ez az eredmény felveti azt a kérdést is, hogy van-e a olyan születési folyamat, amelynek átmenetvalószínűségeit nem lehet megtalálni a Kolmogorov-féle forward egyenlet megoldásaiként, mert nem elégíti ki ennek az egyenlet érvényességéhez szükséges összes feltételt. Erre a kérdésre igenlő a válasz, de ennek okára csak heurisztikus magyarázatot adok, a részletes bizonyítást elhagyom.

A születési és halálozási folyamat hasonlóan vizsgálható a születési folyamatokhoz. Ha a születési és halálozási folyamat paraméterei λ_{0}, λ_{1}, …, illetve μ_{0}, μ_{1}, …, akkor annak P_{n}(t) valószínűsége, hogy a folyamat a t időpontban az n értéket veszi fel teljesíti a

P_{n}(t + h) = (1 − h(λ_{n} + μ_{n}))P_{n}(t) + hλ_{n−1}P_{n−1}(t) + hμ_{n+1}P_{n+1}(t) + o(h), ha n ≥ 1,

és h → 0, és

P_{0}(t + h) = (1 − λ_{0}h)P_{0}(t) + hμ_{1}P_{1}(t) + o(h), ha h → 0,

egyenleteket, ahonnan h → 0 határátmenettel kapjuk, hogy

P′_{n}(t) = −(λ_{n} + μ_{n})P_{n}(t) + λ_{n−1}P_{n−1}(t) + μ_{n+1}P_{n+1}(t), ha n ≥ 1.  (2a)

Hasonlóan

P′_{0}(t) = −λ_{0}P_{0}(t) + μ_{1}P_{1}(t).  (2b)

Ez a születési és halálozási folyamatról szóló Kolmogorov-féle forward egyenlet, amelyet hasonlóan indokolhatunk, mint a születési folyamatokról szóló egyenletet. Ebben az esetben a megoldás nem írható fel olyan explicit módon, mint a születési folyamat esetén, és nem adható egyszerű univerzális válasz arra a kérdésre sem, hogy mikor jut el egy ilyen folyamat véges idő alatt pozitív valószínűséggel a végtelenbe.

A Kolmogorov-féle backward egyenleteknek is először a születési és születési és halálozási folyamatok esetén érvényes alakját ismertetem röviden. A születési folyamatok esetében a

P (t + h, i, j) = (1 − λ_{i}h)P (t, i, j) + λ_{i}hP (t, i + 1, j) + o(h)

reláció érvényes, mert először a [0, h], majd a [h, t + h] intervallumot figyelve annak valószínűségét, hogy a születési folyamat t + h idő alatt az i állapotból a j állapotba jut úgy írhatjuk fel, mint annak a valószínűsége, hogy a folyamat a [0, h] idő alatt az i állapotot nem változtatja, majd t idő alatt az i állapotból a j állapotba jut, plusz annak a valószínűsége, hogy a [0, h] idő alatt az i állapotból az i + 1 állapotba jut, majd t idő alatt az i+1 állapotból a j állapotba jut plusz egy o(h) nagyságú esemény valószínűsége. A tekintett események közül az első valószínűség körülbelül (1−λ_{i}h)P (t, i, j), a második pedig λ_{i}hP (t, i + 1, j). A fenti aszimptotikus reláció úgy is írható, hogy

\frac{P (t + h, i, j) − P (t, i, j)}{h} = −λ_{i}P (t, i, j) + λ_{i}P (t, i + 1, j) + o(1),

ahonnan h → 0 határátmenet segítségével azt kapjuk, hogy

P′(t, i, j) = −λ_{i}P (t, i, j) + λ_{i}P (t, i + 1, j).  (3)

Ez a Kolmogorov-féle backward egyenlet a születési folyamatra. A születési és halálozási folyamat esetében hasonló indoklással kapjuk, hogy

P (t + h, i, j) = (1 − λ_{i}h − μ_{i}h)P (t, i, j) + λ_{i}hP (t, i + 1, j) + μ_{i}hP (t, i − 1, j) + o(h),

ahonnan

P′(t, i, j) = −(λ_{i} + μ_{i})P (t, i, j) + λ_{i}P (t, i + 1, j) + μ_{i}P (t, i − 1, j).  (4)

A (3) és (4) formulában felírt backward egyenletek kapcsolata az (1a), (1b) illetve (2a), (2b) forward egyenletek kapcsolatának megértése alaposabb vizsgálatot igényel. Ennek érdekében először felírjuk a forward és backward egyenleteket az általános esetben.

Az alábbiakban a Kolmogorov-féle forward és backward egyenleteket bebizonyítjuk tetszőleges Markov-láncokra. Érdemes ezt a kérdést kissé általánosabban vizsgálni, és nem feltétlenül stacionárius, időben folytonos, legfeljebb megszámlálható sok különböző értéket felvevő Markov-láncokat tekinteni.

Legyen X(t), t ≥ 0, nem feltétlenül stacionárius Markov-lánc egy véges vagy megszámlálhatóan végtelen E = {E_{1}, E_{2}, … } állapottéren, P (s, t, i, j) = P (X(t) = j|X(s) = i), 0 ≤ s ≤ t < ∞, átmenetvalószínűségekkel. Ezek az átmenetvalószínűségek teljesítik a

P (s, t, i, j) = ∑_{k: E_{k}∈E} P (s, u, i, k)P (u, t, k, j) s ≤ u ≤ t  (5)

Chapman–Kolmogorov egyenleteket. Megmutatjuk, hogy amennyiben az átmenetvalószínűségek teljesítenek bizonyos folytonosság jellegű feltételeket is, akkor kielégítenek bizonyos differenciálegyenlet rendszert is. Sőt két különböző differenciálegyenletrendszert is levezethetünk. Az egyiket, az úgynevezett Kolmogorov-féle forward differenciálegyenletrendszert úgy kapjuk, hogy tekintük a \frac{P (s,t+h,i,j)−P (s,t,i,j)}{h} differenciahányadosokat, illetve ezek limeszeit h → 0 esetén, és a P (s, t + h, i, j) átmenetvalószínűséget úgy számoljuk ki a Chapman–Kolmogorov egyenlet segítségével, hogy követjük annak valószínűségét, hogy az s időpontban az E_{i} állapotban tartózkodó trajektória a t időpontban eljut valamely E_{k} állapotba, majd onnan h idő múlva az E_{j} állapotba jut. A másik egyenletrendszert, a Kolmogorov-féle backward differenciálegyenletrendszert úgy kapjuk, hogy a \frac{P (s,t,i,j)−P (s−h,t,i,j)}{h} differenciahányadosokat, illetve ezek limeszeinek viselkedését vizsgáljuk h → 0 esetén. Ebben az esetben a P (s−h, t, i, j) átmenetvalószínűséget úgy számoljuk ki a Chapman–Kolmogorov egyenlet segítségével, hogy követjük annak valószínűségét, hogy az s − h időpontban az E_{i} állapotban tartozkodó trajektória h időpont múlva eljut valamely E_{k} állapotba, majd onnan t−s idő múlva az E_{j} állapotba kerül.

Mind a Kolmogorov-féle forward mind a Kolmogorov-féle backward egyenlet teljesüléséhez bizonyos feltételeknek teljesülni kell. Először megfogalmazom azokat az 1a), 2a), 3a) feltételeket, amelyek teljesülése esetén be tudjuk bizonyítani a Kolmogorov-féle forward egyenleteket, majd megfogalmazom és bebizonyítom ezeket az egyenleteket.

1a) feltétel: Minden E_{k} állapothoz létezik olyan c_{k}(t) ≥ 0 függvény, amelyre

lim_{h→0} \frac{1 − P (t, t + h, k, k)}{h} = c_{k}(t) minden t ≥ 0 számra.  (6)

2a) feltétel: Minden E_{k} és E_{j}, E_{j} ≠ E_{k}, állapotpárhoz és t időponthoz léteznek olyan folytonos p_{k,j}(t) ‘átmenet valószínűség’ függvények, melyekre teljesül, hogy

lim_{h→0} \frac{P (t, t + h, k, j)}{h} = c_{k}(t)p_{k,j}(t) j ≠ k  (7)

reláció, ahol c_{k}(t) az 1a) feltételben szereplő függvény. Továbbá,

∑_{j: E_{j}∈E} p_{k,j}(t) = 1, p_{k,k}(t) = 0 minden t ≥ 0 számra.

3a) feltétel: A 2a) feltételben megfogalmazott (7) relációban vett határértékben a konvergencia egyenletes a k változóban minden rögzített j indexre és t ≥ 0 időpontra.

Látni fogjuk, hogy a fenti feltételek teljesülése esetén fel tudunk írni egy differenciálegyenletrendszert, amelynek megoldása megadja a Markov-lánc átmenetvalószínűségeit. Ez a hozzáállás természetes analogonja a véges állapotterű folytonos idejű Markov-láncok eloszlásainak viselkedéséről szóló tételnek. A Markov-lánc átmenetvalószínűségeit annak segítségével próbáljuk meghatározni, hogy az átmenetvalószínűség kis időtartam alatt bekövetkezett változásairól van információnk. Ez hasonló az említett tétel eredményéhez, amelyben a Markov-lánc infinitezimális operátora segítségével határoztuk meg az átmenetvalószínűségeket. Hasonló szellemet tükröz a mechanika tudománya is, ahol egy rendszer mozgását az annak lokális kis idő alatt közelítőleg megadó differenciálegyenletek segítségével próbáljuk meghatározni.

A fent megfogalmazott 1a) és 2a) feltételek természetesek. Az 1a) feltevés azt fejezi ki, hogy kis idő alatt a Markov-lánc csak kis valószínűséggel változtatja meg az állapotát. Ha a Markov lánc a t időpontban az E_{k} állapotban tartózkodik, akkor annak a valószínűsége, hogy h idő múlva megváltoztatja az állapotát közelítőleg hc_{k}(t). Az, hogy ez a valószínűség függhet a t időponttól, azzal függ össze, hogy a Markov-lánc nem feltétlenül stacionárius. Az 1a) feltétel tartalmának jobb megértéséhez hozzájárulhat az alább megfogalmazott feladat is.

A 2a) feltétel azt fogalmazza meg, hogy ha a Markov-lánc a t időpontban vagy egy ehhez közeli időpontban megváltoztatja az állapotát, és egy E_{k} állapotból a valamely más állapotba ugrik, akkor p_{k,j}(t) annak a valószínűsége, hogy E_{j} lesz ez az új állapot. Értelemszerűen, p_{j,j}(t) = 0. A 3a) feltétel viszont tisztán technikai jellegű. Ez a feltétel a forward egyenlet gyengeségeit tükrözi. Van olyan Markov-lánc, amelynek átmenetvalószínűségeit nem kaphatjuk meg az alább ismertetendő Kolmogorov-féle forward egyenlet megoldásaként, mert a Markov-lánc átmenet valószínűségei nem teljesítik a 3a) tulajdonságot.

A Kolmogorov-féle forward differenciálegyenletek. Legyen X(t), t ≥ 0, (nem feltétlenül stacionárius) folytonos idejű Markov-lánc egy E = {E_{1}, E_{2}, … } állapottéren P (s, t, i, j) = P (X(t) = E_{j}|X(s) = E_{i}) átmenetvalószínűségekkel. Ha ezek az átmenetvalószínűségek teljesítik az 1a), 2a) és 3a) feltételeket, akkor teljesítik az

\frac{∂P (s, t, i, j)}{∂t} = −c_{j}(t)P (s, t, i, j) + ∑_{k: E_{k}∈E} P (s, t, i, k)c_{k}(t)p_{k,j}(t)

egyenleteket is. Ezeket az egyenleket hívják Kolmogorov-féle forward egyenleteknek.

Megjegyzés: A bizonyításban ki fogjuk használni, hogy a P (s, t, i, j) átmenetvalószínűségek teljesítik az 1a), 2a) és 3a) feltételek mellett a Chapman–Kolmogorov egyenletet, valamint ∑_{j} P (s, t, i, j) ≤ 1. Az utolsó relációban kisebb vagy egyenlő jelet írtam, mert

lehetséges, hogy a folyamat “eltűnik” (lásd a születési folyamatot, amikor a populáció véges idő alatt végtelen elemszámú lesz), de az átmenetvalószínűségek összege nem lehet 1-nél nagyobb. Hasonló megjegyzés érvényes a később tárgyalandó backward egyenletek esetében is.

Bizonyítás. Az (5) Chapman–Kolmogorov egyenlet alapján

P (s, t + h, i, j) = ∑_{k: E_{k}∈E} P (s, t, i, k)P (t, t + h, k, j).

Ennek az azonosságnak és az 1a) feltételben szereplő (6) formula alapján

\frac{P (s, t + h, i, j) − P (s, t, i, j)}{h}

= −P (s, t, i, j)\frac{1 − P (t, t + h, j, j)}{h} + ∑_{k: E_{k}∈E, k≠j} P (s, t, i, k)\frac{P (t, t + h, k, j)}{h}. (8)

Az 1a) feltétel szerint lim_{h→0} P (s, t, i, j)\frac{1−P (t,t+h,j,j)}{h} = P (s, t, i, j)c_{j}(t), és a 2a) feltétel

alapján lim_{h→0} P (s, t, i, k)\frac{P (t,t+h,k,j)}{h} = P (s, t, i, k)c_{k}(t)p_{k,j}(t), ha k ≠ j. Innen formális

határátmenettel megkapjuk a Kolmogorov-féle forward differenciálegyenletet.

Be kell látnunk, hogy ez a formális határátmenet végrehajtható, ha teljesülnek a tétel feltételei. Ennek igazolásában felhasználjuk a 3a) feltételt és a ∑_{k} P (s, t, i, k) ≤ 1

relációt. A 2a) és 3a) relációkból következik, hogy

|\frac{P (t, t + h, k, j)}{h} − c_{k}(t)p_{k,j}(t)| ≤ ε, ha h ≤ h_{0}(ε, j, t).  (9)

Ezért speciálisan az is igaz, hogy c_{k}(t)p_{k,j}(t) ≤ A(j, t) alkalmas A(j, t) < ∞ számmal minden k indexre. Valóban, \frac{P (t,t+h_{0},k,j)}{h_{0}} ≤ \frac{1}{h_{0}} , és c_{k}(t)p_{k,j}(t) ≤ \frac{1}{h_{0}} + ε, ahol h_{0} = h_{0}(ε, j, t). Innen, és a ∑_{k} P (s, t, i, k) ≤ 1 egyenlőtlenségből következik, hogy a Kolmo-

gorov-féle forward egyenlet jobboldalán szereplő összeg konvergens. (A fenti érvelésben ∑_{k} P (s, t, i, k) ≤ 1 egyenlőtlenséget írtam és nem egyenlőséget. Ennek oka az, hogy

nem akartam kizárni olyan Markov-láncokat, amelyekben a Markov-lánc véges idő alatt kiszalad a végtelenbe vagy egy határpontba. Láttuk, hogy ilyen lehetőség már a születési folyamatokban is megjelenhet.) Ezért a (8) és (9) relációk valamint a ∑_{k} P (s, t, i, k) ≤ 1

egyenlőtlenségből következik a Kolmogorov-féle forward egyenlet.

Rátérek a backward Kolmogorov-féle egyenletek ismertetése. Ezek bizonyítása az alábbi 1b) és 2b) feltételeken alapul.

1b) feltétel: Minden E_{j} állapothoz létezik olyan c_{j}(t) ≥ 0 függvény, amelyre

lim_{h→0} \frac{1 − P (t − h, t, j, j)}{h} = c_{j}(t) minden t ≥ 0 számra.  (6′)

2b) feltétel: Minden E_{j} és E_{k}, E_{j} ≠ E_{k}, állapotpárhoz és t időponthoz léteznek olyan folytonos p_{j,k}(t) ‘átmenet valószínűség’ függvények, melyekre teljesül, hogy

lim_{h→0} \frac{P (t − h, t, j, k)}{h} = c_{j}(t)p_{j,k}(t) j ≠ k  (7′)

reláció, ahol c_{j}(t) az 1b) feltételben szereplő függvény. Továbbá,

∑_{k: E_{k}∈E} p_{j,k}(t) = 1, p_{j,j}(t) = 0 minden t ≥ 0 számra.

A fenti tulajdonságok természetes megfelelői az 1a) és 2a) tulajdonságoknak. Viszont nem fogalmaztam meg semmilyen a 3a) tulajdonságnak megfelelő feltételt. A következő eredményben megmutatom, hogy a Kolmogorov-féle backward egyenlet érvényességéhez elegendő a fent megfogalmazott 1b) és 2b) tulajdonság.

A Kolmogorov-féle backward differenciálegyenletek. Legyen X(t), t ≥ 0, (nem feltétlenül stacionárius) folytonos idejű Markov-lánc egy E = {E_{1}, E_{2}, … } állapottéren P (s, t, i, j) = P (X(t) = E_{j}|X(s) = E_{i}) átmenetvalószínűségekkel. Ha ezek az átmenetvalószínűségek teljesítik az 1b) és 2b) feltételeket, akkor teljesítik az

\frac{∂P (s, t, i, j)}{∂s} = c_{i}(s)P (s, t, i, j) − c_{i}(s) ∑_{k: E_{k}∈E} P (s, t, k, j)p_{i,k}(s)

egyenleteket is. Ezeket az egyenleket hívják Kolmogorov-féle backward egyenleteknek.

A tétel bizonyítása. Jelen esetben az (1) Chapman–Kolmogorov egyenletet a következő formában fogjuk használni:

P (s − h, t, i, j) = ∑_{k: E_{k}∈E} P (s − h, s, i, k)P (s, t, k, j).

Innen, és a (6′) formulából kapjuk, hogy

\frac{P (s − h, t, i, j) − P (s, t, i, j)}{h}

= \frac{P (s − h, s, i, i) − 1}{h}P (s, t, i, j) + ∑_{k: E_{k}∈E,k≠i} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j). (10)

Az 1b) képlet alapján lim_{h→0} \frac{P (s−h,s,i,i)−1}{h}P (s, t, i, j) = −c_{i}(s)P (s, t, i, j), és a 2b) feltétel

szerint lim_{h→0} \frac{P (s−h,s,i,k)}{h}P (s, t, k, j) = c_{i}(s)p_{i,k}(s)P (s, t, k, j). Ha végrehajtjuk tagonként

a határátmenetet a (10) képlet jobboldalán, megkapjuk a backward Kolmogorov-féle egyenletet. (Vegyük észre, hogy a (10) kifejezés baloldalának a limesze, feltéve, hogy az a limesz létezik −\frac{∂P (s,t,i,j)}{∂s}.) A probléma az, hogy külön indoklást igényel ennek a tagonkénti határátmenet elvégzésének a jogossága. A következő érvelés mutatja, hogy ezt meg lehet tenni anélkül, hogy ehhez külön feltételeket kellene előírni. Ez rendkívül lényeges különbség a forward és backward Kolmogorov-féle egyenletek között.

Tekintsünk egy elég nagy N számot, amelyre az is igaz, hogy N ≥ i. Akkor a (10) formula jobboldalán levő végtelen összeg N-nél nagyobb tagjainak hozadékát a következő módon lehet megbecsülni:

\begin{aligned}0 & ≤ ∑_{k>N} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j) ≤ ∑_{k>N} \frac{P (s − h, s, i, k)}{h} ≤ \frac{1 − ∑_{k=1}^{N} P (s − h, s, i, k)}{h} \\ & = \frac{1 − P (s − h, s, i, i)}{h} − \frac{∑_{k: 1≤k≤N, k≠i} P (s − h, s, i, k)}{h} → c_{i}(s) (1 − ∑_{k=1}^{N} p_{i,k}(s)) . \end{aligned}

(11)

A (11) egyenlőtlenség első sorának végén megint egyenlőtlenséget írtam, mert csupán a

gyengébb ∑_{k=1}^{∞} P (s − h, i, k) ≤ 1 feltételt kívánom használni, nem követelem meg, hogy

pontos egyenlőség teljesüljön. A (11) relációból, a ∑_{k=1}^{∞} p_{i,k}(s) = 1 azonosságból valamint

az 1b) és 2b) tulajdonságokból következik, hogy minden ε > 0 számhoz létezik olyan N_{0}(ε) = N_{0}(ε, i) index, hogy N ≥ N_{0}(ε) esetén

lim sup_{h→0}|\frac{P (s − h, s, i, i) − 1}{h}P (s, t, i, j) + ∑_{k: E_{k}∈E,k≠i} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j)

+ c_{i}(s)P (s, t, i, j) − c_{i}(s) ∑_{k: E_{k}∈E, k≤N} P (s, t, k, j)p_{i,k}(s)| < ε.

Másrészt a Kolmogorov-féle backward egyenlet jobboldalán levő összeg nagy indexű tagjainak az összegére is fel lehet írni a 0 ≤ c_{i}(s) ∑_{k: E_{k}∈E, k>N} P (s, t, k, j)p_{i,k}(s) ≤ ε

egyenlőtlenséget, ha N ≥ N(ε, i). Ezért az utolsó egyenlőtlenségből következik, hogy

lim sup_{h→0}|\frac{P (s − h, s, i, i) − 1}{h}P (s, t, i, j) + ∑_{k: E_{k}∈E,k≠i} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j)

+ c_{i}(s)P (s, t, i, j) − c_{i}(s) ∑_{k: E_{k}∈E} P (s, t, k, j)p_{i,k}(s)| < 2ε.

Mivel ez a reláció minden ε > 0-ra érvényes a (10) azonosság jobboldalán végre lehet hajtani a tagonkénti határátmenet képzést. A tételt bebizonyítottuk.

A Kolmogorov-féle forward és backward egyenletek némileg egyszerűsödnek stacionárius Markov-folyamatok esetében. Ekkor c_{i}(t) = c_{i}, P (s, t, i, j) = P (t − s, i, j), p_{i,j}(t) = p_{i,j}, \frac{∂P (s,t,i,j)}{∂t} = P′(t − s, i, j) és \frac{∂P (s,t,i,j)}{∂s} = −P′(t − s, i, j). A születési folyamat esetén c_{i}(t) = λ_{i}, p_{i,i+1}(t) = 1, p_{i,j}(t) = 0, ha j ≠ i + 1. A születési és halálozási folyamat esetében c_{i}(t) = λ_{i} + μ_{i}, p_{i,i+1}(t) = \frac{λ_{i}}{λ_{i}+μ_{i}}, p_{i,i−1}(t) = \frac{μ_{i}}{λ_{i}+μ_{i}} és p_{i,j}(t) = 0, ha j ≠ i + 1 és j ≠ i − 1.

Tekintsük a születési folyamatok modelljeit. Példát mutatok egy olyan folytonos idejű Markov láncra, amely tekinthető a Kolmogorov-féle backward egyenletet kielégítő születési folyamatnak, de a megfelelő Kolmogorov-féle forward egyenletet nem elégíti ki. Ugyanis e Markov lánc átmenetvalószínűségei teljesítik a forward egyenlet megoldásához szükséges 1a) és 2a) feltételeket, de nem teljesítik a 3a) feltételt. Leírom ezt a modellt, és ismertetem vizsgálatának legfontosabb gondolatait, de nem dolgozom ki a bizonyítás részleteit.

Rögzítsünk valamely pozitív λ_{1}, λ_{2}, … számokat, amelyekre ∑_{j=1}^{∞} \frac{1}{λ_{j}} < ∞, és legyen

λ_{1} = 1. Konstruáljunk minden j = 1, 2, … számra független valószínűségi változók ξ_{j}(1), ξ_{j}(2), … sorozatát, ahol a ξ_{j}(i), 1 ≤ i, j < ∞, valószínűségi változók egymástól

függetlenek, és ξ_{j}(i) exponenciális eloszlású λ_{i} paraméterrel. Legyen ζ_{j} = ∑_{i=1}^{∞} ξ_{j}(i),

1 ≤ j < ∞. Ez a definició értelmes, mert a tekintett véletlen összegek (a ∑_{j=1}^{∞} \frac{1}{λ_{j}} < ∞

feltétel miatt) konvergensek. Legyen T_{0} = T_{0}(1) = 0, T_{k} = T_{k}(1) = ∑_{j=1}^{k} ζ_{j}, és definiáljuk

a T_{k}(l) = T_{k} + ∑_{p=1}^{l−1} ξ_{k+1}(l), 0 ≤ k < ∞, 2 ≤ l < ∞, valószínűségi változókat. Definiáljuk

az X(t), t ≥ 0, pozitív egész értékű sztochasztikus folyamatot az X(t) = l egyenlettel, ha T_{k}(l) ≤ t < T_{k}(l + 1) valamely k = 0, 1, 2, … és l ≥ 1 indexekkel. Ekkor X(t) egy folytonos idejű Markov lánc, amelyre a P (t, j, k) = P (X(t + s) = k|X(s) = j) átmenet valószínűségek teljesítik az 1a), 2a) illetve 1b), 2b) feltételeket c_{j} = λ_{j}, p_{j,j+1} = 1, p_{j,k} = 0, ha k ≠ j + 1 számokkal. Ugyanakkor a Kolmogorov-féle forward egyenlet 3a) feltételét nem teljesíti ez a Markov lánc.

Azt, hogy X(t) miért folytonos idejű Markov lánc csak heurisztikusan magyarázom el. Ha X(t) = i valamely t > 0 időpontban, akkor T_{k}(i) ≤ t és T_{k}(i) + ξ_{k+1}(i + 1) > t valamely 0 ≤ k < ∞ számmal. Az az idő, amit az X(t) folyamat következő lépéséig kell várni, tehát az a legkisebb u > 0 szám, amelyre X(t + u) = i + 1 a ξ_{k+1} exponenciális eloszlású valószínűségi változó örökifjú tulajdonsága miatt nem függ attól, hogy hogyan fejlődött az X(·) folyamat a [0, t] időintervallumban. (Lásd a jegyzet végén megfogalmazott feladatot.)

Az X(t) Markov lánc teljesíti a P (h, i, 1) ≤ 1 − P (h, i, i) − P (h, i, i + 1) = o(h) relációt minden i ≠ 1 számra, ha h → 0, amint ezt a 2a) feltétel előírja. Viszont bármilyen kis h-ra lehet találni olyan i(h) indexet, hogy i ≥ i(h) esetén P (h, i, 1) ≥ \frac{1}{4}, ami nyílván ellentmond a 3a) feltételnek. Ugyanis megválaszthatjuk az i(h) indexet

olyan nagyra, hogy P (∑_{l=i}^{∞} ξ_{j}(l) < \frac{h}{2}) > \frac{1}{2}, ha i > i(h) (ez a valószínűség nem függ a j indextől), és kis h-ra P (ξ_{k+1}(1) > h) ≥ \frac{1}{2}. Ez azt jelenti, hogy ha X(t) = i, akkor az X(t) Markov lánc legalább \frac{1}{2} valószínűséggel \frac{h}{2} időn belül az 1 állapotba kerül, és ezután legalább \frac{1}{2} valószínűséggel több mint h ideig ott is marad.

A fenti modellben azt az esetet írtuk le formálisan, amelyben amikor a tiszta születési folyamat populációja végtelen nagyságúvá növekszik, akkor az azonnal megszűnik, és helyette egy új egy tagú populációval induló tiszta születési folyamat keletkezik.

Röviden, a bizonyítások elhagyásával ismertetem, milyen megoldást ad a Kolmogorov-féle forward és backward egyenlet a születési folyamat átmenetvalószínűségeinek a kiszámítására. Láttuk, hogy a forward egyenlet segítségével egyértelműen rekurzív módon egyértelműen kiszámolhatók az átmenetvalószínűségek. Be lehet látni (nem triviális módon) azt is, hogy ezek a megoldások teljesítik a Chapman–Kolmogorov egyenletet.

A Kolmogorov-féle backward egyenlet nem oldható meg olyan explicit módszerrel, mint a forward egyenlet. De be lehet látni (szintén nem triviális módon), hogy a forward egyenlet megoldása egyben megoldása a backward egyenletnek is. Felmerül a kérdés, van-e a backward egyenletnek más megoldása is. Mint az előbb tárgyalt példa mutatja, a válasz igenlő abban az esetben, ha a születési folyamat olyan, hogy pozitív valószínűséggel véges idő alatt eljut a végtelenbe. Sőt a backward egyenletnek olyan új megoldása is van, amelyik teljesíti a Chapman–Kolmogorov egyenletet, tehát valószínűségszámítási szempontból is érdekes.

Az előbb vázlatosan tárgyalt példa hátterében egy a Markov-folyamatok elméletében fontos probléma rejtőzik. A tekintett Markov-lánc állapotterének a végtelen határpontja, és felmerül a kérdés, hogyan fejlődik a Markov-lánc azután, hogy egy határpontját elérte. Ez nehéz kérdés, és mint a fenti példa mutatja, már a legegyszerűbb modellekben is megjelenik ez a nehézség.

Végül ismertetek egy feladatot, amely segíthet megérteni, hogy miért Markov folyamat az a sztochasztikus folyamat, amelyet mint a Kolmogorov-féle forward egyenletet ki nem elégítő születési folyamatra adott példát tekintettünk.

Feladat:

Legyen Z nem negatív valószínűségi változó, ξ egy tőle független exponenciális eloszlású valószínűségi változó λ > 0 paraméterrel. Ekkor tetszőleges t ≥ 0 és u > 0 számokra

\frac{P (Z ≤ t, Z + ξ > t + u)}{P (Z ≤ t, Z + ξ > t)} = e^{−λu} = P (ξ > u).

Megoldás. Jelölje F (x) Z eloszlásfüggvényét. Ekkor

\frac{P (Z ≤ t, Z + ξ > t + u)}{P (Z ≤ t, Z + ξ > t)} = \frac{∫_{0}^{t} e^{−λ(t+u−s)}F ( ds)}{∫_{0}^{t} e^{−λ(t−s)}F ( ds)} = e^{−λu} = P (ξ > u).