\magnification=\magstep1
\hsize=16truecm

\input amstex
\TagsOnRight
\parindent=20pt
%\parskip=2.5pt plus 1.2pt
\parskip=3pt plus 1pt
\define\A{{\bold A}}
\define\BB{{\bold B}}
\define\DD{{\bold D}}
\define\T{{\bold T}}
\define\U{{\bold U}}
\define\({\left(}
\define\){\right)}
\define\[{\left[}
\define\]{\right]}
\define\e{\varepsilon}
\define\oo{\omega}
\define\const{\text{\rm const.}\,}
\define\supp {\sup\limits}
\define\inff{\inf\limits}
\define\summ{\sum\limits}
\define\prodd{\prod\limits}
\define\limm{\lim\limits}
\define\limsupp{\limsup\limits}
\define\liminff{\liminf\limits}
\define\bigcapp{\bigcap\limits}
\define\bigcupp{\bigcup\limits}
\define\Var{\text{\rm Var}\,}
\define\Cov{\text{\rm Cov}\,}
\def\Re{\text{\rm Re}\,}
\def\Im{\text{\rm Im}\,}
\font\script =cmcsc10

\beginsection Markov-l\'ancok \'es Markov-folyamatok

T\'argyalni fogom a Markov-l\'ancok \'es Markov-folyamatok
elm\'elet\'et, amely a
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-sz\'a\-m\'{\i}\-t\'as egyik
fontos r\'esze. Kiss\'e inform\'alisan a Markov-folyamatokat
\'ugy jellemezhetj\"uk, mint olyan sztochasztikus
folyamatokat, amelyek j\"ov\H{o}beli viselked\'es\'er\H{o}l egy
adott id\H{o}pontig \"osszegy\"ujt\"ott in\-for\-m\'a\-ci\'ot
a folyamat viselked\'ese a megfigyelt id\H{o}\-in\-ter\-val\-lum
v\'eg\-pont\-j\'a\-ban teljes m\'ert\'ekben tartalmazza. Ez azt
jelenti, hogy annak felt\'eteles va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge,
hogy valamely a folyamatnak csak a j\"ov\H{o}beli viselked\'es\'et\H{o}l
f\"ugg\H{o} esem\'eny bek\"ovetkezik, felt\'eve, hogy a
Markov-folyamat  a jelen id\H{o}pontban egy adott \'ert\'eket vesz fel,
megegyezik ugyanennek az esem\'enynek a felt\'eteles
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\'e\-vel, felt\'eve a
folyamat teljes m\'ultbeli viselked\'es\'et.  Megfogalmazom ezt az
\'all\'{\i}t\'ast pontosabban is. A pontos definici\'oban
megjelenik a a felt\'eteles val\'osz\'{\i}n\H{u}s\'eg meglehet\H{o}sen
bonyolult, a Radon--Nykodim deriv\'altak l\'etez\'es\'en alapul\'o
\'altal\'anos fogalma. Viszont abban az esetben, amikor a
Markov-folyamat csak v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket vesz fel, elegend\H{o} a felt\'eteles
val\'osz\'{\i}n\H{u}s\'eg egyszer\H{u}, a bevezet\H{o}
val\'osz\'{\i}n\H{u}s\'egsz\'am\'{\i}t\'as el\H{o}ad\'asban is
ismertett fogalm\'anak az ismerete \'es haszn\'alata. Az ilyen
egyszer\H{u}bb Mar\-kov-fo\-lya\-ma\-to\-kat Markov-l\'ancoknak
nevezik az irodalomban.

A k\"ovetkez\H{o} elj\'ar\'ast fogom k\"ovetni. Ismertetem a
Markov-folyamat definici\'oj\'at az \'altal\'anos esetben, de
r\'eszletesen
csak a Markov-l\'ancok elm\'elet\'et fogom t\'argyalni, ahol sok
\'erdekes \'es tanuls\'agos k\'erd\'es megjelenik, viszont nincs
sz\"uks\'eg arra, hogy neh\'ez m\'ert\'ekelm\'eleti probl\'em\'akkal
foglalkozzunk. El\H{o}sz\"or megadom a Markov-folyamat \'altal\'anos
definici\'oj\'at. Egy Markov-folyamat alkalmas tulajdons\'agokkal
rendelkez\H{o}, spe\-ci\-\'a\-lis sztochasztikus folyamat, amely
egy param\'etert\H{o}l f\"ugg, amelyet id\H{o}nek fogok ne\-vez\-ni.
K\"ul\"on t\'argyalom azt az esetet, amelyben ez a param\'eter
tartom\'any (id\H{o}) a nem negat\'{\i}v val\'os sz\'amok halmaza,
az ilyen Markov-folyamatot folytonos idej\H{u}
Markov-folyamatnak h\'{\i}vj\'ak, \'es azt az esetet, amikor a
param\'eter tartom\'any a pozit\'{\i}v eg\'esz sz\'amok halmaza. Az
ilyen Markov-folyamatokat
diszkr\'et idej\H{u} Markov-folyamatnak h\'{\i}vj\'ak.

\medskip\noindent
{\bf Folytonos idej\H{u} Markov-folyamat definici\'oja.} {\it Legyen
adva egy $X(t)$, $t\ge 0$, szto\-chasz\-ti\-kus folyamat valamely
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amely
\'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o} t\'eren veszi fel.
Azt mondjuk, hogy $X(t)$ $(E,\Cal E)$-t\'erbeli \'ert\'ek\H{u}
folytonos idej\H{u} Markov-folyamat, ha minden $0\le s\le t<\infty$
sz\'amp\'arra \'es $\Cal E$-m\'erhet\H{o} $A\in \Cal E$ halmazra
teljes\"ul a
$$
P(X_t\in A|\Cal B(X_s))=P(X_t\in A|\Cal B(X_u, u\le s))
$$
azonoss\'ag, ahol $\Cal B(X_s)$ az $X_s$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, $\Cal B(X_u, u\le s)$ pedig az \"osszes $X_u$, $u\le s$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal gener\'alt
$\sigma$-algebr\'at jel\"oli.

Kiss\'e \'altal\'anosabban, legyen adva egy $(E,\Cal E)$ t\'erbeli
\'ert\'ekeket felvev\H{o} $X(t)$, $t\ge 0$, sztochasztikus folyamat,
valamint $\sigma$-algebr\'ak n\"ovekv\H{o} $\Cal F_t$, $t\ge0$,
csal\'adja egy $(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi
mez\H{o}n, azaz legyen $\Cal F_s\subset\Cal F_t$, ha $s\le t$, \'es
legyen $X_t$ $\Cal F_t$-m\'erhet\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o, $t\ge0$.
Teljes\"ulj\"on ezenk\'{\i}v\"ul a $\Cal F_t\subset\Cal A$
rel\'aci\'o minden $t\ge0$ sz\'amra. Az $(X_t,\Cal F_t)$, $t\ge0$,
rendszer folytonos idej\H{u} Markov-folyamat, ha
$$
\align
P(X_t\in A|\Cal B(X_s))=P(X_t\in A|\Cal F_s) \quad &\text{ minden
$0\le s\le t<\infty$ sz\'amra,}\\
&\qquad \text{\'es $A\in \Cal E$ halmazra.}
\endalign
$$
}

\medskip\noindent
{\bf Diszkr\'et idej\H{u} Markov-folyamat definici\'oja.} {\it Legyen
adva egy $X_n$, $n=0,1,\dots$, szto\-chasz\-ti\-kus folyamat valamely
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amely
\'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o} t\'eren veszi fel.
Azt mondjuk, hogy $X_n$ $(E,\Cal E)$-t\'erbeli \'ert\'ek\H{u}
diszkr\'et idej\H{u} Markov-folyamat, ha minden $0\le m\le n<\infty$
sz\'amra \'es $\Cal E$-m\'erhet\H{o} $A\in \Cal E$ halmazra
teljes\"ul a
$$
P(X_n\in A|\Cal B(X_m))=P(X_n\in A|\Cal B(X_k, 0\le k\le m))
$$
azonoss\'ag, ahol $\Cal B(X_m)$ az $X_m$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, $\Cal B(X_k, 0\le k\le m)$ pedig az \"osszes $X_k$,
$0\le k\le m$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal gener\'alt
$\sigma$-algebr\'at jel\"oli.

Kiss\'e \'altal\'anosabban tekints\"unk egy $(E,\Cal E)$ t\'erbeli
\'ert\'ekeket felvev\H{o} $X_n$, $n=0,1,\dots$, sztochasztikus
folyamatot, \'es ezenk\'{\i}v\"ul $\sigma$-algebr\'ak n\"ovekv\H{o}
$\Cal F_n$, $n=0,1,\dots$, csal\'adj\'at egy $(\Omega, \Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, azaz legyen $\Cal F_m\subset
\Cal F_n$, ha $m\le n$, \'es legyen $X_n$ $\Cal F_n$-m\'erhet\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o, $n=1,2,\dots$.
Teljes\"ulj\"on ezenk\'{\i}v\"ul a $\Cal F_n\subset\Cal A$
rel\'aci\'o minden $n=0,1,\dots$ sz\'amra. Az $(X_n,\Cal F_n)$,
$n=1,2\dots$, rendszer diszkr\'et idej\H{u} Markov-folyamat, ha
$$
\align
P(X_n\in A|\Cal B(X_m))=P(X_n\in A|\Cal F_m) \quad &\text{ minden
$0\le m\le n<\infty$ sz\'amra,}\\
&\qquad \text{\'es $A\in \Cal E$ halmazra.}
\endalign
$$
}\medskip\noindent
{\it 1.~megjegyz\'es:} Az $\Cal F_t=\Cal B(X_u,\,u\le t)$ illetve
$\Cal F_n=\Cal B(X_k,\,k\le n)$ v\'alaszt\'assal te\-kint\-het\-j\"uk
a Markov-folyamatok id\H{o}ben folytonos illetve diszkr\'et
definici\'oit az \'al\-ta\-l\'a\-nos definici\'o speci\'alis eseteinek.

\medskip\noindent
{\it 2.~megjegyz\'es:} A Markov-folyamatok definici\'oj\'aban
szerepl\H{o} $P(X_t\in A|\Cal B(X_s))$ illetve $P(X_n\in A|\Cal B(X_m))$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek megadhat\'oak, mint az
$X_s=x$ illetve $X_m=x$ felt\'etelek valamint az $s$ \'es $t$ illetve
$m$ \'es $n$ id\H{o}pontok \'es $A\in \Cal E$ halmazok f\"uggv\'enyei.
A $P(X_t\in A|X_s=x)=P_{s,t}(x,A)$ illetve $P(X_n\in A|X_m=x)
=P_{m,n}(x,A)$, $x\in E$, $A\in \Cal E)$, $s\le t$ illetve $m\le n$
mennyis\'egeket \'atmenet val\'osz\'{\i}n\H{u}s\'egnek h\'{\i}vj\'ak.
Ezek szeml\'eletes tartalma a k\"ovetkez\H{o}: A $P_{s,t}(x,A)$, illetve
$P_{m,n}(x,A)$ \'atmenet val\'osz\'{\i}n\H{u}s\'eg  megadja annak
val\'osz\'{\i}n\H{u}s\'eg\'et, hogy  a Markov-folyamat a $t$ illetve
$n$ id\H{o}pontban az $A$ halmaz valamely pontj\'aba jut, felt\'eve,
hogy az az $s<t$ illetve $m<n$ id\H{o}pontban az $x$ pontban
tart\'ozkodott. A Markov tulajdons\'ag azt jelenti, hogy ha tudom
milyen m\'odon jutott a Markov-folyamat az $x$ pontba az $s$ illetve
$m$ id\H{o}pontban, akkor ez a plusz ismeret nem befoly\'asolja a
fenti felt\'eteles val\'osz\'{\i}n\H{u}s\'eg \'ert\'ek\'et.

\medskip\noindent
{\it 3.~megjegyz\'es:} A tov\'abbiakban a
Markov-folyamatokat azok $P_{s,t}(x,A)$, $0\le s<t$, $x\in E$, 
$A\in \Cal E$, (a folytonos
idej\H{u}) illetve $P_{m,n}(x,A)$, $0\le m\le n$, $m,n=0,1,2,\dots$,
$x\in E$, $A\in\Cal E$, \'atmenet val\'osz\'{\i}n\H{u}s\'eg 
f\"uggv\'enyekkel adjuk meg (a diszkr\'et idej\H{u}  esetben). Az 
\'atmenet val\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik a k\"ovetkez\H{o}
tulajdons\'agokat.
\medskip

\item{a)}  R\"ogz\'{\i}tett $x\in E$ pontra $P_{s,t}(x,\cdot)$, illetve
$P_{m,n}(x,\cdot)$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az $(E,\Cal
E)$ t\'eren.

\item{b)} R\"ogz\'{\i}tett $A\in \Cal A$ halmazra
$P_{s,t}(\cdot,A)$ illetve $P_{m,n}(\cdot,A)$ m\'erhet\H{o}
f\"uggv\'eny az $(E,\Cal E)$ t\'eren.


\item{c)} $P_{s,s}(x,A)=1$, ha $x\in A$ \'es
$P_{s,s}(x,A)=0$, ha $x\notin A$. Hasonl\'oan,
$P_{m,m}(x,A)=1$, ha $x\in A$ \'es
$P_{m,m}(x,A)=0$, ha $x\notin A$.

A k\"ovetkez\H{o} d) pontban egy olyan tulajdons\'agot fogalmazok
meg, amely azt fejezi ki, hogy egy $X_t$ Markov folyamat 
\'atmenet val\'osz\'{\i}n\H{u}s\'egeit a $P_{s,t}(x,A)$ 
\'atmenet val\'osz\'{\i}n\H{u}s\'eg f\"uggv\'enyek adj\'ak meg. 
E tulajdons\'ag megfogalmaz\'as\'aban $\mu_s$ jel\"oli az $X_s$ 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eloszl\'as\'at.

\item{d)} $P_{s,t}(x,A)=P(X_t(\oo)\in A|X_s(\oo)=x)$, azaz
$$
P(X_t(\oo)\in A,\,X_s\in B)=\int_B P_{s,t}(x,A)\mu_s(\,dx),
$$
minden $A\in \Cal E$ \'es $B\in\Cal E$ halmazra, ahol
$\mu_s$ az $X_s$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
eloszl\'asa.\hfill\break 
Hasonl\'oan $P_{m,n}(x,A)=P(X_n(\oo)\in A|X_m(\oo)=x)$.


\medskip
Folytonos idej\H{u} Markov folyamatok eset\'en feltesz\"unk m\'eg
egy plusz feltev\'est, amely azt fejezi ki, hogy a Markov folyamat
kis id\H{o} alatt keveset v\'altozik.

\medskip
\item{e)} A Markov folyamat \'ert\'ekeit egy teljes szepar\'abilis
metrikus t\'erben veszi fel, (ahol van topol\'ogia), \'es
$\limm_{t\to s+0}P_{s,t}(x,A)=1$ minden az $x$ pontot tartalmaz\'o
ny\'{\i}lt $A$ halmazra.

\medskip
Ezek a tulajdons\'agok term\'eszetesek. Be lehet l\'atni, hogy minden
sz\'ep tulajdons\'ag\'u t\'eren defini\'alt Markov-folyamatra
(p\'eld\'aul ez a helyzet, ha $(E,\Cal E)$ teljes szepar\'abilis
metrikus t\'er a szok\'asos Borel $\sigma$-algebr\'aval) meg lehet
adni a felt\'eteles
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-ket \'ugy,
hogy teljes\'{\i}ts\'ek a fenti tulajdons\'agokat. Ennek a t\'enynek
a bizony\'{\i}t\'as\'at, amely a regul\'aris felt\'eteles eloszl\'as
l\'etez\'es\'enek a bizony\'{\i}t\'as\'an alapul nem t\'argyalom.
\medskip

\'Altal\'aban \'ugynevezett stacion\'arius Markov-folyamatokkal
foglalkoznak az iro\-da\-lom\-ban.  Ha nem
hangs\'ulyozz\'ak k\"ul\"on az ellenkez\H{o}j\'et, akkor
Mar\-kov-fo\-lya\-ma\-ton stacion\'arius Markov-fo\-lya\-ma\-tot
\'ertenek.
Mi is \'{\i}gy fogunk tenni a tov\'abbiakban. A stacion\'arius
Markov-folyamatok definici\'oja a k\"ovetkez\H{o}:

\medskip\noindent
{\bf Stacion\'arius Markov-folyamat definici\'oja.} {\it Egy $X_t$,
$t\ge0$, (vagy $(X_t,\Cal F_t)$ \'al\-ta\-l\'a\-no\-s\'{\i}\-tott)
folytonos idej\H{u} Markov-folyamatot folytonos idej\H{u}
stacion\'arius Markov-folyamatnak nevez\"unk, ha a folyamat
\'atmenetval\'osz\'{\i}n\H{u}s\'egei teljes\'{\i}tik a
$P_{s,t}(x,A)=P_{t-s}(x,A)$ azonoss\'agot, minden $0\le s\le t$
sz\'amp\'arra, azaz a $P_{s,t}(x,A)$
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg csak az $s$
\'es $t$ id\H{o}pont k\"oz\"ott eltelt id\H{o}t\H{o}l f\"ugg.

Egy $X_n$, $n=0,1,\dots$, (vagy $X_n,\Cal F_n)$
\'altal\'anos\'{\i}tott) diszkr\'et idej\H{u} Markov-fo\-lya\-ma\-tot
diszkr\'et idej\H{u} stacion\'arius Markov-folyamatnak nevez\"unk,
ha az \'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei
teljes\'{\i}tik a $P_{m,n}(x,A)=P_{n-m}(x,A)$ azonoss\'agot minden
$0\le m\le n$ sz\'amp\'arra, azaz a $P_{m,n}(x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'eg csak az $m$ \'es $n$ id\H{o}pont
k\"oz\"ott eltelt id\H{o}t\H{o}l f\"ugg.}

\medskip\noindent
{\bf Stacion\'arius Markov-folyamatok
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek
definici\'oja.} {\it Egy \'ert\'ekeit valamely $(E,\Cal E)$
m\'erhet\H{o} t\'eren felvev\H{o} $X_t$, $t\ge0$,  folytonos idej\H{u}
stacion\'arius Markov-folyamat \'atmenetval\'osz\'{\i}n\H{u}s\'eg\'en
a
$$
P(t,x,A)=P(X_{u+t}\in A|X_u=x)=P_{u,u+t}(x,A),\qquad t\ge0,\quad x\in
E, \quad A\in \Cal A,
$$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek rendszer\'et
\'ertj\"uk, amely a stacion\'arius tulajdons\'ag miatt nem f\"ugg az
$u\ge0$ param\'etert\H{o}l.

Hasonl\'ok\'eppen egy \'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o}
t\'eren felvev\H{o} $X_n$, $n=0,1,\dots$, diszkr\'et idej\H{u}
stacion\'arius Markov-folyamat \'atmenetval\'osz\'{\i}n\H{u}s\'eg\'en
a
$$
P(n,x,A)=P(X_{n+m}\in A|X_m=x)=P_{m,n+m}(x,A),\quad
n=0,1,\dots,\; x\in E, \; A\in \Cal A,
$$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek rendszer\'et \'ertj\"uk,
amely a stacion\'arius tulajdons\'ag miatt nem f\"ugg az $m=1,2,\dots$
param\'etert\H{o}l.}

\medskip\noindent
{\bf Megjegyz\'es:}\/ {\it A stacion\'arius Markov-folyamatokra
az el\H{o}bb bevezetett $P(t,x,A)$ \'es
$P(n,x,A)$, $x\in E$, $A\in\Cal E$, $n=0,1,2,\dots$,
\'atmenetval\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik a
k\"ovetkez\H{o} Chapman--Kolmogorov egyenletnek (vagy azonoss\'agnak) 
nevezett azo\-nos\-s\'a\-go\-kat:
$$
P(s+t,x,A)=\int P(t,y,A)P(s,x,\,dy) \quad\text{ha }
s\ge0 \text{ \'es } t\ge0. \tag1
$$
\'es
$$
\align
P(m+n,x,A)=\int P(n,y,A)P(m,x,\,dy) \quad&\text{minden }
m=0,1,\dots\\
&\quad\text{\'es } n=0,1,\dots \text{ sz\'amra}. \tag2
\endalign
$$
Ezenk\'{\i}v\"ul a $P(t,x,A)$ illetve $P(n,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik az al\'abbi
tulajdons\'agokat: Minden r\"ogz\'{\i}tett $t$ illetve $n$
id\H{o}pontra \'es $x\in E$ pontra $P(t,x,\cdot)$ illetve
$P(n,x,\cdot)$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek. Minden $t$
illetve $n$ id\H{o}pontra \'es $A\in \Cal E$ halmazra $P(t,\cdot,A)$
illetve $P(n,\cdot,A)$ m\'erhet\H{o} f\"uggv\'enyek az
$(E,\Cal E)$ t\'eren. Tov\'abb\'a mind a folytonos mind a diszkr\'et
idej\H{u} Markov-folyamatok eset\'en teljes\"ul a $P(0,x,A)=1$, ha
$x\in A$ \'es $P(0,x,A)=0$, ha $x\notin A$ rel\'aci\'o. A felsorolt
tulajdons\'agok jellemzik is a stacion\'arius Markov-folyamatokat,
azaz minden (\'ert\'ekeit sz\'ep topol\'ogiai tulajdons\'agokkal
rendelkez\H{o} t\'eren, (p\'eld\'aul teljes szepar\'abilis metrikus
t\'eren) felvev\H{o} stacion\'arius Markov-folyamathoz meg lehet
adni a felt\'eteles eloszl\'asokat a fenti tulajdons\'agokkal
rendelkez\H{o} \'atmenetval\'osz\'{\i}n\H{u}s\'egekkel.}

\medskip
Val\'oj\'aban \'erv\'enyes a Chapman--Kolmogorov egyenlet
k\"ovetkez\H{o} \'altal\'anosabb alak\-ja is nem felt\'etlen\"ul
stacion\'arius Markov folyamatokra:
$$
P_{s,t}(x,A)=\int P_{u,t}(y,A)P_{s,u}(x,\,dy) \quad\text{ha }
0\le s\le u\le t. \tag$1'$
$$
\'es
$$
\align
P_{m,n}(x,A)=\int P_{l,n}(y,A)P_{m,l}(x,\,dy) \quad\text{minden }
0\le m\le l\le n, \text{ eg\'esz sz\'amh\'armasra}. \tag$2'$
\endalign
$$

A fent megfogalmazott, az irodalomban Chapman--Kol\-mo\-go\-rov
egyen\-let\-nek ne\-ve\-zett (1) illetve (2) azonoss\'agok (\'es
azok $(1')$ illetve $(2')$ \'al\-ta\-l\'a\-no\-s\'{\i}\-t\'a\-sai)
nagyon ter\-m\'e\-sze\-tes \'all\'{\i}t\'asok. A Chapman--Kolmogorov
egyenlet tekinthet\H{o} a Markov-folyamatok el\-m\'e\-le\-t\'e\-ben
a legfontosabb azonoss\'agnak. Ennek prec\'{\i}z
bizony\'{\i}t\'as\'ahoz sz\"uks\'eg van arra, hogy \'altal\'anos
(Radon--Nykodim deriv\'altak seg\'{\i}ts\'eg\'evel defini\'alt)
felt\'eteles va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel sz\'amoljunk,
illetve fel kell haszn\'alni azt a t\'enyt, hogy az
\'atmenetval\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik a (2) k\'eplet
ut\'an megfogalmazott tulajdons\'agokat. Mivel az
ilyen technikai r\'eszletek t\'argyal\'as\'at minim\'alisra
k\'{\i}v\'anom szor\'{\i}tani, ez\'ert ezt a sz\'amol\'ast csak a
kieg\'esz\'{\i}t\'esben ismertetem. A sz\'amunkra legfontosabb
esetben, amikor Markov-l\'ancokat tekint\"unk, elv\'egzem ezt
a l\'enyegesen egyszer\H{u}bb sz\'amol\'ast az el\H{o}ad\'as f\H{o}
r\'esz\'eben.

\medskip\noindent
{\it Megjegyz\'es.} Legyen adva $P_{s,t}(x,A)$, $0\le s<t<\infty$,
$x\in E$ \'es $A\in\Cal E$ az a)--d) tulajdons\'agot valamint az $(1')$ 
Chapman--Kolmogorov egyenletet teljes\'{\i}t\H{o}
\'at\-me\-net va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek egy rendszere 
valamint egy $\mu_0$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az 
$(E,\Cal E)$ t\'eren. Ekkor
l\'etezik olyan $X_t$, $t\ge0$, \'ert\'ekeit az $(E,\Cal E)$ t\'eren
felvev\H{o} Markov folyamat, amelyre $P(X_0\in A)=\mu_0(A)$ minden 
$A\in \Cal E$ halmazra, \'es $P(X_t\in A|X_s=x)=P_{s,t}(x,A)$ minden
$0\le s<t<\infty$ id\H{o}pontokra, $x\in E$ pontra \'es $A\in\Cal E$
halmazra. Hasonl\'o \'all\'{\i}t\'as \'erv\'enyes id\H{o}ben diszkr\'et
Markov folyamatokra is.

Ilyen $X_t$ Markov folyamatokat defini\'alhatunk azon az $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi me\-z\H{o}n, ahol $\Omega$ a sz\'amegyenesen
defini\'alt f\"uggv\'enyek tere, $\Cal A$ az 
$\{x(\cdot)\colon\; x(t_1)\in A_1,x(t_2)\in A_2,\dots, x(t_k)\in A_k\}$ 
alak\'u halmazok \'altal gener\'alt
$\sigma$-algebra, $X_t(\oo)=x(t)$, ha $\oo=x(\cdot)$, a $P$
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket pedig a k\"ovetkez\H{o} formula
defini\'alja. Legyen $0=t_0<t_1<\cdots<t_k<\infty$, $A_j\in\Cal E$, 
$0\le j\le k$. Ekkor
$$
\align
&P(\{x(\cdot)\colon\;x(t_0)\in A_0,x(t_1)\in A_1,\dots, x(t_k)\in A_k\})\\
&\qquad=\int_{A_0}\mu_0(\,dx_0)\biggl(\int_{A_1}P_{t_0,t_1}(x_0,dx_1)
\biggl(\int_{A_2} P_{t_1,t_2}(x_1,\,dx_2) \cdots \\   
&\qquad\qquad \biggl(\int_{A_{k-1}} P_{t_{k-2},t_{k-1}}(x_{k-2},\,dx_{k-1})
\(\int_{A_k} P_{t_{k-1},t_k}(x_{k-1},dx_k)\)\biggr)\cdots\biggr)\biggr).
\endalign
$$
Egy nem triv\'{\i}\'alis m\'ert\'ekelm\'eleti eredm\'eny alapj\'an
(Tulcea--Ioniescu t\'etel) ilyen m\'odon egy val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'eket defini\'alunk. A Chapman--Kolmogorov egyenlet
teljes\"ul\'es\'et az\'ert kellett megk\"ovetelni, mert ez biztos\'{\i}tja,
hogy a defini\'alt v\'eges dimenzi\'os eloszl\'asok
konzisztensek. (P\'eld\'aul
$P(X_{t_1}\in A,X_{t_3}\in B)=P(X_{t_1}\in A, X_{t_2}\in E,X_{t_3}\in B)$.)
A r\'eszletek bizony\'{\i}t\'as\'at\'ol eltekintek.

\medskip
Legyen adva egy diszkr\'et idej\H{u} Markov-folyamat, amely
\'ert\'ekeit valamely $(E,\Cal E)$ t\'eren veszi fel. A (2)
rel\'aci\'o szerint a Markov-folyamat $P(x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egei teljes\'{\i}tik a
$$
P(n+1,x,A)=\int P(1,y,A)P(n,x,\,dy) \quad
\text{ minden } n=0,1,\dots \text{ sz\'amra.} \tag3
$$
azonoss\'agot. Ez azt jelenti, hogy ha megadjuk a $P(1,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket, akkor $n$ sze\-rin\-ti
indukci\'oval ki tudjuk sz\'amolni a $P(n,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket minden $n=0,1,\dots$
sz\'amra.


\medskip
\"Osszefoglal\'ask\'ent megfogalmazom a k\"ovetkez\H{o} \'all\'{\i}t\'ast.

\medskip\noindent
{\bf A Markov-folyamatok tulajdons\'agair\'ol sz\'ol\'o
\'all\'{\i}t\'asok \"osszefoglal\'asa.}
{\it Legyen adva egy $(X_t,\Cal F_t)$, $t\ge0$, folytonos vagy egy
$(X_n,\Cal F_n)$, $n=0,1,2,\dots$, diszkr\'et idej\H{u} Markov-folyamat.
(Feltessz\"uk, hogy ez a Markov-folyamat egy sz\'ep topol\'ogiai
tulajdons\'agokkal rendelkez\H{o} t\'eren veszi fel az \'ert\'ekeit.)
Ekkor ennek a Markov-folyamatnak l\'eteznek olyan $P_{s,t}(x,A)$
illetve $P_{m,n}(x,A)$ \'atmenetval\'osz\'{\i}n\H{u}s\'egei, amelyek
teljes\'{\i}tik a 3. megjegyz\'esben megfogalmazott a), b), c) \'es d)
tulajdons\'agokat valamint az ($1'$) illetve ($2'$) formul\'aban
megfogalmazott Chapman--Kolmogorov egyenletet is.

Igaz a fenti \'all\'{\i}t\'as k\"ovetkez\H{o} itt nem bizony\'{\i}tott
megford\'{\i}t\'asa is. Legyen adva $P_{s,t}(x,A)$, $0\le s\le t$, vagy
$P_{m,n}(x,A)$, $\le m\le n$, f\"uggv\'enyeknek egy olyan rendszere,
amely teljes\'{\i}ti a 3. megjegyz\'esben
megfogalmazott a), b), c) \'es d) tulajdons\'agokat, (folytonos id\H{o}
est\'en az e) tulajdons\'agot is) \'es az ($1'$) illetve
($2'$) formul\'aban megfogalmazott Chapman--Kolmogorov
egyenletet. Ez \'ugy \'ertend\H{o}, hogy adva van egy $(E,\Cal
E)$ t\'er, ahol $\Cal E$ egy az $E$ t\'eren defini\'alt
$\sigma$-algebra, \'es a $P_{s,t}(x,A)$ illetve $P_{m,n}(x,A)$
f\"uggv\'enyek minden $x\in E$ pontra $A\in\Cal E$ halmazra
\'es $0\le s\le t$ val\'os, illetve $0\le m\le n$ eg\'esz sz\'amokra
defini\'alva vannak. Ekkor l\'etezik olyan $X_t$, $t\ge0$, folytonos,
illetve olyan $X_n$, $n=0,1,2,\dots$, diszkr\'et idej\H{u},
\'ert\'ekeit az $(E,\Cal E)$ t\'erben felvev\H{o}
Markov-folyamat, amely\-nek a $P_{s,t}(x,A)$ illetve a $P_{m,n}(x,A)$
f\"uggv\'enyek az \'atmenetval\'osz\'{\i}n\H{u}s\'egei. S\H{o}t,
a 0 id\H{o}pontbeli $X_0$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
eloszl\'as\'at tetsz\H{o}leges m\'odon el\H{o}\'{\i}rhatjuk.}

\medskip
A k\"ovetkez\H{o} definici\'oban bizonyos az irodalomban elterjedt
sz\'ohaszn\'alatot vezetek be.

\medskip\noindent
{\bf Markov-l\'ancok definici\'oja.} {\it Ha egy (folytonos vagy
diszkr\'et idej\H{u} Markov-folyamat egy $(E,\Cal E)$ m\'erhet\H{o}
t\'eren veszi fel az \'ert\'ekeit, akkor ezt az $(E,\Cal E)$ teret a
Markov-folyamat \'allapotter\'enek h\'{\i}vjuk. Egy olyan Markov
folyamatot, amelynek \'allapottere egy v\'eges vagy
megsz\'aml\'alhat\'o sz\'amoss\'ag\'u halmaz (a diszkr\'et
topol\'ogi\'aval) Markov-l\'ancnak nevezz\"uk. Ha $E_1$, $E_2$,\dots
jel\"oli a Markov l\'anc v\'altoz\'oi \'altal felvett \'ert\'ekeket akkor
k\'epletben kifejezve egy diszkr\'et idej\H{u} stacion\'arius Markov l\'anc
olyan sztochasztikus folyamat, amely teljes\'{\i}ti a 
$$
\align
&P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n},\dots,X_0=E_{j_0})=
P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n})\\
&\qquad =P(X_1=E_{j_{n+1}}|X_0=E_{j_n})
\endalign
$$
azonoss\'agot.}

\medskip
A tov\'abbiakban (stacion\'arius) Markov-l\'ancokkal fogunk
foglalkozni, azokon bel\"ul is els\H{o}sorban diszkr\'et idej\H{u}
Markov-l\'ancokkal. A k\"ovetkez\H{o} jel\"ol\'est fogom haszn\'alni.
Jel\"olje az \'allapotokat $E_1,E_2,\dots$, \'es legyen
$P(n,j,k)=P(X_{n+m}=E_k|X_m=E_j)$, $m=1,2,\dots$, $n=0,1,2,\dots$
azaz $P(n,j,k)$ annak felt\'eteles val\'osz\'{\i}n\H{u}s\'ege, hogy
a Markov-l\'anc az $n+m$ id\H{o}pontban az $E_k$ \'allapotba jut,
felt\'eve, hogy az $m$ id\H{o}pontban az $E_j$ \'allapotban volt.
Haszn\'aljuk tov\'abb\'a a $P(j,k)=P(1,j,k)$ jel\"ol\'est, azaz az
1-l\'ep\'eses $P(1,j,k)$ \'atmenetval\'osz\'{\i}n\H{u}s\'egekben
hagyjuk el az 1 koordin\'at\'at. Fel\'{\i}rom a Chapman--Kolmogorov
egyenletet Markov-l\'ancokra a fent bevezetett jel\"ol\'essel.
$$
P(n+m,j,k)=\sum_l P(n,j,l)P(m,l,k) \tag4
$$
ahol az \"osszegz\'es v\'egigfut az \"osszes olyan $l$ indexen,
amelyre az $E_l$ \'allapot l\'etezik. Jel\"ol\'eseink szerint vagy
l\'etezik egy olyan $N$ pozit\'{\i}v eg\'esz sz\'am, hogy
$E_1,\dots,E_N$ az \"osszes lehets\'eges \'allapotok halmaza,
\'es ekkor $1\le l\le N$ az \"osszegz\'es a (4) formul\'aban, vagy
megsz\'aml\'alhat\'o sok $E_1,E_2,\dots$ a lehets\'eges \'allapotok
halmaza, \'es ekkor az \"osszegez\'es $1\le l<\infty$ indexel\'esre
t\"ort\'enik.

\medskip\noindent
{\bf Lemma.} {\it Egy diszkr\'et idej\H{u} stacion\'arius
Markov-l\'anc teljes\'{\i}ti a (4)
formul\'aban megfogalmazott Chapman--Kolmogorov egyenletet.}

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}
$$ \allowdisplaybreaks
\align
P(n+m,j,k)&=P(X_{n+m}=E_k|X_0=E_j)\\
&=\sum_l P(X_{n+m}=E_k,X_{n}=E_l|X_0=E_j)\\
&=\sum_l P(X_{n+m}=E_k,|X_{n}=E_l,X_0=E_j)P(X_{n}=E_l|X_0=E_j)\\
&=\sum_l P(X_{n+m}=E_k,|X_{n}=E_l)P(X_{n}=E_l|X_0=E_j)\\
&=\sum_l P(m,l,k)P(n,j,l).
\endalign
$$
(E sz\'amol\'asban felhaszn\'altuk a Markov tulajdons\'agb\'ol
k\"ovetkez\H{o}
$$
P(X_{n+m}=E_k|X_{n}=E_l,X_0=E_j)=P(X_{n+m}=E_k|X_{n}=E_l)
$$
azonoss\'agot.)

\medskip\noindent
{\it Feladat:} Bizony\'{\i}tsuk be a Chapman--Kolmogorov
egyenletet diszkr\'et idej\H{u} nem fel\-t\'et\-le\-n\"ul
stacion\'arius Markov-l\'ancokra. R\'eszletesebben megfogalmazva
legyenek egy $E_1,E_2,\dots$ \'allapotokkal rendelkez\H{o} diszkr\'et
idej\H{u} $X_0,X_1,\dots$ Markov-l\'anc
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'egei
$P_{m,n}(j,k)=E(X_n=E_k|X_m=E_j)$, $n\ge m\ge0$, $j,k=0,1,\dots$.
Minden $m\le r\le n$ id\H{o}pontra igaz
a k\"ovetkez\H{o} azonoss\'ag:
$$
P_{m,n}(j,k)=\sum_l P_{m,r}(j,l)P_{r,n}(l,k).
$$

\medskip
Bevezett\"uk a (stacion\'arius) Markov l\'ancok fogalm\'at, \'es 
defini\'altuk Markov l\'ancok $P(n,j,k)=P(X_{n+m}=E_k|X_m=E_j)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit. L\'attuk, hogy ezek
teljes\'{\i}tik a (4) formul\'aban megfogalmazott Chapman--Kolmogorov
azonoss\'agot. Jegyezz\"uk meg, hogy a Chapman--Kolomogorov azonoss\'ag
alapj\'an elegend\H{o} a $P(1,j,k)$ egy l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket megadni, mert ezek
seg\'{\i}ts\'eg\'evel a $P(n,j,k)$ mennyis\'egeket is kisz\'amolhatjuk
tetsz\H{o}leges $n=1,2,\dots$ sz\'amokra. A $P(1,j,k)$ \'atmenet
val\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik az al\'abbi rel\'aci\'okat:
$$
\aligned
&\sum_k P(1,j,k)=1 \quad \text{minden } j \text{ indexre,} \\
& \qquad\text{\'es } P(1,j,k)\ge0 \text{ minden } j,k \text{ indexre}, 
\endaligned\tag5
$$
mert az $E_j$ \'allapotb\'ol 1 val\'osz\'{\i}n\H{u}s\'eggel az $E_k$
\'allapotok valamelyik\'ebe jutunk.

Legyen adva egy $\mu(j)$ sz\'amsorozat, amelyre $\mu(j)\ge0$ minden 
$j$-re, \'es $\summ_j\mu(j)=1$, tov\'abb\'a egy az (5) formul\'at 
teljes\'{\i}t\H{o}$P(1,j,k)$ sz\'amrendszer. Ekkor l\'etezik olyan
$X_0,X_1,\dots$ (stacion\'arius) Markov-l\'anc, amelyre
$P(X_0=E_j)=\mu(j)$, \'es $P(X_{n+1}=E_k|X_n=E_j)=P(1,j,k)$, minden
$=0,1,2,\dots$ sz\'amra \'es $E_j$, $E_k$ \'allapotra. Val\'oban, legyen
$$
P(X_0=E_{j_0},X_1=E_{j_1},\dots,X_n=E_{j_n})=\mu_0(j_0)\prod_{l=0}^{n-1}
P(1,j_l,j_{l+1}).
$$
L\'etezik ilyen v\'eges dimenzi\'os eloszl\'asokkal rendelkez\H{o}
sztochasztikus folyamat, \'es ez a k\'{\i}v\'ant tulajdons\'agokkal
rendelkez\H{o} Markov l\'anc.

\medskip
Ha adva van egy (v\'eges sok), $N$ \'allapotot felvev\H{o}
Markov-l\'anc, akkor ennek 1-l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei\-nek
rendszer\'en a $P(j,k)$, $1\le j,k\le N$, 1 l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei\-nek
\"osszess\'eg\'et, $n$-l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek rendszer\'en,
$n=1,2,\dots$, pedig a $P(n,j,k)$ val\'osz\'{\i}n\H{u}s\'egeinek
\"osszess\'eg\'et \'ertj\"uk. Term\'eszetes m\'odon
hoz\-z\'a\-ren\-del\-het\-j\"uk egy ilyen v\'eges sok, $N$
\'allapotot felvev\H{o} Markov-l\'anc
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei\-nek $P(j,k)$
rendszer\'ehez
azt az $N\times N$ m\'eret\H{u} n\'egyzetes $\Pi$ m\'at\-ri\-xot,
amelynek $j$-ik sor\'anak \'es $k$-ik oszlop\'anak a metszet\'eben
a $P(j,k)$ sz\'am \'all. Hasonl\'oan feleltess\"uk meg egy ilyen
m\'at\-rix $n$ l\'ep\'eses \'atmenet val\'osz\'{\i}n\H{u}s\'egei
$P(n,j,k)$ rendszer\'enek azt a $\Pi_n$ m\'at\-ri\-xot, amelynek
$j$-ik sor\'anak \'es $l$-ik oszlop\'anak a metszet\'eben a
$P(n,j,k)$ sz\'am \'all. \'Erdemes bevezetni a sztochasztikus
m\'atrix fogalm\'at, amely le\'{\i}rja az ily m\'odon
l\'etrej\"ov\H{o} m\'at\-ri\-xo\-kat.

\medskip\noindent
{\bf Sztochasztikus m\'atrixok definici\'oja.} {\it Egy $N\times N$
m\'eret\H{u}  $(P(j,k))$, $1\le j,k\le N$, m\'atrixot sztochasztikus
m\'atrixnak nevez\"unk, ha  $P(j,k)\ge0$, $1\le j,k\le N$, a
m\'atrix minden elem\'ere, \'es $\summ_{k=1}^NP(j,k)=1$,
$1\le j\le N$, azaz a m\'atrix minden sor\"osszege eggyel
egyenl\H{o}.}

\medskip
A k\"ovetkez\H{o} egyszer\H{u} \'eszrev\'etel nagyon hasznos
v\'eges \'allapotter\H{u} Markov-l\'ancok vizsg\'alat\'aban.

\medskip\noindent
{\bf Fontos \'eszrev\'etel.} {\it Egy sztochasztikus m\'atrix \'es
egy olyan $\mu(j)$, a $\summ\mu(j)=1$, $\mu(j)\ge0$ felt\'eteleket
teljes\'{\i}t\H{o} sz\'amsorozat, amely ugyanazon a halmazon van defini\'alva
mint a sztochasztikus m\'atrix elemei meghat\'aroznak egy
v\'eges \'allapotter\H{u} Markov-l\'ancot, amelynek a 0 pontbeli
eloszl\'as\'at a $\mu(j)$ sz\'amsorozat, az 1-l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit pedig a
sztochasztikus m\'atrix adja meg. Megford\'{\i}tva, minden v\'eges
\'allapotter\H{u} Markov l\'anc \'atmenetm\'atrixainak rendszere egy
sztochasztikus m\'atrix. 

Tov\'abb\'a,  a Markov-l\'ancokr\'ol sz\'ol\'o (4) formul\'aban 
megfogalmazott Chapman--Kol\-mo\-go\-rov azonoss\'ag\'ab\'ol 
k\"ovetkezik, hogy ha  egy m\'atrix 1-l\'ep\'eses 
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit egy $\Pi$, az $n$-l\'ep\'eses 
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-it
pedig egy $\Pi_n$ sztochasztikus m\'atrix adja meg, akkor $\Pi_n=\Pi^n$,
ahol $\Pi^n$ a $\Pi$ m\'atrix $n$-ik hatv\'any\'at jel\"oli
a szok\'asos m\'atrix szorz\'as \'ertelm\'eben.}

\medskip
A `Fontos \'eszrev\'etel' lehet\H{o}v\'e teszi, hogy m\'atrix
elm\'eleti eredm\'enyek seg\'{\i}ts\'eg\'evel fontos eredm\'enyeket
\'allap\'{\i}tsunk meg v\'eges \'allapotter\H{u} Markov-l\'ancok
viselked\'es\'er\H{o}l. Ezt a m\'odszert csak k\'es\H{o}bb
fogom t\'argyalni. A tov\'abbiakban els\H{o}sorban a mind v\'eges
mind v\'egtelen \'allapotter\H{u} (stacion\'arius) Markov-l\'ancok
viselked\'es\'er\H{o}l sz\'ol\'o alapvet\H{o} eredm\'enyek
ismertet\'es\'ere fogok koncentr\'alni.

Mutatok n\'eh\'any p\'eld\'at Markov-l\'ancokra \'es folyamatokra.

\medskip\noindent
{\it N\'eh\'any \'erdekes Markov-folyamat \'es Markov-l\'anc
definici\'oja.}

\medskip
\item{1.)} Tekints\"unk egy v\'eletlen bolyong\'ast a $d$-dimenzi\'os
r\'acson, azaz a
$$
Z=\{(j_1,\dots,j_d)\colon\; -\infty<j_s<\infty, \;j_s\text{ eg\'esz
sz\'am,} \quad 1\le s\le d\}
$$
halmazon. Ezt \'ugy defini\'aljuk, hogy ha a bolyong\'ast
v\'egz\H{o} r\'eszecske az $n$-ik id\H{o}pontban a $Z$ r\'acs
valamelyik pontj\'aban tart\'ozkodik, akkor a m\'ultbeli
vi\-sel\-ke\-d\'es\-t\H{o}l f\"uggetlen\"ul egyforma, azaz
$\frac1{2d}$ val\'osz\'{\i}n\H{u}s\'eggel \'atugrik valamelyik
szomsz\'edos r\'acspontba. Azaz, ha $S_n$-nel jel\"olj\"uk a
r\'eszecske tartozk\'od\'asi hely\'et az $n$ id\H{o}pntban, akkor
az $S_n-S_{n-1}$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
$n=1,2,\dots$, f\"uggetlenek, \'es
$P(S_n-S_{n-1}=e_j)=P(S_n-S_{n-1}=-e_j)=\frac1{2d}$ minden
$n=1,2,\dots$, $1\le j\le d$ sz\'amra, ahol $e_j$ jel\"oli azt a
vektort, amelynek $j$-ik koordin\'at\'aja 1, \'es az \"osszes
t\"obbi koordin\'at\'aja nulla. A definici\'o teljess\'ege
\'erdek\'eben m\'eg defini\'alnunk kell az $S_0$
mennyis\'eget is. Legyen $P(S_0=x)=1$, ahol $x\in Z$ a
$d$-dimenzi\'os t\'er valamely r\"ogz\'{\i}tett r\'acspontja.

\medskip
\item{2.)}{\it V\'eletlen bolyong\'as a nem negat\'{\i}v eg\'esz
sz\'amokon, a 0-val, mint elnyel\H{o} fallal.}\/ Az el\H{o}z\H{o}
p\'eld\'ahoz hasonl\'o modell a $d=1$ esetben, amely bolyong\'ast
valamely $x\ge0$ pontban ind\'{\i}tunk el, azzal a k\"ul\"onbs\'eggel,
hogy amennyiben a bolyong\'as el\'er a null\'aba, akkor \"or\"okre
ottmarad. Ez k\'epletekben azt jelenti, hogy az
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek a
$P(j,j+1)=P(j,j-1)=\frac12$, ha $j\ge1$, \'es $P(0,0)=1$ k\'epletekkel
adhat\'oak meg.

\medskip
\item{3.)}{\it V\'eletlen bolyong\'as a nem negat\'{\i}v eg\'esz
sz\'amokon, a 0-val, mint visszaver\H{o} fallal.}\/ Az el\H{o}z\H{o}
p\'eld\'ahoz hasonl\'o modell azzal a k\"ul\"onbs\'eggel, hogy
amennyiben a bolyong\'as el\'er a null\'aba, akkor onnan
visszaver\H{o}dik. Ez k\'epletekben azt jelenti, hogy az
\'atmenetval\'osz\'{\i}n\H{u}s\'egek a $P(j,j+1)=P(j,j-1)=\frac12$,
ha $j\ge1$, \'es $P(0,1)=1$ k\'epletekkel adhat\'oak meg.

\medskip
\item{4.)}{\it V\'eletlen bolyong\'as a modulo $n$ csoporton.}\/
Legyen a Markov-l\'anc \'allapottere az $\{1,\dots,n\}$ halmaz, valamely
$n\ge2$ pozit\'{\i}v eg\'esz sz\'ammal. Legyenek a Markov-l\'anc
\'atmenetval\'osz\'{\i}n\H{u}s\'egei $P(i,i+1)=P(i,i-1)=\frac12$,
ahol az \"osszead\'as
\'es kivon\'as modulo~$n$ \'ertend\H{o}.

\medskip
\item{5.)}{\it A diffuzi\'o Ehrenfest modellje.}\/ Ez v\'eges
\'allapotter\H{u} Markov-l\'anc.  E Markov-l\'anc f\"ugg egy $N$
param\'etert\H{o}l, amely pozit\'{\i}v eg\'esz sz\'am. Ha ez a
param\'eter $N$, akkor a modellben $N+1$ \'allapot van,
$E_0,E_1,\dots,E_N$, \'es az \'atmenetval\'osz\'{\i}n\H{u}s\'egek
$P(k,k-1)=\frac kN$, $P(k,k+1)=\frac{N-k}N$, ha
$1\le k\le N$, \'es $P(0,1)=1$, $P(N,N-1)=0$. E k\'epletek
szeml\'eletes tartalma a k\"ovetkez\H{o}: Legyen $N$ r\'eszecske,
amelyek mindegyike k\'et urna valamelyik\'eben van, \'es jel\"olje
$E_k$ azt az esem\'enyt, hogy az els\H{o} urn\'aban $k$ r\'eszecske,
a m\'asodik urn\'aban $N-k$ r\'eszecske van. Minden egyes
id\H{o}pontban, kiv\'alasztunk v\'eletlen\"ul egy r\'eszecsk\'et,
mindegyik r\'eszecsk\'et egyforma val\'osz\'{\i}n\H{u}s\'eggel,
\'es azt \'athelyezz\"uk a m\'asik urn\'aba. Ekkor, ha az els\H{o}
urn\'aban $k$ goly\'o van, akkor $P(k,k-1)=\frac kN$ annak a
val\'osz\'{\i}n\H{u}s\'ege, hogy az \'athelyezend\H{o}
r\'eszecsk\'et az els\H{o} urn\'ab\'ol v\'alasztottuk, ez\'ert az
els\H{o} urn\'aban lev\H{o} r\'eszecsk\'ek sz\'ama eggyel cs\"okken,
\'es $P(k,k+1)=\frac{N-k}N$, annak a val\'osz\'{\i}n\H{u}s\'ege, hogy
az \'athelyezend\H{o} r\'eszecsk\'et a m\'asodik urn\'ab\'ol
v\'alasztottuk, ez\'ert az els\H{o} urn\'aban lev\H{o}
r\'eszecsk\'ek sz\'ama eggyel n\H{o}.

\medskip
\item{6.)} {\it Modell egy szerkezet \'elettartam\'ara.}\/ Legyen
adva egy Markov-l\'anc a v\'egtelen $E_1$, $E_2$,\dots
\'allapott\'eren, amelynek \'atmenetval\'osz\'{\i}n\H{u}s\'egeit
valamely $p_1,p_2,\dots$, $0\le p_k\le 1$, \'es $q_k=1-p_k$,
$k=1,2,\dots$, sz\'amsorozat seg\'{\i}ts\'eg\'evel hat\'arozzuk meg
a k\"ovetkez\H{o} m\'odon: $P(k,k+1)=p_k$, $P(k,1)=q_k$, $k=1,2,\dots$.
E modell szeml\'eletes tartalma a k\"ovetkez\H{o}: Legyen adva egy
szerkezet, amelyet minden id\H{o}pontban, ha nem romlik el, akkor
tov\'abb haszn\'alunk, \'es \'eletkora egy egys\'eggel n\H{o}.
Ha elromlik, akkor kicser\'elj\"uk egy \'uj szerkezetre, amelynek
\'eletkora 1. Ha a szerkezet az els\H{o} $k$ id\H{o}pontban nem 
romlott el, akkor az $p_k$ val\'osz\'{\i}n\H{u}s\'eggel a $k+1$ 
ind\H{o}pontban is j\'o marad. Jel\"olje  $X_n$ azt a 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot, amely megadja azt, hogy 
mennyi az $n$ id\H{o}pontban haszn\'alt szerkezet \'eletkora.

\medskip
A k\"ovetkez\H{o} p\'elda az 1. p\'eld\'aban szerepl\H{o} bolyong\'as
term\'eszetes \'altal\'anos\'{\i}t\'asa.

\medskip
\item{7.)} Legyen $X_1,X_2,\dots$, f\"uggetlen, egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozata, amelyek
\'ert\'ekeiket valamely $E$ line\'aris t\'erben (p\'eld\'aul az $R^k$
$k$-dimenzi\'os Euklideszi t\'erben) veszik fel. Tegy\"uk fel, hogy 
az $X_1,X_2,\dots,$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'ert\'ekei 
egy megsz\'aml\'alhat\'o $T\subset E$, $T=\{t_1,t_2,\dots\}$, halmazban 
vannak, azaz $P(X_1\in T)=1$. Defini\'aljuk az $S_n=\summ_{j=1}^n X_j$,
$n=1,2,\dots$, r\'eszlet\"osszegeket, \'es jel\"olje $S\subset E$ a $T$
halmaz \'altal gener\'alt (addit\'{\i}v) csoportot, azaz legyenek
az $S$ halmaz elemei azok az $s\in E$
pontok, amelyek el\H{o}\'all\'{\i}that\'oak $s=\summ_{j=1}^k p_j t_j$,
$k=1,2,\dots$, $t_j\in T$, $1\le j\le k$, alakban, ahol $p_1,p_2,\dots$
eg\'esz sz\'amok. Ekkor
$S_1,S_2,\dots$, Markov-l\'anc az $S$ \'allapott\'eren, \'es
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit a $P(S_{n+1}=\bar
s|S_n=s)=P(X_1=\bar s-s)$, $s,\bar s\in S$, k\'eplet adja meg.
Ugyancsak Markov-l\'ancot alkotnak ugyanezen a t\'eren \'es
ugyanezekkel az 
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel az 
$\bar S_n=S_n+t_j$, $n=1,2,\dots$, sorozatok is, ahol $t_j\in T$
tetsz\H{o}leges sz\'am. 
\medskip

Val\'oban,
$$ \allowdisplaybreaks
\align
&P(S_{n+1}=s_{n+1}|S_n=s_n,\dots, S_1=s_1)=
\frac{P(S_{n+1}=s_{n+1},S_n=s_n,\dots, S_1=s_1)}
{P(,S_n=s_n,\dots, S_1=s_1)}\\
&\qquad =\frac{P(X_{n+1}=s_{n+1}-s_n,X_n=s_n-s_{n-1},\dots, X_1=s_1)}
{P(X_n=s_n-s_{n-1},\dots, X_1=s_1)}\\
&\qquad =P(X_{n+1}=s_{n+1}-s_n)=P(X_1=s_{n+1}-s_n).
\endalign
$$

\medskip
\'Erv\'enyes a 7.) p\'elda al\'abbi term\'eszetes
\'altal\'anos\'{\i}t\'asa tetsz\H{o}leges
(nem felt\'etlen\"ul megsz\'aml\'alhat\'o sok \'ert\'eket felvev\H{o})
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok r\'eszlet\"osszegeire. Az
\'al\-ta\-l\'a\-no\-s\'{\i}\-t\'as bizony\'{\i}t\'asa annyiban
nehezebb, hogy abban \'altal\'anos \'ertelemben vett felt\'eteles
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel kell sz\'amolni.

\medskip
\item{8.)} Legyenek $X_1,X_2,\dots$, f\"uggetlen, egyforma
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
amelyek \'ert\'ekeiket valamely $(E,\Cal E)$ line\'aris t\'erben
veszik fel. Ekkor az $S_n=\summ_{j=1}^nX_j$, $j=1,2,\dots$,
r\'eszlet\"osszegek (stacion\'arius) Markov-folyamatot alkotnak az
$(E,\Cal E)$ t\'eren, amelynek 1 l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit a $P(1,x,A)=P(S_{n+1}\in
A|S_n=x)=P(X_1\in A-x)$ k\'eplet adja meg.

\medskip\noindent
{\it Nem k\"otelez\H{o} feladat.}\/ Bizony\'{\i}tsuk be, hogy a 8.
p\'elda \'all\'{\i}t\'asa val\'oban igaz.

\medskip
K\"ul\"on feladatban megfogalmazom azt a felt\'eteles
eloszl\'asokr\'ol sz\'ol\'o \'all\'{\i}t\'ast, amely az
el\H{o}z\H{o} feladat megold\'as\'anak a l\'enyege.

\medskip \noindent
{\it Feladat:}\/ Legyenek $X_1,\dots,X_k,Y$ f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, amelyek \'ert\'ekeiket
valamely $(E,\Cal E)$ t\'eren veszik fel, $f(x_1,\dots,x_{k+1})$
egy $k$-v\'altoz\'os m\'erhet\H{o} (korl\'atos) f\"ugg\-v\'eny az
$(E,\Cal E)$ t\'eren. Ekkor
$$
E(f(X_1,\dots,X_k,Y)|X_1=x_1,\dots,X_k=x_k)=Ef(x_1,\dots,x_k,Y).
$$

\medskip
Vegy\"uk \'eszre, hogy az el\H{o}z\H{o} feladat eredm\'eny\'eb\H{o}l,
(amely egy\'ebk\'ent tekinthet\H{o} a Fubini t\'etel egy
verzi\'oj\'anak) k\"ovetkezik a 8.~p\'elda \'all\'{\i}t\'asa.
Val\'oban, ezt felhaszn\'alva meg lehet mutatni, hogy
$$
\align
&P(S_{n+1}\in A|S_1=x_1,S_2=x_2,\dots,S_n=x_n)\\
&\qquad =P(X_1+\cdots+X_n+Y\in
A|X_1=x_1,X_2=x_2-x_2,\dots,X_n=x_n-x_{n-1})\\
&\qquad =P(x_1+(x_2-x_1)+\cdots+(x_n-x_{n-1})+Y\in A)=P(X_1\in A-x_n)
\endalign
$$
ahol, $X_1,\dots,X_n,Y)$ f\"uggetlen egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, amelyek \'er\-t\'e\-kei\-ket
valamely $(E,\Cal E)$ line\'aris t\'erben veszik fel.

\medskip
\item{9.)} V\'eg\"ul mutatok p\'eld\'at val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok egy olyan sorozat\'ara, amely nem alkot Markov-l\'ancot.
Legyen adva egy urna \'es benne mondjuk 5 piros \'es 3 feh\'er
goly\'o. Kih\'uzunk az urn\'ab\'ol egy goly\'ot v\'eletlenszer\H{u}en,
majd dobjuk vissza azt az urn\'aba egy ugyan\-olyan sz\'{\i}n\H{u}
goly\'oval egy\"utt. Folytassuk ezt a procedur\'at a v\'egtelens\'egig,
\'es de\-fi\-ni\-\'al\-juk az $X_1,X_2,\dots$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat \'ugy, hogy $X_n=1$, ha a $n$-ik h\'uz\'askor
kih\'uzott goly\'o sz\'{\i}ne piros, \'es  $X_n=0$, ha az $n$-ik
h\'uz\'askor kih\'uzott goly\'o sz\'{\i}ne feh\'er. Ekkor
ny\'{\i}lv\'anval\'oan
$P(X_n=1|X_1=1,X_2=1,\dots,X_{n-1}=1)>P(X_n=1|X_{n-1}=1)$, mert ha
minden eddigi h\'uz\'as eredm\'enye piros sz\'{\i}n\H{u} goly\'o volt,
akkor az urn\'aban lev\H{o} piros goly\'ok sz\'am\'at n\"ovelt\"uk,
ez\'ert nagyobb annak a val\'osz\'{\i}n\H{u}s\'ege, hogy a
k\"ovetkez\H{o} h\'uz\'asban is piros goly\'ot h\'uzunk.

\beginsection Kieg\'esz\'{\i}t\'es.

Megfogalmazok \'es bebizony\'{\i}tok egy lemm\'at, amelynek
f\H{o} mondanival\'oja az a (B) azo\-nos\-s\'ag, amely szerint egy
stacion\'arius Markov-folyamat teljes\'{\i}ti a
Chap\-man--Kol\-mo\-go\-rov
egyenletet. Val\'oj\'aban ez egy \'altal\'anosabb v\'altozata a
Chapman--Kolmogorov egyenletnek, amely nem felt\'etlen\"ul
sta\-cio\-n\'a\-rius Mar\-kov folyamatokra is \'erv\'enyes.

Stacion\'arius Markov-folyamatok eset\'eben $P_{s,t}(x,A)=P_{t-s}(x,A)$,
$P_{u,t}(y,A)=P_{t-u}(y,A)$,
$P_{s,u}(x,\,dy)=P_{u-s}(x,\,dy)$, \'es a (B) rel\'aci\'o megegyezik
a Chap\-man--Kol\-mo\-go\-rov egyenlettel.
 
\medskip\noindent
{\bf Lemma.}  {\it Legyen $(X_t,\Cal F_t)$, $t\ge 0$, Markov-folyamat
valamely a $(E, \Cal E)$ m\'erhet\H{o} t\'eren valamely $P_{s,t}(x,A)$
a 3. megjegyz\'esban szerepl\H{o} a), b), c) \'es d) tulajdons\'agot
teljes\'{\i}t\H{o} \'at\-menet\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel.
Legyen $f(y)$, korl\'atos, m\'erhet\H{o} f\"uggv\'eny az $(E,\Cal E)$
t\'eren. Ekkor
$$
E(f(X_u)|X_s=x)=\int f(y) P_{s,u}(x,dy) \quad\text{ha } u\ge s \tag A
$$
\'es
$$
P_{s,t}(x,A)=\int P_{u,t}(y,A)P_{s,u}(x,\,dy) \quad\text{ha }
s\le u\le t \tag B
$$
}

\medskip\noindent
{\it Bizony\'{\i}t\'as:}\/ Ha az $f$ f\"uggv\'eny egy $A$ halmaz
indik\'ator f\"uggv\'enye, akkor k\"onnyen l\'athat\'o, hogy az (A)
formula \'erv\'enyes. Mivel a kifejez\'es mindk\'et oldala 
line\'aris funkcion\'al az $(E,\Cal E)$ t\'eren defini\'alt 
korl\'atos \'es m\'erhet\H{o} f\"uggv\'enyek ter\'en, ez\'ert az 
azonoss\'ag \'erv\'enyes halmazok indik\'ator f\"uggv\'enyeinek 
line\'aris kombin\'aci\'oira is. Ezut\'an ilyen f\"uggv\'enyekkel 
v\'egrehajtott
k\"ozel\'{\i}t\'esek seg\'{\i}ts\'eg\'evel kapjuk, hogy az (A)
rel\'aci\'o tetsz\H{o}leges $f$ f\"uggv\'enyre \'erv\'enyes. Az (A)
formula szeml\'eletesen azt mondja ki, hogy felt\'eteles v\'arhat\'o
\'ert\'eket \'ugy sz\'amolhatunk ki felt\'eteles
el\-osz\-l\'as\-f\"ugg\-v\'e\-nyek
seg\'{\i}ts\'eg\'evel, mint v\'arhat\'o \'ert\'eket
elosz\'asf\"uggv\'enyek seg\'{\i}ts\'eg\'evel.

A (B) formula bizony\'{\i}t\'as\'aban felhaszn\'alhatjuk, hogy a
Markov tulajdons\'ag \'es a felt\'eteles v\'arhat\'o \'ert\'ek
tulajdons\'agai miatt
$$
\align
P_{s,t}(x,A)&=P(X_t\in A|X_s=x)=E(I_{\{X_t(\oo)\in A\}}|X_s(\oo)=x)\\
&=E(E(I_{\{X_t(\oo)\in A\}}|X_s(\oo),X_u(\oo))|X_s(\oo)=x)\\
&=E(E(I_{\{X_t(\oo)\in A\}}|X_u(\oo))|X_s(\oo)=x)
=E(P_{u,t}(X_u(\oo),A)|X_s(\oo)=x),
\endalign
$$
ahol $I_A$ egy $A$ halmaz indik\'atorf\"uggv\'eny\'et jel\"oli. A fenti
sz\'amol\'asban kihaszn\'altuk a Markov tulajdons\'agot, amely szerint 
$$
E(I_{\{X_t\in A\}}|X_s,X_u)=E(I_{\{X_t\in A\}}|X_u)=P_{u,t}(X_u(\oo),A),
$$ 
ha $u\ge s$.

Vezess\"uk be az $f(y)=P(X_t\in A|X_u=y)=P_{u,t}(A,y)$ f\"uggv\'enyt.
Az el\H{o}z\H{o} azonoss\'ag \'es az A) rel\'aci\'o alapj\'an
$$
P_{s,t}(x,A)=E(E(f(X_u)|X_s=x)=\int P_{u,t}(A,y)P_{s,u}(dy,x),
$$
amint \'all\'{\i}tottuk.

\medskip
Kimondom e t\'etel diszkr\'et idej\H{u} megfelel\H{o}j\'et, amelyet
hasonl\'oan bizony\'{\i}thatunk.

\medskip\noindent
{\bf Lemma.} {\it Legyen $(X_n,\Cal F_n)$, $n=0,1,\dots$,
Markov-folyamat valamely a $(E, \Cal E)$ m\'erhet\H{o} t\'eren
valamely $P_{m,n}(x,A)$ a 3. megjegyz\'esban szerepl\H{o} a), b),
c) \'es d) tulajdons\'agot teljes\'{\i}t\H{o}
\'atmenetval\'osz\'{\i}n\H{u}s\'egekkel.
Legyen $f(y)$, korl\'atos, m\'erhet\H{o} f\"uggv\'eny az $(E,\Cal E)$
t\'eren. Ekkor
$$
E(f(X_n)|X_m=x)=\int f(y) P_{m,n}(x,dy) \quad\text{ha } n\ge m \tag A$'$
$$
\'es
$$
P_{m,n}(x,A)=\int P_{k,n}(y,A)P_{m,k}(x,\,dy) \quad\text{ha }
m\le k\le n . \tag B$'$
$$
}

\medskip\noindent
{\it Feladat:}\/ Ha $(X_0,X_1,\dots)$ olyan a term\'eszetes
sz\'amokkal indexelt sztochasztikus folyamat egy megsz\'aml\'alhat\'o
sz\'amoss\'ag\'u $(E,\Cal E)$ \'allapott\'eren, amely teljes\'{\i}ti
az
$$
\align
&P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n},\dots,X_0=E_{j_0})=
P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n})\\
&\qquad =P(X_1=E_{j_{n+1}}|X_0=E_{j_n})
\endalign
$$
azonoss\'agot, akkor $(X_0,X_1,\dots)$ (stacion\'arius) Markov-l\'anc,
amelynek egy l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-geit

a $P(j,k)=P(X_1=E_j|X_0=E_k)$ k\'eplet adja meg.
\medskip
(A feladat tartalma mind\"ossze annyi, hogy a felt\'eteles
val\'osz\'{\i}n\H{u}s\'egekre a Markov-folyamatok definici\'oj\'aban
kir\'ott felt\'etel az adott esetben ezt az azonoss\'agot jelenti.)

\medskip
Bizony\'{\i}t\'as n\'elk\"ul k\"ozl\"om a k\"ovetkez\H{o}
eredm\'enyt.

\medskip\noindent
{\bf T\'etel.} {\it Legyen adva egy a 3. megjegyz\'esben
felsorolt~a), b) \'es c) tulajdons\'agokat teljes\'{\i}t\H{o}
$P_{s,t}(x,A)$ illetve $P_{m,n}(x,A)$ f\"uggv\'eny amely
teljes\'{\i}ti az (e) illetve (e$'$) tulajdons\'agot is. Legyen
tov\'abb\'a adva valamely $P_0$ val\'osz\'{\i}n\H{u}s\'egi
 m\'ert\'ek az $(E,\Cal E)$ t\'eren. Ekkor l\'etezik olyan
id\H{o}ben folytonos Markov-folyamat, amelyre $P(X_0\in A)=P_0(A)$
\'es $P(X_t\in A|X_s=x)=P_{s,t}(x,A)$, $x\in E$, $A\in\Cal E$,
$m\le n$ v\'alaszt\'assal. L\'etezik olyan id\H{o}ben diszkr\'et
Markov-folyamat, amelyre $P(X_0\in A)=P_0(A)$, \'es $P(X_n\in
A|X_m=x)=P_{s,t}(x,A)$ minden $x\in E$, $A\in\Cal E$, $0\le m\le n$
v\'alaszt\'assal.}

\bye

\medskip\noindent
{\it Feladat:}\/ Ha $(X_0,X_1,\dots)$ olyan a term\'eszetes
sz\'amokkal indexelt sztochasztikus folyamat egy megsz\'aml\'alhat\'o
sz\'amoss\'ag\'u $(E,\Cal E)$ \'allapott\'eren, amely teljes\'{\i}ti
az
$$
\align
&P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n},\dots,X_0=E_{j_0})=
P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n})\\
&\qquad =P(X_1=E_{j_{n+1}}|X_0=E_{j_n})
\endalign
$$
azonoss\'agot, akkor $(X_0,X_1,\dots)$ (stacion\'arius) Markov-l\'anc,
amelynek egy l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-geit

a $P(j,k)=P(X_1=E_j|X_0=E_k)$ k\'eplet adja meg.
\medskip
(A feladat tartalma mind\"ossze annyi, hogy a felt\'eteles
val\'osz\'{\i}n\H{u}s\'egekre a Markov-folyamatok definici\'oj\'aban
kir\'ott felt\'etel az adott esetben ezt az azonoss\'agot jelenti.)


Be lehet l\'atni, hogy igaz a k\"ovetkez\H{o} \'all\'{\i}t\'as. Ha
$P(x,A)$, $x\in E$, $A\in\Cal E$, olyan
f\"uggv\'enyrendszer egy $(E,\Cal E)$ m\'erhet\H{o} t\'eren, amely
minden r\"ogz\'{\i}tett $x\in E$ pontra val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'ek \'es minden $A\in \Cal A$ halmazra m\'erhet\H{o}
f\"uggv\'eny az $(E,\Cal E)$ t\'eren, akkor a k\"ovetkez\H{o}
definici\'oval egy diszkr\'et idej\H{u} Markov-folyamat
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit de\-fi\-ni\-\'al\-juk, 
amelyek teljes\'{\i}tik a (2) Chapman--Kolmogorov egyenletet.

Legyen $P(0,x,A)=1$, ha $x\in A$ \'es $P(0,x,A)=0$, ha $x\notin A$,
$P(1,x,A)=P(x,A)$, \'es $n\ge2$ indexekre defini\'aljuk a $P(n,x,A)$
$n$-l\'ep\'eses \'atmenetval\'osz\'{\i}n\H{u}s\'egeket $n$ szerinti
indukci\'oval. A fenti ink\'abb technikai jelleg\H{u}, sz\'amunkra
ink\'abb elvi jelent\H{o}s\'eg\H{u} \'all\'{\i}t\'as
bizony\'{\i}t\'as\'at elhagyom.