\magnification=\magstep1
\hsize=16truecm
 
\input amstex
\TagsOnRight
\parindent=20pt
%\parskip=2.5pt plus 1.2pt
\parskip=3pt plus 1pt
\define\A{{\bold A}}
\define\BB{{\bold B}}
\define\DD{{\bold D}}
\define\T{{\bold T}}
\define\U{{\bold U}}
\define\({\left(}
\define\){\right)}
\define\[{\left[}
\define\]{\right]}
\define\e{\varepsilon}
\define\oo{\omega}
\define\const{\text{\rm const.}\,}
\define\supp {\sup\limits}
\define\inff{\inf\limits}
\define\summ{\sum\limits}
\define\prodd{\prod\limits}
\define\limm{\lim\limits}
\define\limsupp{\limsup\limits}
\define\liminff{\liminf\limits}
\define\bigcapp{\bigcap\limits}
\define\bigcupp{\bigcup\limits}
\define\Var{\text{\rm Var}\,}
\define\Cov{\text{\rm Cov}\,}
\def\Re{\text{\rm Re}\,}
\def\Im{\text{\rm Im}\,}
\font\script =cmcsc10
 
\beginsection Markov l\'ancok \'es Markov folyamatok
 
A val\'osz\'{\i}n\H{u}s\'egsz\'am\'{\i}t\'as egyik fontos r\'esze a
Markov folyamatok elm\'elete. Kiss\'e inform\'alisan a Markov
folyamatokat \'ugy jellemezhetj\"uk, mint azokat a sztochasztikus
folyamatokat, amelyek j\"ov\H{o}beli viselked\'es\'er\H{o}l egy
adott id\H{o}pontig \"osszegy\"ujt\"ott in\-for\-m\'a\-ci\'ot
a folyamat viselked\'ese a megfigyelt id\H{o}intervallum
v\'eg\-pont\-j\'a\-ban teljes m\'ert\'ekben tartalmazza. Ez azt
jelenti, hogy annak felt\'eteles val\'osz\'{\i}n\H{u}s\'ege, hogy
valamely a folyamat j\"ov\H{o}beli viselked\'es\'et\H{o}l f\"ugg\H{o}
esem\'eny bek\"ovetkezik, felt\'eve, hogy a Markov folyamat a jelen
id\H{o}pontban egy adott \'ert\'eket vesz fel, megegyezik ugyanennek
az esem\'enynek a felt\'eteles
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\'e\-vel, felt\'eve a
folyamat teljes m\'ultbeli viselked\'es\'et. A pontos definici\'o a
k\"ovetkez\H{o}.
\medskip\noindent
{\bf Folytonos idej\H{u} Markov folyamat definici\'oja.} {\it Legyen
adva egy $X(t)$, $t\ge 0$, szto\-chasz\-ti\-kus folyamat valamely
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amely
\'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o} t\'eren veszi fel.
Azt mondjuk, hogy $X(t)$ $(E,\Cal E)$-t\'erbeli \'ert\'ek\H{u}
folytonos idej\H{u} Markov folyamat, ha minden $0\le s\le t<\infty$
sz\'amp\'arra \'es $\Cal E$-m\'erhet\H{o} $A\in \Cal E$ halmazra
teljes\"ul a
$$
P(X_t\in A|\Cal B(X_s))=P(X_t\in A|\Cal B(X_u, u\le s))
$$
azonoss\'ag, ahol $\Cal B(X_s)$ az $X_s$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, $\Cal B(X_u, u\le s)$ pedig az \"osszes $X_u$, $u\le s$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal gener\'alt
$\sigma$-algebr\'at jel\"oli.
 
Kiss\'e \'altal\'anosabban legyen adva egy $(E,\Cal E)$ t\'erbeli
\'ert\'ekeket felvev\H{o} $X(t)$, $t\ge 0$, sztochasztikus folyamat,
valamint $\sigma$-algebr\'ak n\"ovekv\H{o} $\Cal F_t$, $t\ge0$,
csal\'adja egy $(\Omega, \Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi
mez\H{o}n, azaz legyen $\Cal F_s\subset\Cal F_t$, ha $s\le t$, \'es
legyen $X_t$ $\Cal F_t$-m\'erhet\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o, $t\ge0$.
Teljes\"ulj\"on ezenk\'{\i}v\"ul a $\Cal F_t\subset\Cal A$
rel\'aci\'o minden $t\ge0$ sz\'amra. Az $(X_t,\Cal F_t)$, $t\ge0$,
rendszer folytonos idej\H{u} Markov folyamat, ha
$$
\align
P(X_t\in A|\Cal B(X_s))=P(X_t\in A|\Cal F_s) \quad &\text{ minden
$0\le s\le t<\infty$ sz\'amra,}\\
&\qquad \text{\'es $A\in \Cal E$ halmazra.}
\endalign
$$
}\medskip
 
\medskip\noindent
{\bf Diszkr\'et idej\H{u} Markov folyamat definici\'oja.} {\it Legyen
adva egy $X_n$, $n=1,2,\dots$, szto\-chasz\-ti\-kus folyamat valamely
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amely
\'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o} t\'eren veszi fel.
Azt mondjuk, hogy $X_n$ $(E,\Cal E)$-t\'erbeli \'ert\'ek\H{u}
diszkr\'et idej\H{u} Markov folyamat, ha minden $0\le m\le n<\infty$
sz\'amra \'es $\Cal E$-m\'erhet\H{o} $A\in \Cal E$ halmazra
teljes\"ul a
$$
P(X_n\in A|\Cal B(X_m))=P(X_n\in A|\Cal B(X_k, k\le m))
$$
azonoss\'ag, ahol $\Cal B(X_m)$ az $X_m$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, $\Cal B(X_k, k\le m)$ pedig az \"osszes $X_k$, $k\le m$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal gener\'alt
$\sigma$-algebr\'at jel\"oli.
 
Kiss\'e \'altal\'anosabban tekints\"unk egy $(E,\Cal E)$ t\'erbeli
\'ert\'ekeket felvev\H{o} $X_n$, $n=1,2\dots$, sztochasztikus
folyamatot, \'es ezenk\'{\i}v\"ul $\sigma$-algebr\'ak n\"ovekv\H{o}
$\Cal F_n$, $n=1,2,\dots$, csal\'adj\'at egy $(\Omega, \Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, azaz legyen $\Cal F_m\subset
\Cal F_n$, ha $m\le n$, \'es legyen $X_n$ $\Cal F_n$-m\'erhet\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o, $n=1,2,\dots$.
Teljes\"ulj\"on ezenk\'{\i}v\"ul a $\Cal F_n\subset\Cal A$
rel\'aci\'o minden $n=1,2,\dots$ sz\'amra. Az $(X_n,\Cal F_n)$,
$n=1,2\dots$, rendszer diszkr\'et idej\H{u} Markov folyamat, ha
$$
\align
P(X_n\in A|\Cal B(X_m))=P(X_n\in A|\Cal F_m) \quad &\text{ minden
$0\le m\le n<\infty$ sz\'amra,}\\
&\qquad \text{\'es $A\in \Cal E$ halmazra.}
\endalign
$$
}\medskip\noindent
{\it 1.~megjegyz\'es:} Az $\Cal F_t=\Cal B(X_u,\,u\le t)$ illetve
$\Cal F_n=\Cal B(X_k,\,k\le n)$ v\'alaszt\'assal te\-kint\-het\-j\"uk
a Markov folyamatok id\H{o}ben folytonos illetve diszkr\'et
definici\'oit az \'al\-ta\-l\'a\-nos definici\'o speci\'alis eseteinek.
\medskip\noindent
{\it 2.~megjegyz\'es:} A Markov folyamatok definici\'oj\'aban
szerepl\H{o} $P(X_t\in A|\Cal B(X_s))$ \'es $P(X_n\in A|\Cal B(X_m))$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek megadhat\'oak, mint az
$X_s=x$ illetve $X_m=x$ felt\'etelek valamint az $s$ \'es $t$ illetve
$m$ \'es $n$ id\H{o}pontok \'es $A\in \Cal E$ halmazok f\"uggv\'enyei.
A $P(X_t\in A|X_s=x)=P_{s,t}(x,A)$ illetve $P(X_n\in A|X_m=x)
=P_{m,n}(x,A)$, $x\in E$, $A\in \Cal E)$, $s\le t$ illetve $m\le n$
mennyis\'egeket \'atmenet val\'osz\'{\i}n\H{u}s\'egnek h\'{\i}vj\'ak.
Szeml\'eletes tartalmuk: Ez megadja annak
val\'osz\'{\i}n\H{u}s\'eg\'et, hogy  a Markov folyamat a $t$ illetve
$n$ id\H{o}pontban az $A$ halmaz valamely pontj\'aba jut, felt\'eve,
hogy az az $s<t$ illetve $m<n$ id\H{o}pontban az $x$ pontban
tart\'ozkodott. A Markov tulajdons\'ag azt jelenti, hogy ha tudom
milyen m\'odon jutott a Markov folyamat az $x$ pontba az $s$ illetve
$m$ id\H{o}pontban, akkor ez a plusz ismeret nem befoly\'asolja a
fenti felt\'eteles val\'osz\'{\i}n\H{u}s\'eg \'ert\'ek\'et.
\medskip\noindent
{\it 3.~megjegyz\'es:} A tov\'abbiakban feltessz\"uk, hogy a Markov
folyamatok $P_{s,t}(x,A)$ vagy $P_{m,n}(x,A)$, $s\le t$ illetve $m\le
n$ f\"uggv\'enyei teljes\'{\i}tik a k\"ovetkez\H{o} tulajdons\'agokat.
\medskip
\item{a)}  R\"ogz\'{\i}tett $x\in E$ pontra $P_{s,t}(x,\cdot)$ illetve
$P_{m,n}(x,\cdot)$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az $(E,\Cal
E)$ t\'eren \item{b)} R\"ogz\'{\i}tett $A\in \Cal A$ halmazra
$P_{s,t}(\cdot,A)$ illetve $P_{m,n}(\cdot,A)$ m\'erhet\H{o}
f\"uggv\'eny az $(E,\Cal E)$ t\'eren.
\item{c)} $P_{s,s}(x,A)=1$, ha $x\in A$ \'es
$P_{s,s}(x,A)=0$, ha $x\notin A$. Hasonl\'oan,
$P_{m,m}(x,A)=1$, ha $x\in A$ \'es
$P_{m,m}(x,A)=0$, ha $x\notin A$.
\medskip
Ezek a tulajdons\'agok term\'eszetesek. Be lehet l\'atni, hogy minden
sz\'ep tulajdons\'ag\'u t\'eren defini\'alt Markov folyamatra
(p\'eld\'aul ez a helyzet, ha $(E,\Cal E)$ teljes szepar\'abilis
metrikus t\'er a szok\'asos Borel $\sigma$-algebr\'aval) meg lehet
adni a felt\'eteles
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-ket \'ugy,
hogy teljes\'{\i}ts\'ek a fenti tulajdons\'agokat. Ennek a t\'enynek
a bizony\'{\i}t\'as\'at, amely a regul\'aris felt\'eteles eloszl\'as
l\'etez\'es\'enek a bizony\'{\i}t\'as\'an alapul nem t\'argyalom.
\medskip
 
 \medskip\noindent
{\bf Lemma.}  {\it Legyen $(X_t,\Cal F_t)$, $t\ge 0$, Markov folyamat
valamely a $(E, \Cal E)$ m\'erhet\H{o} t\'eren valamely $P_{s,t}(x,A)$
a 3. megjegyz\'esban szerepl\H{o} a) b) \'es c) tulajdons\'agot
teljes\'{\i}t\H{o}
\'at\-menet\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel.
Legyen $f(y)$, korl\'atos, m\'erhet\H{o} f\"uggv\'eny az $(E,\Cal E)$
t\'eren. Ekkor
$$
E(f(X_u)|X_s=x)=\int f(y) P_{s,u}(x,dy) \quad\text{ha } u\ge s \tag d
$$
\'es
$$
P_{s,t}(x,A)=\int P_{u,t}(y,A)P_{s,u}(x,\,dy) \quad\text{ha }
s\le u\le t \tag e
$$
}\medskip\noindent
{\it Bizony\'{\i}t\'as:}\/ Ha az $f$ f\"uggv\'eny egy $A$ halmaz
indik\'ator f\"uggv\'enye, akkor a (d) formula ny\'{\i}lv\'an
\'erv\'enyes. Mivel a kifejez\'es mindk\'et oldala az $f$
f\"uggv\'eny lin\'aris f\"uggv\'enye, ez\'ert az azonoss\'ag
\'erv\'enyes halmazok indik\'ator f\"uggv\'enyeinek line\'aris
kombin\'aci\'oira is. Ezut\'an ilyen f\"uggv\'enyekkel v\'egrehajtott
k\"ozel\'{\i}t\'esek seg\'{\i}ts\'eg\'evel kapjuk, hogy a (d)
rel\'aci\'o tetsz\H{o}leges $f$ f\"uggv\'enyre \'erv\'enyes.
 
Az e) formula bizony\'{\i}t\'as\'aban felhaszn\'alhatjuk, hogy a
Markov tulajdons\'ag \'es a felt\'eteles v\'arhat\'o \'ert\'ek
tulajdons\'agai miatt
$$
\align
P_{s,t}(x,A)&=P(X_t\in A|X_s=x)
=E(E(X_t\in A|X_s,X_u)|X_s=x) \\
&=E(E(X_t\in A|X_u)|X_s=x)=E(E(f(X_u)|X_s=x),
\endalign
$$
ahol $f(y)=P(X_t\in A|X_u=y)=P_{u,t}(A,y)$. Ez\'ert a d)
rel\'aci\'o alapj\'an
$$
P_{s,t}(x,A)=\int P_{u,t}(A,y)P_{s,u}(dy,x),
$$
amint \'all\'{\i}tottuk.
\medskip
Kimondom e t\'etel diszkr\'et idej\H{u} megfelel\H{o}j\'et, amelyet
hasonl\'oan bizony\'{\i}thatunk.
 \medskip\noindent
{\bf Lemma.} {\it Legyen $(X_n,\Cal F_n)$, $n=1,2,\dots$, Markov
folyamat valamely a $(E, \Cal E)$ m\'erhet\H{o} t\'eren valamely
$P_{m,n}(x,A)$ a 3. megjegyz\'esban szerepl\H{o} a) b) \'es c)
tulajdons\'agot teljes\'{\i}t\H{o}
\'atmenetval\'osz\'{\i}n\H{u}s\'egekkel.
Legyen $f(y)$, korl\'atos, m\'erhet\H{o} f\"uggv\'eny az $(E,\Cal E)$
t\'eren. Ekkor
$$
E(f(X_n)|X_m=x)=\int f(y) P_{m,n}(x,dy) \quad\text{ha } n\ge m \tag d$'$
$$
\'es
$$
P_{m,n}(x,A)=\int P_{k,n}(y,A)P_{m,k}(x,\,dy) \quad\text{ha }
m\le k\le n . \tag e$'$
$$
}\medskip
Bizony\'{\i}t\'as n\'elk\"ul k\"ozl\"om a k\"ovetkez\H{o}
eredm\'enyt.
\medskip\noindent
{\bf T\'etel.} {\it Legyen adva egy a 3. megjegyz\'esben
felsorolt~a), b) \'es c) tulajdons\'agokat teljes\'{\i}t\H{o}
$P_{s,t}(x,A)$ illetve $P_{m,n}(x,A)$ f\"uggv\'eny amely
teljes\'{\i}ti az (e) illetve (e$'$) tulajdons\'agot is. Legyen
tov\'abb\'a adva valamely $P_0$ val\'osz\'{\i}n\H{u}s\'egi
 m\'ert\'ek az $(E,\Cal E)$ t\'eren. Ekkor l\'etezik olyan
id\H{o}ben folytonos Markov folyamat, amelyre $P(X_0\in A)=P_0(A)$
\'es $P(X_t\in A|X_s=x)=P_{s,t}(x,A)$, $x\in E$, $A\in\Cal E$,
$m\le n$ v\'alaszt\'assal. L\'etezik olyan id\H{o}ben diszkr\'et
Markov folyamat, amelyre $P(X_1\in A)=P_0(A)$, \'es $P(X_n\in
A|X_m=x)=P_{s,t}(x,A)$ minden $x\in E$, $A\in\Cal E$, $m\le n$
v\'alaszt\'assal.}
 
\'Altal\'aban \'ugynevezett stacion\'arius Markov folyamatokkal
foglalkoznak az iro\-da\-lom\-ban.  Ha nem
hangs\'ulyozz\'ak k\"ul\"on az ellenkez\H{o}j\'et, akkor Markov
fo\-lya\-ma\-ton stacion\'arius Markov fo\-lya\-ma\-tot \'ertenek.
Mi is \'{\i}gy fogunk tenni a tov\'abbiakban. A stacion\'arius
Markov folyamatok definici\'oja a k\"ovetkez\H{o}:
\medskip\noindent
{\bf Stacion\'arius Markov folyamat definici\'oja.} {\it Egy $X_t$,
$t\ge0$, (vagy $X_t,\Cal F_t)$ \'al\-ta\-l\'a\-no\-s\'{\i}\-tott)
folytonos idej\H{u} Markov folyamatot folytonos idej\H{u}
stacion\'arius Markov folyamatnak nevez\"unk, ha az
\'atmenetval\'osz\'{\i}n\H{u}s\'egei teljes\'{\i}tik a
$P{s,t}(x,A)=P_{t-s}(x,A)$ azonoss\'agot, minden $0\le s\le t$
sz\'amp\'arra, azaz a $P_{s,t}(x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'eg csak az $s$ \'es $t$ id\H{o}pont
k\"oz\"ott eltelt id\H{o}t\H{o}l f\"ugg.
 
Egy $X_n$, $n=1,2,\dots$, (vagy $X_n,\Cal F_n)$
\'altal\'anos\'{\i}tott) diszkr\'et idej\H{u} Markov fo\-lya\-ma\-tot
diszkr\'et idej\H{u} stacion\'arius Markov folyamatnak nevez\"unk,
ha az \'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei
teljes\'{\i}tik a $P_{m,n}(x,A)=P_{n-m}(x,A)$ azonoss\'agot minden
$1\le m\le n$ sz\'amp\'arra, azaz a $P_{m,n}(x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'eg csak az $m$ \'es $n$ id\H{o}pont
k\"oz\"ott eltelt id\H{o}t\H{o}l f\"ugg.}
 
\medskip\noindent
{\bf Stacion\'arius Markov folyamatok
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek
definici\'oja.} {\it Egy \'ert\'ekeit valamely $(E,\Cal E)$
m\'erhet\H{o} t\'eren felvev\H{o} $X_t$, $t\ge0$,  folytonos idej\H{u}
stacion\'arius Markov folyamat \'atmenetval\'osz\'{\i}n\H{u}s\'eg\'en
a
$$
P(t,x,A)=P(X_{u+t}\in A|X_u=x)=P_{u,u+t}(x,A),\qquad t\ge0,\quad x\in
E, \quad A\in \Cal A,
$$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek rendszer\'et
\'ertj\"uk, amely a stacion\'arius tulajdons\'ag miatt nem f\"ugg az
$u\ge0$ param\'etert\H{o}l.
 
Hasonl\'ok\'eppen egy \'ert\'ekeit valamely $(E,\Cal E)$ m\'erhet\H{o}
t\'eren felvev\H{o} $X_n$, $n=1,2,\dots$, diszkr\'et idej\H{u}
stacion\'arius Markov folyamat \'atmenetval\'osz\'{\i}n\H{u}s\'eg\'en
a
$$
P(n,x,A)=P(X_{n+m}\in A|X_m=x)=P_{m,n+m}(x,A),\quad
n=1,2,\dots,\; x\in E, \; A\in \Cal A,
$$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek rendszer\'et \'ertj\"uk,
amely a stacion\'arius tulajdons\'ag miatt nem f\"ugg az $m=1,2,\dots$
param\'etert\H{o}l.}
\medskip\noindent
{\bf Megjegyz\'es:}\/ {\it Stacion\'arius folyamatokra az (e) \'es
(e$'$) tulajdons\'agok az el\H{o}bb bevezetett $P(t,x,A)$ \'es
$P(n,x,A)$, $x\in E$, $A\in\Cal E$, $n=0,1,2,\dots$,
\'atmenetval\'osz\'{\i}n\H{u}s\'egekkel a k\"ovetkez\H{o} form\'aban
\'{\i}rhat\'ok fel.
$$
P(s+t,x,A)=\int P(t,y,A)P(s,x,\,dy) \quad\text{ha }
s\ge0 \text{ \'es } t\ge0. \tag1
$$
\'es
$$
\align
P(m+n,x,A)=\int P(n,y,A)P(m,x,\,dy) \quad&\text{minden }
m=1,2,\dots\\
&\quad\text{\'es } n=1,2,\dots \text{ sz\'amra}. \tag2
\endalign
$$
Ezenk\'{\i}v\"ul a $P(t,x,A)$ illetve $P(n,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik az al\'abbi
tulajdons\'agokat: Minden r\"ogz\'{\i}tett $t$ illetve $n$
id\H{o}pontra \'es $x\in E$ pontra $P(t,x,\cdot)$ illetve
$P(n,x,\cdot)$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek. Minden $t$
illetve $n$ id\H{o}pontra \'es $A\in \Cal E$ halmazra $P(t,\cdot,A)$
illetve $P(n,\cdot,A)$ m\'erhet\H{o} f\"uggv\'enyek az
$(E,\Cal E)$ t\'eren. Tov\'abb\'a mind a folytonos mind a diszkr\'et
idej\H{u} Markov folyamatok eset\'en teljes\"ul a $P(0,x,A)=1$, ha
$x\in A$ \'es $P(0,x,A)=0$, ha $x\notin A$ rel\'aci\'o. A felsorolt
tulajdons\'agok jellemzik is a stacion\'arius Markov folyamatokat,
azaz minden (\'ert\'ekeit sz\'ep topol\'ogiai tulajdons\'agokkal
rendelkez\H{o} t\'eren, (p\'eld\'aul teljes szepar\'abilis metrikus
t\'eren) felvev\H{o} stacion\'arius Markov folyamathoz meg lehet
adni a felt\'eteles eloszl\'asokat a fenti tulajdons\'agokkal
rendelkez\H{o} \'atmenetval\'osz\'{\i}n\H{u}s\'egekkel.}
\medskip
A fent megfogalmazott (1) illetve (2) azonoss\'agot az irodalomban
Chapman--Kol\-mo\-go\-rov egyen\-let\-nek nevezik.
 
Legyen adva egy diszkr\'et idej\H{u} Markov folyamat, amely
\'ert\'ekeit valamely $(E,\Cal E)$ t\'eren veszi fel. A (2)
rel\'aci\'o szerint a Markov folyamat $P(x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egei teljes\'{\i}tik a
$$
P(n+1,x,A)=\int P(1,y,A)P(n,x,\,dy) \quad
\text{ minden } n=1,2,\dots \text{ sz\'amra.} \tag2a
$$
azonoss\'agot. Ez azt jelenti, hogy ha megadjuk a $P(1,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket, akkor $n$ sze\-rin\-ti
indukci\'oval ki tudjuk sz\'amolni a $P(n,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket minden $n=1,2,\dots$
sz\'amra. A k\"ovetkez\H{o} lemma ezen \'all\'{\i}t\'as
megford\'{\i}t\'asak\'ent te\-kint\-he\-t\H{o}. Azt mondja ki, hogy
amennyiben a $P(1,x,A)$ \'atmenet val\'osz\'{\i}n\H{u}s\'egeket
tetsz\H{o}leges, term\'eszetes felt\'eteleket teljes\'{\i}t\H{o}
m\'odon defini\'aljuk, akkor a (2a) formula seg\'{\i}ts\'eg\'evel
defini\'alt $P(n,x,A)$ kifejez\'esek teljes\'{\i}tik
a (2)~Chap\-man--Kol\-mo\-go\-rov egyenletet.
\medskip\noindent
{\bf Lemma.} {\it Legyen adva egy $P(x,A)$, $x\in E$, $A\in\Cal E$,
f\"uggv\'enyrendszer egy $(E,\Cal E)$ m\'erhet\H{o} t\'eren, amely
minden r\"ogz\'{\i}tett $x\in E$ pontra val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'ek \'es minden $A\in \Cal A$ halmazra m\'erhet\H{o}
f\"uggv\'eny az $(E,\Cal E)$ t\'eren. Vezess\"uk be a $P(0,x,A)=1$,
ha $x\in A$, $P(0,x,A)=0$, ha $x\notin A$, $P(1,x,A)=P(x,A)$,
$x\in E$, $A\in\Cal E$ f\"uggv\'enyeket, majd defini\'aljuk a
$P(n,x,A)$, $n=1,2,\dots$, $x\in E$, $A\in\Cal E$, $n=1,2,\dots$,
f\"uggv\'enyeket $n$ sze\-rin\-ti teljes indukci\'oval a (2a)
k\'eplet seg\'{\i}ts\'eg\'evel. Az \'{\i}gy defini\'alt $P(n,x,A)$
f\"uggv\'enyek teljes\'{\i}tik a k\"ovetkez\H{o} tulajdons\'agokat.
\medskip
\item{i.)} $P(n,x,\cdot)$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az
$E,\Cal E)$ t\'eren minden $n=1,2,\dots$ sz\'amra \'es $x\in E$
pontra.
\item{ii.)} $P(n,\cdot,A)$  m\'erhet\H{o} f\"uggv\'eny az
$(E,\Cal E)$ t\'eren minden $n=1,2,\dots$ sz\'amra \'es $x\in E$
pontra.
\item{iii.)} A $P(n,x,A)$ f\"uggv\'enyek teljes\'{\i}tik a (2)
Chapman--Kolmogorov egyenletet.}
\medskip\noindent
{\it Megjegyz\'es:}\/ A fent kimondott lemma f\H{o} mondanival\'oja
az, hogy megadva az 1 l\'ep\'eses $P(1,x,A)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeket \'ugy, hogy azok
teljes\'{\i}ts\'ek a sz\"uks\'eges felt\'eteleket term\'eszetes
m\'odon lehet defini\'alni egy olyan (stacion\'arius) Markov
folyamatot, amely\-nek ezek az 1 l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egei.
\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Az $n$ sz\'am szerinti teljes
indukci\'oval l\'athat\'o, (felhaszn\'alva az integr\'alok
tulajdons\'agait), hogy a $P(n,x,A)$ f\"uggv\'enyek teljes\'{\i}tik
az (1) \'es (2) tulajdons\'agokat. Tov\'abb\'a $m$ szerinti teljes
indukci\'oval kapjuk, felt\'eve az indukci\'os feltev\'est, mely
szerint a (2) azonoss\'ag teljes\"ul valamely $m$ eg\'esz \'es
minden $n=1,2,\dots$ sz\'amra, hogy \'erv\'enyes a k\"ovetkez\H{o}
azonoss\'ag:
$$
\int f(y)P(n+m,x,\,dy)=\int
\[\int f(y)P(m,z,\,dy)\] P(n,x,\,dz). \tag3
$$
(A (3) azonoss\'agba bele\'ertj\"uk azt is, hogy az
$\int f(y)P(m,z,\,dy)$ f\"uggv\'eny m\'erhet\H{o}, ez\'ert lehet az
integr\'alj\'ar\'ol besz\'elni.) Val\'oban, abban a speci\'alis
esetben, ha $f(y)=I_A(y)$, egy $A\in \Cal E$ halmaz indik\'ator
f\"uggv\'enye, akkor a (3) azonoss\'ag azt jelenti, hogy
$$
P(n+m,x,A)=\int P(m,z,A) P(n,x,\,dz),
$$
ami az indukci\'os feltev\'es szerint \'erv\'enyes azonoss\'ag.
Ezut\'an kiterjeszthetj\"uk ennek az azonoss\'agnak az
\'erv\'enyess\'eg\'et indik\'ator f\"uggv\'enyek
tet\-sz\H{o}\-le\-ges line\'aris kombin\'aci\'oira, majd
(egyenletes konvergencia seg\'{\i}ts\'eg\'evel v\'egrehajtott)
hat\'ar\'atmenet seg\'{\i}ts\'eg\'evel tet\-sz\H{o}\-le\-ges
m\'erhet\H{o} \'es korl\'atos f\"uggv\'enyre.
 
Alkalmazva a (3) formul\'at az $f(y)=P(1,y,A)$ f\"uggv\'enyre
valamely $A$ m\'erhet\H{o} halmaz seg\'{\i}ts\'eg\'evel azt
kapjuk, hogy
$$
\align
P(n+m+1,y,A)&=\int P(1,y,A)P(n+m,x,\,dy)\\
&=\int \[\int P(1,y,A)P(m,z,\,dy)\] P(n,x,\,dz) \\
&=\int P(m+1,z,A)P(n,x,\,dz).
\endalign
$$
Ez azt jelenti, hogy az indukci\'os feltev\'es\"unk $m+1$-re is
\'erv\'enyes, \'es ezt kellett bel\'atnunk.
\medskip
A k\"ovetkez\H{o} definici\'oban csak bizonyos az irodalomban elterjedt
sz\'ohaszn\'alatot vezet\"unk be.
\medskip\noindent
{\bf Markov l\'ancok definici\'oja.} {\it Ha egy (folytonos vagy
diszkr\'et idej\H{u} Markov folyamat egy $(E,\Cal E)$ m\'erhet\H{o}
t\'eren veszi fel az \'ert\'ekeit, akkor ezt az $(E,\Cal E)$ teret a
Markov folyamat \'allapotter\'enek h\'{\i}vjuk. Egy olyan Markov
folyamatot, amelynek \'allapottere egy v\'eges vagy
megsz\'aml\'alhat\'o sz\'amoss\'ag\'u halmaz (a diszkr\'et
topol\'ogi\'aval) Markov l\'ancnak nevezz\"uk.}
\medskip
A tov\'abbiakban (stacion\'arius) Markov l\'ancokkal fogunk
foglalkozni, azokon bel\"ul is els\H{o}sorban diszkr\'et idej\H{u}
Markov l\'ancokkal. A k\"ovetkez\H{o} jel\"ol\'est fogom haszn\'alni.
Jel\"olje az \'allapotokat $E_1,E_2,\dots$, \'es legyen
$P(n,j,k)=P(X_{n+m}=E_k|X_m=E_j)$, $m=1,2,\dots$, $n=0,1,2,\dots$
azaz $P(n,j,k)$ annak felt\'eteles val\'osz\'{\i}n\H{u}s\'ege, hogy
a Markov l\'anc az $n+m$ id\H{o}pontban az $E_k$ \'allapotba jut,
felt\'eve, hogy az $m$ id\H{o}pontban az $E_j$ \'allapotban volt.
Haszn\'aljuk tov\'abb\'a a $P(j,k)=P(1,j,k)$ jel\"ol\'est, azaz az
1-l\'ep\'eses $P(1,j,k)$ \'atmenetval\'osz\'{\i}n\H{u}s\'egekben
hagyjuk el az 1 koordin\'at\'at. Fel\'{\i}rom a Chapman--Kolmogorov
egyenl\H{o}tlens\'eget Markov l\'ancokra a fent bevezetett
jel\"ol\'essel.
$$
P(n+m,j,k)=\sum_l P(n,j,l)P(m,l,k) \tag4
$$
ahol az \"osszegz\'es v\'egigfut az \"osszes olyan $l$ indexen,
amelyre az $E_l$ \'allapot l\'etezik. Jel\"ol\'eseink szerint vagy
l\'etezik egy olyan $N$ pozit\'{\i}v eg\'esz sz\'am, hogy
$E_1,\dots,E_N$ az \"osszes lehets\'eges \'allapotok halmaza,
\'es ekkor $1\le l\le N$ az \"osszegz\'es a (4) formul\'aban, vagy
megsz\'aml\'alhat\'o sok $E_1,E_2,\dots$ a lehets\'eges \'allapotok
halmaza, \'es ekkor az \"osszegez\'es $1\le l<\infty$ indexel\'esre
t\"ort\'enik.
 
Ha adva van egy (v\'eges sok), $N$ \'allapotot felvev\H{o} Markov
l\'anc, akkor ennek 1-l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei\-nek
rendszer\'en a $P(j,k)$, $1\le j,k\le N$, 1 l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gei\-nek
\"osszess\'eg\'et, $n$-l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek rendszer\'en,
$n=1,2,\dots$, pedig a $P(n,j,k)$ val\'osz\'{\i}n\H{u}s\'egeinek
\"osszess\'eg\'et \'ertj\"uk. Term\'eszetes m\'odon
hoz\-z\'a\-ren\-del\-het\-j\"uk egy ilyen v\'eges sok, $N$
\'allapotot felvev\H{o} Markov l\'anc
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek $P(j,k)$ rendszer\'ehez
azt az $N\times N$ m\'eret\H{u} n\'egyzetes $\Pi$ m\'at\-ri\-xot,
amelynek $j$-ik sor\'anak \'es $k$-ik oszlop\'anak a metszet\'eben
a $P(j,k)$ sz\'am \'all. Hasonl\'oan feleltess\"uk meg egy ilyen
m\'at\-rix $n$ l\'ep\'eses \'atmenet val\'osz\'{\i}n\H{u}s\'egei
$P(n,j,k)$ rendszer\'enek azt a $\Pi_n$ m\'at\-ri\-xot, amelynek
$j$-ik sor\'anak \'es $l$-ik oszlop\'anak a metszet\'eben a
$P(n,j,k)$ sz\'am \'all. \'Erdemes bevezetni a sztochasztikus
m\'atrix fogalm\'at, amely le\'{\i}rja az ily m\'odon
l\'etrej\"ov\H{o} m\'at\-ri\-xo\-kat.
\medskip\noindent
{\bf Sztochasztikus m\'atrixok definici\'oja.} {\it Egy $N\times N$
m\'eret\H{u}  $(P(j,k))$, $1\le j,k\le N$, m\'atrixot sztochasztikus
m\'atrixnak nevez\"unk, ha  $P(j,k)\ge0$, $1\le j,k\le N$, a
m\'atrix minden elem\'ere, \'es $\summ_{k=1}^NP(j,k)=1$,
$1\le j\le N$, azaz a m\'atrix minden sor\"osszege eggyel
egyenl\H{o}.}
\medskip
A k\"ovetkez\H{o} egyszer\H{u} \'eszrev\'etel nagyon hasznos
v\'eges \'allapotter\H{u} Markov l\'ancok vizsg\'alat\'aban.
\medskip\noindent
{\bf Fontos \'eszrev\'etel.} {\it A fent ismertetett megfeleltet\'es
k\"olcs\"on\"osen egy\'ertelm\H{u} megfeleltet\'est l\'etes\'{\i}t
v\'eges \'allapotter\H{u} Markov l\'ancok 1-l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeinek rendszere \'es a
sztochasztikus m\'atrixok k\"oz\"ott. Tov\'abb\'a,  a
Markov l\'ancokr\'ol sz\'ol\'o (4) formul\'aban megfogalmazott
Chapman--Kolmogorov azonoss\'ag\'ab\'ol k\"ovetkezik, hogy ha egy
m\'atrix 1-l\'ep\'eses \'atmenetval\'osz\'{\i}n\H{u}s\'egeinek
rendszer\'ehez hozz\'arendelt m\'atrix $\Pi$, \'es az
$n$-l\'ep\'eses \'atmenetval\'osz\'{\i}n\H{u}s\'egeinek
rendszer\'ehez hozz\'arendelt m\'atrix $\Pi_n$, akkor $\Pi_n=\Pi^n$,
ahol $\Pi^n$ a $\Pi$ m\'atrix $n$-ik hatv\'any\'at jel\"oli
a szok\'asos m\'atrix szorz\'as \'ertelm\'eben.}
\medskip
A `Fontos \'eszrev\'etel' lehet\H{o}v\'e teszi, hogy m\'atrix
elm\'eleti eredm\'enyek seg\'{\i}ts\'eg\'evel fontos eredm\'enyeket
\'allap\'{\i}tsunk meg v\'eges \'allapotter\H{u} Markov l\'ancok
viselked\'es\'er\H{o}l. Ezt a m\'odszert csak \'erint\H{o}legesen
fogom t\'argyalni. A tov\'abbiakban els\H{o}sorban a mind v\'eges
mind v\'egtelen \'allapotter\H{u} Markov l\'ancok
viselked\'es\'er\H{o}l sz\'ol\'o alapvet\H{o} eredm\'enyek
ismertet\'es\'ere fogok koncentr\'alni.
 
Mutatok n\'eh\'any p\'eld\'at Markov l\'ancokra \'es folyamatokra.
 
\medskip\noindent
{\it N\'eh\'any \'erdekes Markov folyamat \'es Markov l\'anc
definici\'oja.}
 
\medskip
\item{1.)} Legyen $X_1,X_2,\dots$, f\"uggetlen egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozata, amelyek
\'ert\'ekeiket valamely $E$ line\'aris t\'erben veszik fel. Tegy\"uk
fel tov\'abb\'a, hogy ezek az $X_1,X_2,\dots,$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy megsz\'aml\'alhat\'o,
$T=\{t_1,t_2,\dots\}$, halmazon veszik fel az \'ert\'ekeiket, azaz
$P(X_1\notin T)=0$. Defini\'aljuk az $S_n=\summ_{j=1}^n X_j$,
$n=1,2,\dots$, r\'eszlet\"osszegeket, \'es a $S\subset E$
(megsz\'aml\'alhat\'o) halmazt melynek elemei azok az $s\in E$
elemek, amelyek el\H{o}\'all\'{\i}that\'oak $s=\summ_{j=1}^k t_j$
$k=1,2,\dots$, $t_j\in T$, $1\le j\le k$, alakban. Ekkor
$S_1,S_2,\dots$, Markov l\'anc az $S$ \'allapott\'eren, amelynek
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit a $P(S_{n+1}=\bar
s|S_n=s)=P(X_1=\bar s-s)$, $s,\bar s\in S$, k\'eplet adja meg.
Ugyancsak Markov l\'ancot alkotnak ugyanezen a t\'eren \'es
ugyanezekkel az \'atmenetva\'osz\'{\i}n\H{u}s\'egekkel az $\bar
S_n=S_n+t_j$, $n=1,2,\dots$, sorozatok is, ahol $t_j\in T$
tetsz\H{o}leges sz\'am. \medskip
 
Val\'oban,
$$
\align
&P(S_{n+1}=s_{n+1}|S_n=s_n,\dots, S_1=s_1)=
\frac{P(S_{n+1}=s_{n+1},S_n=s_n,\dots, S_1=s_1)}
{P(,S_n=s_n,\dots, S_1=s_1)}\\
&\qquad =\frac{P(X_{n+1}=s_{n+1}-s_n,X_n=s_n-s_{n-1},\dots, X_1=s_1)}
{P(X_n=s_n-s_{n-1},\dots, X_1=s_1)}\\
&\qquad =P(X_{n+1}=s_{n+1}-s_n)=P(X_1=s_{n+1}-s_n).
\endalign
$$
\medskip\noindent
{\it Feladat:}\/ Ha $(X_1,X_2,\dots)$ olyan a term\'eszetes
sz\'amokkal indexelt sztochasztikus folyamat egy megsz\'aml\'alhat\'o
sz\'amoss\'ag\'u $(E,\Cal E)$ \'allapott\'eren, amely teljes\'{\i}ti
az
$$
\align
&P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n},\dots,X_1=E_{j_1})=
P(X_{n+1}=E_{j_{n+1}}|X_n=E_{j_n})\\
&\qquad P(X_2=E_{j_{n+1}}|X_1=E_{j_n})
\endalign
$$
azonoss\'agot, akkor $(X_1,X_2,\dots)$ (stacion\'arius) Markov l\'anc,
amelynek egy l\'ep\'eses
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-geit
a $P(j,k)=P(X_2=E_j|X_1=E_k)$ k\'eplet adja meg.
\medskip
\'Erv\'enyes az 1.) p\'elda al\'abbi term\'eszetes
\'altal\'anos\'{\i}t\'asa tetsz\H{o}leges
(nem felt\'etlen\"ul megsz\'aml\'alhat\'o sok \'ert\'eket felvev\H{o})
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok r\'eszlet\"osszegeire. Az
\'al\-ta\-l\'a\-no\-s\'{\i}\-t\'as bizony\'{\i}t\'asa annyiban
nehezebb, hogy abban \'altal\'anos \'ertelemben vett felt\'eteles
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel kell sz\'amolni.
\item{2.)} Legyenek $X_1,X_2,\dots$, f\"uggetlen, egyforma
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
amelyek \'ert\'ekeiket valamely $(E,\Cal E)$ line\'aris t\'erben
veszik fel. Ekkor az $S_n=\summ_{j=1}^nX_j$, $j=1,2,\dots$,
r\'eszlet\"osszegek (stacion\'arius) Markov folyamatot alkotnak az
$(E,\Cal E)$ t\'eren, amelynek 1 l\'ep\'eses
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit a $P(1,x,A)=P(S_{n+1}\in
A|S_n=x)=P(X_1\in A-x)$ k\'eplet adja meg.
\medskip\noindent
{\it Nem k\"otelez\H{o} feladat.}\/ Bizony\'{\i}tsuk be, hogy a 2.
p\'elda \'all\'{\i}t\'asa val\'oban igaz.
\medskip
K\"ul\"on feladatban megfogalmazom azt a felt\'eteles
eloszl\'asokr\'ol sz\'ol\'o \'all\'{\i}t\'ast, amely az
el\H{o}z\H{o} feladat megold\'as\'anak a l\'enyege.
\medskip \noindent
{\it Feladat:}\/ Legyenek $X_1,\dots,X_k,Y$ f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, amelyek \'ert\'ekeiket
valamely $(E,\Cal E)$ t\'eren veszik fel, $f(x_1,\dots,x_{k+1})$
egy $k$-v\'altoz\'os m\'erhet\H{o} (korl\'atos) f\"ugg\-v\'eny az
$(E,\Cal E)$ t\'eren. Ekkor
$$
E(f(X_1,\dots,X_k,Y)|X_1=x_1,\dots,X_k=x_k)=Ef(x_1,\dots,x_k,Y).
$$
\medskip
Vegy\"uk \'eszre, hogy az el\H{o}z\H{o} feladat eredm\'eny\'eb\H{o}l,
(amely egy\'ebk\'ent tekinthet\H{o} a Fubini t\'etel egy
verzi\'oj\'anak) k\"ovetkezik a 2. p\'elda \'all\'{\i}t\'asa.
Val\'oban, ezt felhaszn\'alva meg lehet mutatni, hogy
$$
\align
&P(S_{n+1}\in A|S_1=x_1,S_2=x_2,\dots,S_n=x_n)\\
&\qquad =P(X_1+\cdots+X_n+Y\in
A|X_1=x_1,X_2=x_2-x_2,\dots,X_n=x_n-x_{n-1})\\
&\qquad =P(x_1+(x_2-x_1)+\cdots+(x_n-x_{n-1})+Y\in A)=P(X_1\in A-x_n)
\endalign
$$
ahol, $X_1,\dots,X_n,Y)$ f\"uggetlen egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, melyek \'er\-t\'e\-kei\-ket
valamely $(E,\Cal E)$ line\'aris t\'erben veszik fel.
 
\medskip
A k\"ovetkez\H{o} \'all\'{\i}t\'as a 2. p\'elda term\'eszetes
megfelel\H{o}je folytonos idej\H{u} sztochasztikus folyamatokra.
\medskip
\item{3.)} Legyen $X(t)$, $t\ge0$, f\"uggetlen \'es stacion\'arius
n\"ovekm\'eny\H{u} sztochasztikus folyamat. Ekkor $X(t)$
(stacion\'arius) Markov folyamat. Speci\'alisan, Markov folyamat a
Wiener folyamat \'es a Poisson folyamat. Ugyancsak stacion\'arius
Markov folyamat a $d$-v\'altoz\'os Wiener folyamat. Ez ut\'obbit
\'ugy defini\'aljuk, mint egy $(W_1(t),\dots,W_k(t))$ \'ert\'ekeit
a $d$-dimenzi\'os t\'erben felvev\H{o} sztochasztikus folyamatot,
amelynek koor\-di\-n\'a\-t\'ai, $W_1(\cdot)$,\dots, $W_k(t)$
f\"uggetlen Wiener folyamatok.
\medskip
\item{4.)} A $Z(t)=\frac{W(e^t)}{e^{t/2}}$, \'ugynevezett
Ornstein-Uhlenbeck folyamat, ahol $W(\cdot)$ Wiener folyamat,
stacion\'arius Markov folyamat. Az, hogy ez Markov folyamat,
k\"ovetkezik abb\'ol a t\'enyb\H{o}l, hogy a Wiener folyamat
is Markov folyamat. M\'asr\'eszt l\'attuk kor\'abban, hogy az
Ornstein--Uhlenbeck folyamat stacion\'arius, \'es ennek a
t\'enynek a se\-g\'{\i}t\-s\'e\-g\'e\-vel nem neh\'ez bel\'atni,
hogy stacion\'arius Markov folyamat.
\medskip
Fontoss\'aga miatt \'erdemes k\"ul\"on p\'eldak\'ent felsorolni az 1.
p\'elda egy speci\'alis eset\'et, amelyben \'ugynevezett v\'eletlen
bolyong\'asokat tekint\"unk.
\medskip
\item{5.)} Tekints\"unk egy v\'eletlen bolyon\'ast a $d$-dimenzi\'os
r\'acson, azaz a
$$
Z=\{(j_1,\dots,j_d)\colon -\infty<j_s<\infty, \;j_s\text{ eg\'esz
sz\'am,} \quad 1\le s\le d\}
$$
halmazon. Ezt \'ugy defini\'aljuk, hogy ha a bolyong\'ast
v\'egz\H{o} r\'eszecske az $n$-ik id\H{o}pontban a $Z$ r\'acs
valamelyik pontj\'aban tart\'ozkodik, akkor a m\'ultbeli
vi\-sel\-ke\-d\'es\-t\H{o}l f\"uggetlen\"ul egyforma, azaz
$\frac1{2d}$ val\'osz\'{\i}n\H{u}s\'eggel \'atugrik valamelyik
szomsz\'edos r\'acspontba. Azaz, ha $S_n$-nel jel\"olj\"uk a
r\'eszecske tartozk\'od\'asi hely\'et az $n$ id\H{o}pntban, akkor
az $S_n-S_{n-1}$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
$n=1,2,\dots$, f\"uggetlenek, \'es
$P(S_n-S_{n-1}=e_j)=P(S_n-S_{n-1}=-e_j)=\frac1{2d}$ minden
$n=1,2,\dots$, $1\le j\le d$ sz\'amra, ahol $e_j$ jel\"oli azt a
vektort, amelynek $j$-ik koordin\'at\'aja 1, \'es az \"osszes
t\"obbi koordin\'at\'aja nulla. A definici\'o teljess\'ege
\'erdek\'eben m\'eg defini\'alnunk kell az $S_0$
mennyis\'eget is. Legyen $P(S_0=x)=1$, ahol $x\in Z$ a
$d$-dimenzi\'os t\'er valamely r\"ogz\'{\i}tett r\'acspontja.
\medskip
\item{6.)}{\it V\'eletlen bolyong\'as a nem negat\'{\i}v eg\'esz
sz\'amokon, a 0-val, mint elnyel\H{o} fallal.}\/ Az el\H{o}z\H{o}
p\'eld\'ahoz hasonl\'o modell a $d=1$ esetben, amely bolyong\'ast
valamely $x\ge0$ pontban ind\'{\i}tunk el, azzal a k\"ul\"onbs\'eggel,
hogy amennyiben a bolyong\'as el\'er a null\'aba, akkor \"or\"okre
ottmarad. Ez k\'epletekben azt jelenti, hogy az
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek a
$P(j,j+1)=P(j,j-1)=\frac12$, ha $j\ge1$, \'es $P(0,0)=1$ k\'epletekkel
adhat\'oak meg.
\medskip
\item{7.)}{\it V\'eletlen bolyong\'as a nem negat\'{\i}v eg\'esz
sz\'amokon, a 0-val, mint visszaver\H{o} fallal.}\/ Az el\H{o}z\H{o}
p\'eld\'ahoz hasonl\'o modell azzal a k\"ul\"onbs\'eggel, hogy
amennyiben a bolyong\'as el\'er a null\'aba, akkor onnan
visszaver\H{o}dik. Ez k\'epletekben azt jelenti, hogy az
\'atmenetval\'osz\'{\i}n\H{u}s\'egek a $P(j,j+1)=P(j,j-1)=\frac12$,
ha $j\ge1$, \'es $P(0,1)=1$ k\'epletekkel adhat\'oak meg.
\medskip
\item{8.)}{\it A diffuzi\'o Ehrenfest modellje.}\/ Ez v\'eges
\'allapotter\H{u} Markov l\'anc.  E Markov l\'anc f\"ugg egy $N$
param\'etert\H{o}l, amely pozit\'{\i}v eg\'esz sz\'am. Ha ez a
param\'eter $N$, akkor a modellben $N+1$ \'allapot van,
$E_0,E_1,\dots,E_N$, \'es az \'atmenetval\'osz\'{\i}n\H{u}s\'egek
$P(k,k-1)=\frac kN$, $P(k,k+1)=\frac{N-k}N$, ha
$1\le k\le N$, \'es $P(0,1)=1$, $P(N,N-1)=0$. E k\'epletek
szeml\'eletes tartalma a k\"ovetkez\H{o}: Legyen $N$ r\'eszecske,
amelyek mindegyike k\'et urna valamelyik\'eben van, \'es jel\"olje
$E_k$ azt az esem\'enyt, hogy az els\H{o} urn\'aban $k$ r\'eszecske,
a m\'asodik urn\'aban $N-k$ r\'eszecske van. Minden egyes
id\H{o}pontban, kiv\'alasztunk v\'eletlen\"ul egy r\'eszecsk\'et,
mindegyik r\'eszecsk\'et egyforma val\'osz\'{\i}n\H{u}s\'eggel,
\'es azt \'athelyezz\"uk a m\'asik urn\'aba. Ekkor, ha az els\H{o}
urn\'aban $k$ goly\'o van, akkor $P(k,k-1)=\frac kN$ annak a
val\'osz\'{\i}n\H{u}s\'ege, hogy az \'athelyezend\H{o}
r\'eszecsk\'et az els\H{o} urn\'ab\'ol v\'alasztottuk, ez\'ert az
els\H{o} urn\'aban lev\H{o} r\'eszecsk\'ek sz\'ama eggyel cs\"okken,
\'es $P(k,k+1)=\frac{N-k}N$, annak a val\'osz\'{\i}n\H{u}s\'ege, hogy
az \'athelyezend\H{o} r\'eszecsk\'et a m\'asodik urn\'ab\'ol
v\'alasztottuk, ez\'ert az els\H{o} urn\'aban lev\H{o}
r\'eszecsk\'ek sz\'ama eggyel n\H{o}.
\medskip
\item{9.)} {\it Modell egy szerkezet \'elettartam\'ara.}\/ Legyen
adva egy Markov l\'anc a v\'egtelen $E_1$, $E_2$,\dots
\'allapott\'eren, amelynek \'atmenetval\'osz\'{\i}n\H{u}s\'egeit
valamely $p_1,p_2,\dots$, $0\le p_k\le 1$, \'es $q_k=1-p_k$,
$k=1,2,\dots$, sz\'amsorozat seg\'{\i}ts\'eg\'evel hat\'arozzuk meg
a k\"ovetkez\H{o} m\'odon: $P(k,k+1)=p_k$, $P(k,1)=q_k$, $k=1,2,\dots$.
E modell szeml\'eletes tartalma a k\"ovetkez\H{o}: Legyen adva egy
szerkezet, amelyet minden id\H{o}pontban, ha nem romlik el, akkor
tov\'abb haszn\'alunk, \'es \'eletkora egy egys\'eggel n\H{o}.
Ha elromlik, akkor kicser\'elj\"uk egy \'uj szerkezetre, amelynek
\'eletkora 1. Jel\"olje  $X_n$ azt a val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ot, amely megadja azt, hogy mennyi az $n$ id\H{o}pontban
haszn\'alt szerkezet \'eletkora.
 
 
\medskip
\item{10.)} V\'eg\"ul mutatok p\'eld\'at val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok olyan sorozat\'ara, amely nem alkot Markov l\'ancot.
Legyen adva egy urna \'es benne mondjuk 5 piros \'es 3 feh\'er
goly\'o. Kih\'uzunk az urn\'ab\'ol egy goly\'ot v\'eletlenszer\H{u}en,
majd dobjuk vissza azt az urn\'aba egy ugyan\-olyan sz\'{\i}n\H{u}
goly\'oval egy\"utt. Folytassuk ezt a procedur\'at a v\'egtelens\'egig,
\'es de\-fi\-ni\-\'al\-juk az $X_1,X_2,\dots$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat \'ugy, hogy $X_n=1$, ha a $n$-ik h\'uz\'askor
kih\'uzott goly\'o sz\'{\i}ne piros, \'es  $X_n=0$, ha az $n$-ik
h\'uz\'askor kih\'uzott goly\'o sz\'{\i}ne feh\'er. Ekkor
ny\'{\i}lv\'anval\'oan
$P(X_n=1|X_1=1,X_2=1,\dots,X_{n-1}=1)>P(X_n=1|X_{n-1}=1)$, mert ha
minden eddigi h\'uz\'as eredm\'enye piros sz\'{\i}n\H{u} goly\'o volt,
akkor az urn\'aban lev\H{o} piros goly\'ok sz\'am\'at n\"ovelt\"uk,
ez\'ert nagyobb annak a val\'osz\'{\i}n\H{u}s\'ege, hogy a
k\"ovetkez\H{o} h\'uz\'asban is piros goly\'ot h\'uzunk.
 
 
\bye
