\magnification=\magstep1
\input amstex
\hsize=16truecm
\parskip=2.5pt plus 1pt
\TagsOnRight

\define\A{{\bold A}}
\define\BB{{\bold B}}
\define\DD{{\bold D}}
\define\T{{\bold T}}
\define\U{{\bold U}}
\define\({\left(}
\define\){\right)}
\define\[{\left[}
\define\]{\right]}
\define\e{\varepsilon}
\define\oo{\omega}
\define\const{\text{\rm const.}\,}
\define\Var{\text{\rm Var}\,}
\define\Cov{\text{\rm Cov}\,}
\define\VV{\tilde V}
\define\vv{\tilde v}
\define\eeta{\tilde\eta}
\define\supp {\sup\limits}
\define\inff{\inf\limits}
\define\summ{\sum\limits}
\define\prodd{\prod\limits}
\define\limm{\lim\limits}
\define\limsupp{\limsup\limits}
\define\liminff{\liminf\limits}
\define\bigcapp{\bigcap\limits}
\define\bigcupp{\bigcup\limits}
\def\Re{\text{\rm Re}\,}
\font\script=cmcsc10

\centerline{\bf Az inform\'aci\'osz\'am\'{\i}t\'as n\'eh\'any fontos
fogalma \'es eredm\'enye.}

\beginsection 1. Az entr\'opia \'es felt\'eteles entr\'opia fogalma
\'es tulajdons\'agai.

Annak \'erdek\'eben, hogy meg\'erts\"uk az entr\'opia fogalm\'at
\'es azt, hogy milyen probl\'em\'ak vezettek annak
megalkot\'as\'ahoz tekints\"uk a k\"ovetkez\H{o} k\'erd\'est.
Tudunk-e nyerni a tot\'on, ha j\'ol ismerj\"uk a tot\'oban
szerepl\H{o} csapatok erej\'et, \'es ez\'ert nagy
val\'osz\'{\i}n\H{u}s\'eggel meg tudjuk tippelni a
m\'erk\H{o}z\'esek eredm\'eny\'et? Mivel igaz\'an nagy nyerem\'enyt
csak telital\'alatos szelv\'ennyel lehet nyerni, foglalkozunk
azzal a k\'erd\'essel, hogy h\'any szelv\'enyt kell
kit\"olteni a telital\'alat el\'er\'ese \'erdek\'eben annak,
aki \'ert \'es annak aki nem \'ert a futballhoz. Azt v\'arjuk,
hogy egy futballhoz \'ert\H{o}nek sokkal jobbak a nyer\'esi
es\'elyei. Ez \'{\i}gy is van. De ahhoz, hogy ezt jobban
meg\'erts\"uk \'es a probl\'em\'at alaposabban vizsg\'alhassuk
el\H{o}sz\"or meg kell fogalmazni a k\'erd\'est pontosabban.

Ha biztos telital\'alatot szeretn\'enk el\'erni, akkor hi\'aba
tudjuk az eredm\'enyeket nagy, de nem 100 sz\'azal\'ekos
biztons\'aggal eltal\'alni,  c\'elunkat csak \'ugy \'erhetj\"uk el,
ha minden lehets\'eges kimenetre fogadunk. Ebben az esetben
teh\'at nem tudunk m\'ast tenni, mint egy olyan fogad\'o, aki
semmit sem tud az egyes m\'erk\H{o}z\'esek val\'osz\'{\i}n\H{u}
eredm\'eny\'er\H{o}l.
M\'as azonban a helyzet, ha megel\'egsz\"unk azzal, hogy nagy,
mondjuk $0.95$ val\'osz\'{\i}n\H{u}s\'eggel nyerj\"unk. Ekkor a
futballhoz \'ert\H{o} hat\'arozott el\H{o}nyben van a futballhoz
nem \'ert\H{o}vel szemben. Neki sokkal kevesebb szelv\'enyt kell
kit\"olteni e c\'el el\'er\'ese \'erdek\'eben, mint a m\'asiknak.
M\'asr\'eszt elk\'epzelhet\H{o}, hogy \'erdemes tot\'ozni, ha 10000
szelv\'eny kit\"olt\'es\'evel tudjuk biztos\'{\i}tani a majdnem
biztos nyer\'est, de nem \'erdemes akkor, ha ehhez 100000
szelv\'enyt kell kit\"olten\"unk.

A fenti k\'erd\'es term\'eszetesen elvezet a k\"ovetkez\H{o}
probl\'em\'ahoz. Tegy\"uk fel, hogy $n$ m\'erk\H{o}z\'es van, ezek
eredm\'enye egym\'ast\'ol f\"uggetlen, \'es meg tudjuk it\'elni,
hogy a p\'alyav\'alaszt\'o $p_1$,
a vend\'egcsapat $p_2$ val\'osz\'{\i}n\H{u}s\'eggel nyer,
\'es $p_3$ val\'osz\'{\i}n\H{u}s\'eggel lesz az eredm\'eny
d\"ontetlen. Tegy\"uk fel, hogy ezek a $p_1$, $p_2$ \'es $p_3$
val\'osz\'{\i}n\H{u}s\'egek mindegyik tal\'alkoz\'on ugyanazok
a sz\'amok, \'es az egyes m\'erk\H{o}z\'esek eredm\'enyei
egym\'ast\'ol f\"uggetlenek. Jel\"olj\"uk a p\'alyav\'alaszt\'o
nyer\'es\'enek bek\"ovetkezt\'et 1-gyel, a
ven\-d\'eg\-csa\-pa\-t\'et 2-vel, a d\"ontetlen eredm\'enyt
pedig $x$-szel,  \'ugy ahogy az a tot\'oban szok\'as. Arra
vagyunk kiv\'ancsiak, hogy h\'any tippet, h\'any $n$
hossz\'us\'ag\'u 1, 2, $x$ sorozatot kell megadnunk ahhoz, hogy
$p$ val\'osz\'{\i}n\H{u}s\'eggel ezen tippek valamelyike
tartalmazza az \"osszes m\'erk\H{o}z\'es helyes
v\'egeredm\'eny\'et. A $p$ sz\'am egy az 1 sz\'amn\'al kicsit
kisebb r\"ogz\'{\i}tett (azaz a m\'erk\H{o}z\'esek $n$
sz\'am\'at\'ol nem f\"ugg\H{o}) sz\'am,
\'es minket az \'erdekel, hogy k\"or\"ulbel\"ul h\'any tippet
kell megadnunk c\'elunk el\'er\'ese \'erdek\'eben akkor, ha $n$,
azaz a m\'erk\H{o}z\'esek sz\'ama nagyon nagy. Vil\'agos, hogy ez
a sz\'am f\"ugg a $p_1$, $p_2$ \'es $p_3$ sz\'amokt\'ol, azaz
att\'ol, hogy milyen biztons\'aggal tudjuk megtippelni az
eredm\'enyeket. Az, hogy semmit nem tudunk a lehets\'eges
v\'egeredm\'enyr\H{o}l azt jelenti, hogy $p_1=p_2=p_3=\frac13$.

El\H{o}sz\"or pongyol\'an fogalmazom meg az eredm\'enyeket,
\'es azokra egy heurisztikus indokl\'ast adok, majd megadom
az \'all\'{\i}t\'asok \'es felhaszn\'alt fogalmak pontos
megfogalmaz\'as\'at az \'altal\'anos esetben, \'es ismertetem
a prec\'{\i}z bizony\'{\i}t\'asokat.

Meg tudjuk mondani, hogyan kell kit\"olteni a szelv\'enyeket,
ha pontosan $k$ tippet tehet\"unk, \'es az a c\'elunk, hogy a
lehet\H{o} legnagyobb val\'osz\'{\i}n\H{u}s\'eggel legyen
telital\'alatunk. Ha $k=1$, akkor a m\'erk\H{o}z\'essorozat
legval\'osz\'{\i}n\H{u}bb eredm\'eny\'ere \'erdemes tippelni.
Ha $k=2$, akkor a k\'et legval\'osz\'{\i}n\H{u}bb eredm\'enyre
tippelj\"unk, \'es \'altal\'anos $k$ eset\'en a legjobb
strat\'egia a $k$ legval\'osz\'{\i}n\H{u}bb eredm\'enyre
fogadni. Ezut\'an ha meghat\'arozzuk, hogy melyik az a
legkisebb $k=k(n)$ sz\'am, amelyre  a $k$
legval\'osz\'{\i}n\H{u}bb eredm\'eny valamelyike legal\'abb $p$
val\'osz\'{\i}n\H{u}s\'eggel bek\"ovetkezik, akkor
megoldjuk a feladatot. Ennek a $k=k(n)$ sz\'amnak a pontos
meghat\'aroz\'asa azonban neh\'ez. Enn\'el sokkal
egyszer\H{u}bb az al\'abbi \'ervel\'es, amely a nagy
sz\'amok (gyenge) t\"orv\'enye seg\'{\i}ts\'eg\'evel
j\'o k\"ozel\'{\i}t\H{o} \'ert\'eket ad a keresett $k=k(n)$
sz\'amra.

Be fogjuk l\'atni, hogy akkor \'erhet\H{o} el, hogy majdnem
1~val\'osz\'{\i}n\H{u}s\'eggel lesz te\-li\-ta\-l\'a\-la\-tunk $n$
m\'erk\H{o}z\'es tippel\'ese sor\'an, ha k\"or\"ulbel\"ul $2^{Hn}$
szelv\'enyt t\"olt\"unk ki al\-kal\-mas m\'odon, ahol $H$ egy
a $p_1$, $p_2$ \'es $p_3$ val\'osz\'{\i}n\H{u}s\'egekt\H{o}l
f\"ugg\H{o} sz\'am. Azaz, exponenci\'alisan sok szelv\'enyt kell
kit\"olteni, de az hogy milyen $H$ egy\"utthat\'o szerepel a
kitev\H{o}ben att\'ol f\"ugg, hogy milyen biztons\'aggal tudjuk
eltal\'alni a m\'erk\H{o}z\'esek eredm\'eny\'et. Ennek a $H$
sz\'amnak a kisz\'am\'{\i}t\'asa vezet el az entr\'opia
fogalm\'anak be\-ve\-ze\-t\'e\-s\'e\-hez.

A m\'erk\H{o}z\'essorozat eredm\'enye egy $n$ hossz\'us\'ag\'u
v\'eletlen 1, 2 \'es $x$ jelekb\H{o}l \'all\'o sorozat, ahol
mindegyik jel a t\"obbiekt\H{o}l f\"uggetlen\"ul $p_1$
val\'osz\'{\i}n\H{u}s\'eggel vesz fel 1 $p_2$
val\'osz\'{\i}n\H{u}s\'eggel 2 \'es $p_3$
val\'osz\'{\i}n\H{u}s\'eggel $x$ \'ert\'eket. C\'elunk
viszonylag kev\'es sorozat kiv\'alaszt\'asa \'ugy, hogy annak
val\'osz\'{\i}n\H{u}s\'ege, hogy a megjelen\H{o} v\'eletlen
sorozat ezen sorozatok valamelyike legyen majdnem 1. Vegy\"uk
\'eszre, hogy a nagy sz\'amok (gyenge) t\"orv\'enye szerint
majdnem minden sorozat olyan, hogy k\"or\"ulbel\"ul $np_1$
darab 1 \'ert\'eket, $np_2$ darab 2 \'ert\'eket \'es
$np_3$ darab $x$ \'ert\'eket tartalmaz. Nevezz\"unk egy
ezzel a tulajdons\'aggal rendelkez\H{o} sorozatot tipikusnak.
Nagy $n$ sz\'amra el\'eg a tipikus sorozatokra tippelni, mert
annak a val\'osz\'{\i}n\H{u}s\'ege, hogy valamelyik nem tipikus
sorozat jelenik meg majdnem nulla. Ez\'ert azt kell
meghat\'aroznunk, hogy h\'any tipikus sorozat van.

A tipikus sorozatok sz\'am\'at a k\"ovetkez\H{o} heurisztikus
\'ervel\'es seg\'{\i}ts\'eg\'evel ha\-t\'a\-roz\-hat\-juk meg.
Egy r\"ogz\'{\i}tett tipikus sorozat megjelen\'es\'enek a
val\'osz\'{\i}n\H{u}s\'ege k\"or\"ulbel\"ul
$p_1^{np_1}p_2^{np_2}p_3^{np_3}$, a tipikus
sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege majdnem 1, ez\'ert
a tipikus sorozatok sz\'ama k\"or\"ulbel\"ul
$\frac1{p_1^{np_1}p_2^{np_2}p_3^{np_3}}=2^{nH}$,
ahol $H=-p_1\log p_1-p_2\log p_2-p_3\log p_3$. Itt \'es
a tov\'abbiakban is a $\log$ jel 2-es alap\'u logaritmust fog
jelenteni. A term\'eszetes logaritmust az $\ln$ kifejez\'es
fogja jel\"olni.

Megfogalmazom \'es bebizony\'{\i}tom a fenti heurisztikus
\'ervel\'es seg\'{\i}ts\'eg\'evel kapott eredm\'eny egy
ter\-m\'e\-sze\-tes \'altal\'anos\'{\i}t\'as\'at.
El\H{o}tte ismertetem az eredm\'enyben megjelen\H{o} entr\'opia
fogalm\'at.

\medskip\noindent
{\bf Entr\'opia definici\'oja.}\/ {\it Legyen $\xi$ egy
\'ert\'ekeit egy v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen
$X=\{x_1,x_2,\dots\}$ halmazon felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$P(\xi=x_j)=p(x_j)$, $j=1,2,\dots$, ahol $\summ_j p(x_j)=1$. A
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o entr\'opi\'aja a
$$
H(\xi)=-\sum_j p(x_j)\log p(x_j)
$$
esetleg v\'egtelen \'ert\'eket felvev\H{o} mennyis\'eg, ahol
$\log$ a 2-es alap\'u logaritmust jel\"oli.}

\medskip\noindent
{\bf 1.~Megjegyz\'es.} {\it K\'enyelmi okokb\'ol megengedj\"uk,
hogy az entr\'opia fenti definici\'oj\'aban $P(\xi=x_j)=0$ legyen
bizonyos $x_j$ \'ert\'ekekre. Annak \'erdek\'eben, hogy a
definici\'o ebben az esetben is \'ertelmes legyen bevezetj\"uk
a $0\log 0=0$ konvenci\'ot.}

\medskip\noindent
{\bf 2.~Megjegyz\'es.} {\it Ha t\"obb $\xi_1,\dots,\xi_k$ v\'eges
vagy megsz\'aml\'alhat\'o sok \'ert\'eket felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'onk van, akkor ezek
egy\"uttes $H(\xi_1,\dots,\xi_k)$ entr\'opi\'aj\'at \'ugy
de\-fi\-ni\-\'al\-juk, hogy a $\xi_1,\dots,\xi_k$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o sorozatot term\'eszetes
m\'odon azonos\'{\i}tjuk a $(\xi_1,\dots,\xi_k)$ v\'eletlen
vektorral, \'es annak entr\'opi\'aj\'at defini\'aljuk, mint
a $H(\xi_1,\dots,\xi_k)$ entr\'opi\'at. Ter\-m\'e\-sze\-te\-sen
a tekintett v\'eletlen vektor eloszl\'as\'at a
$$
P((\xi_1,\dots,\xi_k)=(x^{(1)}_{i_1},\dots,x^{(k)}_{i_k}))
=P(\xi_1=x^{(1)}_{i_1},\dots,\xi_k=x^{(k)}_{i_k})
$$
k\'eplet defini\'alja minden
$x^{(1)}_{i_1},\dots,x^{(k)}_{i_k}$ sorozatra.}

\medskip
Vegy\"uk \'eszre, hogy egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o entr\'opi\'aja nem f\"ugg att\'ol, hogy $\xi$ milyen
\'ert\'ekeket vesz fel. Az csak a val\'osz\'{\i}n\H{u}s\'egi
mez\H{o}nek a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal
meghat\'arozott partici\'oj\'at\'ol f\"ugg, azaz att\'ol a
partici\'ot\'ol, amelynek elemei a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o n\'{\i}v\'ohalmazai, vagyis azok a halmazok, ahol $\xi$
valamilyen r\"ogz\'{\i}tett \'ert\'eket vesz fel. Hasonl\'o
megjegyz\'es \'erv\'enyes a k\'es\H{o}bb bevezetend\H{o} felt\'eteles
entr\'opi\'ara is.

A k\"ovetkez\H{o} eredm\'enyt fogjuk bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol.}
{\it Legyen $\xi$ egy \'ert\'ekeit valamely v\'eges
$X=\{x_1,x_2,\dots,x_r\}$ halmazon f\"olvev\H{o}
val\-\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o,
$\xi_1,\dots,\xi_n$ pedig f\"uggetlen, a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok sorozata. Ekkor
minden $\e>0$ \'es $\delta>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e,\delta)$ k\"usz\"obindex, hogy $n\ge n_0$ eset\'en
minden a $P((\xi_1,\dots,\xi_n)\in A)\ge\delta$ felt\'etelt
teljes\'{\i}t\H{o}
$A=\{(x^{(k)}_{j_1},\dots,x^{(k)}_{j_n}),\;1\le k\le L\}$
$X$ halmazbeli $n$-hossz\'us\'ag\'u sorozatokb\'ol
\'all\'o halmaz $L$ elemsz\'ama teljes\'{\i}ti az
$L=|A|\ge 2^{(1-\e)nH(\xi)}$ egyenl\H{o}tlens\'eget.

Megford\'{\i}tva, l\'etezik olyan
$\bar A=\{(x^{(k)}_{j_1},\dots,x^{(k)}_{j_n}),\;1\le k\le \bar L\}$
$\bar L$ darab $X$ halmazbeli $n$-hossz\'us\'ag\'u sorozatb\'ol
\'all\'o halmaz, amelyre $P((\xi_1,\dots,\xi_n)\in\bar A)\ge1-\delta$,
\'es az $\bar A$ halmaz $\bar L$ elemsz\'ama teljes\'{\i}ti az
$\bar L=|\bar A|\le 2^{(1+\e)nH(\xi)}$ egyenl\H{o}tlens\'eget.
A fenti egyenl\H{o}tlens\'egekben $H(\xi)$ a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o entr\'opi\'aj\'at jel\"oli.}

\medskip\noindent
{\it Megjegyz\'es.} A fenti t\'etel akkor is \'erv\'enyes, ha a
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o nem csak
v\'eges sok, hanem megsz\'aml\'alhat\'oan v\'egtelen sok \'ert\'eket
is felvehet. Egy kieg\'esz\'{\i}t\'esben ismertetem ennek az
\'altal\'anosabb eredm\'enynek a bizony\'{\i}t\'as\'at. Ez a
bizony\'{\i}t\'as n\'eh\'any \'uj gondolatot ig\'enyel. Egy
k\'es\H{o}bb t\'argyaland\'o h\'{\i}res eredm\'enynek, az
\'ugynevezett Shannon--McMillan--Breiman t\'etelnek egy speci\'alis 
\'es egyszer\H{u}en igazolhat\'o eset\'et fog\-juk felhaszn\'alni.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Jel\"olje $B$ az \"osszes olyan
$X$-beli elemekb\H{o}l \'all\'o $n$ hossz\'us\'ag\'u
$x_{j_1},\dots,x_{j_n}$ sorozatok halmaz\'at, amely
sorozatok legal\'abb $np(x_k)(1-\e/2)$ multiplicit\'assal
tartalmazz\'ak az $x_k$ jelet minden $1\le k\le r$ indexre, ahol
$p(x_k)=P(\xi=x_k)$. A nagy sz\'amok gyenge t\"orv\'enye sze\-rint
$P((\xi_1,\dots,\xi_n)\in B)\ge1-\frac\delta2$, ha
$n\ge n_0(\e,\delta)$ alkalmas $n_0(\e,\delta)$ k\"usz\"obindexszel.
Ez\'ert
$P((\xi_1,\dots,\xi_n)\in A\cap B)\ge\frac\delta2$, ha
$P((\xi_1,\dots,\xi_n)\in A)\ge\delta$. El\'eg bel\'atni, hogy
az $A\cap B$ halmaz sz\'amoss\'aga nagyobb, mint $2^{n(1-\e)H(\xi)}$.
Ennek \'erdek\'eben defini\'aljuk a k\"ovetkez\H{o} mennyis\'egeket.
Legyen $s(k,x^{(n)})$ az $x^{(n)}=(x_{j_1},\dots,x_{j_n})$
so\-ro\-zat\-ban lev\H{o}
$x_k$ jelek sz\'ama minden $1\le k\le r$ indexre. Ekkor minden
$x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A\cap B$, illetve
\'altal\'anosabban minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in B$
so\-ro\-zat\-ra
$$
\align
&P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\\
&\qquad=\prod_{k=1}^r p(x_k)^{s(k,x^{(n)})}
\le p(x_1)^{n(1-\e/2)p(x_1)}\cdots p(x_r)^{n(1-\e/2)p(x_r)}
=2^{-n(1-\e/2)H(\xi)},
\endalign
$$
\'es mivel $P((\xi_1,\dots,\xi_n)\in A\cap B)\ge\frac\delta2$, az
$A\cap B$ halmaz sz\'amoss\'aga nagyobb, mint
$\frac\delta2 2^{n(1-\e/2)H(\xi)}\ge 2^{n(1-\e)H(\xi)}$, ha az
$n_0(\e,\delta)$ k\"usz\"obindexet el\'eg nagyra v\'alasztjuk.

Olyan $\bar A$ halmazt, amelyre
$P((\xi_1,\dots,\xi_n)\in\bar A)>1-\delta$, \'es elemsz\'ama
teljes\'{\i}ti a k\'{\i}v\'ant fels\H{o} becsl\'est  v\'alaszthatuk
\'ugy, mint az \"osszes olyan $n$ hossz\'us\'ag\'u $X$-beli
elemeket tartalmaz\'o $(x_{j_1},\dots,x_{j_n})$ sorozatb\'ol
\'all\'o halmazt, amely sorozatok legfeljebb $np(x_k)(1+\e)$
multiplicit\'assal tartalmazz\'ak az $x_k$ jelet minden
$1\le k\le r$ indexre. Ism\'et a nagy sz\'amok gyenge
t\"orv\'eny\'ere hivatkozva kapjuk, hogy
$P((\xi_1,\dots,\xi_n)\in A)\ge1-\delta$, ha
$n\ge n_0(\e,\delta)$ alkalmas $n_0(\e,\delta)$ k\"usz\"obindexszel.
M\'asr\'eszt minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in \bar A$
sorozatra
$$
\align
&P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\\
&\qquad =\prod_{k=1}^r p(x_k)^{s(k,x^{(n)})}
\ge p(x_1)^{n(1+\e)p(x_1)}\cdots p(x_r)^{n(1+\e)p(x_r)}
=2^{-n(1+\e)H(\xi)},
\endalign
$$
\'es mivel az ilyen sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege
kisebb vagy egyenl\H{o} mint 1, innen k\"o\-vet\-ke\-zik, hogy az
$\bar A$ halmaz sz\'amoss\'aga kisebb, mint $2^{n(1+\e)H(\xi)}$.

\medskip
A fent bizony\'{\i}tott eredm\'enyt a k\"ovetkez\H{o} m\'odon is
interpret\'alhatjuk. Tekints\"uk egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u,
f\"uggetlen  val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
$n$-hossz\'us\'ag\'u sorozatait, \'es v\'alasszuk ki e
v\'eletlen sorozatok $p$-ed r\'esz\'et alkalmas m\'odon, \'ugy
hogy csak viszonylag kev\'es sorozatot kelljen kiv\'alasztanunk. A
$p$-ed r\'esz kifejez\'es itt azt jelenti, hogy a kiv\'alasztott
sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege legal\'abb $p$. Az
ebben a feladatban szerepl\H{o} $p$ sz\'am teljes\'{\i}ti a
$0<p<1$ egyenl\H{o}tlens\'eget, egy\'ebk\'ent tetsz\H{o}legesen
v\'alaszthatjuk. Azt l\'attuk be, hogy c\'elunkat el\'erhetj\"uk
$2^{nH(\xi)+o(n)}$ a\-lkal\-ma\-san v\'alasztott sorozat
megad\'as\'aval, de kevesebbel m\'ar nem. Ennek az eredm\'enynek
megfogalmazhatjuk az al\'abbi k\"ovetkezm\'eny\'et. Ha a
tekintett v\'eletlen sorozatok nagy r\'esz\'et meg
akarjuk jel\"olni k\"ul\"onb\"oz\H{o}, de azonos hossz\'us\'ag\'u
v\'eletlen 0--1 sorozatokkal, ahol a `nagy r\'esz\'et'
kifejez\'es azt jelenti, hogy a sorozatok kis (alkalmasan
v\'alasztott) $\e$ val\'osz\'{\i}n\H{u}s\'egi r\'esz\'et
figyelmen k\'{\i}v\"ul hagyhatjuk, akkor az egyes sorozatokat
k\"or\"ulbel\"ul $nH(\xi)$ hossz\'us\'ag\'u 0--1 sorozatokkal
kell megjel\"oln\"unk. Ezt szok\'as \'ugy interpret\'alni, hogy
a tekintett v\'eletlen sorozat egyes tagjainak
a megnevez\'es\'ehez $H(\xi)$ bit sz\"uks\'eges, azaz ennyi
inform\'aci\'o kell annak megismer\'es\'ehez.

Olyan probl\'em\'at tekintett\"unk, amelynek vizsg\'alat\'aban
term\'eszetes m\'odon megjelent az entr\'opia fogalma.
Tekints\"uk ennek a probl\'em\'anak egy olyan v\'altozat\'at,
ahol az el\H{o}bb t\'argyalt feladathoz hasonl\'oan egy v\'eletlen
sorozatot akarunk nagy val\'osz\'{\i}n\H{u}s\'eggel eltalal\'alni,
de rendelkez\"unk bizonyos plusz inform\'aci\'oval. Nevezetesen
ismerj\"uk egy m\'asik, a minket \'erdekl\H{o} v\'eletlen
sorozattal kapcsolatban lev\H{o} v\'eletlen sorozat \'ert\'ekeit,
\'es ezt a plusz inform\'aci\'ot is fel k\'{\i}v\'anjuk haszn\'alni.
A probl\'ema jobb meg\'ert\'ese \'er\-de\-k\'e\-ben tekints\"uk
a kor\'aban vizsg\'alt tot\'oz\'asr\'ol sz\'ol\'o feladat egy olyan
v\'altozat\'at, amelyben ilyen k\'erd\'es mer\"ul fel.

A k\"ovetkez\H{o} feladatot vizsg\'aljuk. Megint egy
m\'erk\H{o}z\'essorozat eredm\'enyeire aka\-runk j\'ol tippelni a
tot\'on. Viszont a m\'erk\H{o}z\'esek el\H{o}tti napon az egyes
ta\-l\'al\-ko\-z\'o\-kon r\'esztvev\H{o} egy\"uttesek ifj\'us\'agi
csapatai is j\'atszanak egym\'as ellen, \'es annak eredm\'eny\'et
megismerhetj\"uk a tot\'oszelv\'eny kit\"olt\'ese el\H{o}tt. Az,
hogy az ifj\'us\'agi csapatok milyen eredm\'enyt \'ernek el, hogy
vannak felk\'esz\"ulve, inform\'aci\'ot ad a nagy csapatok
fel\-k\'e\-sz\"ult\-s\'e\-g\'e\-r\H{o}l is, \'es ez
megv\'altoztatja megit\'el\'es\"unket a lehets\'eges
v\'egeredm\'enyek va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\'e\-r\H{o}l.
A tot\'oszelv\'enyek kit\"olt\'es\'en\'el \'erdemes ezt az
inform\'aci\'ot is figyelembe venni. A k\'erd\'es az, hogy hogyan
vegy\"uk ezt figyelembe, \'es ezen plusz inform\'aci\'ok
felhaszn\'al\'asa eset\'en h\'any szelv\'enyt kell kit\"olten\"unk
annak \'erdek\'eben, hogy nagy val\'osz\'{\i}n\H{u}s\'eggel
telital\'alatot \'erj\"unk el.

Fogalmazzuk meg a feladatot pontosabban. Tekints\"uk $n$
m\'erk\H{o}z\'esp\'ar eredm\'enyeit, amelyeket jel\"olj\"unk a
$(\xi_l,\eta_l)$, $1\le l\le n$, jelp\'arokkal. (Az $l$-ik
m\'erk\H{o}z\'esp\'ar eredm\'enye a tot\'o $l$-ik
fordul\'oj\'aban szerepl\H{o} feln\H{o}tt \'es a nekik
megfelel\H{o} ifj\'us\'agi csapatok
m\'er\-k\H{o}\-z\'e\-s\'e\-nek az eredm\'enye, amelyeket
$\xi_l$-lel illetve $\eta_l$-lel jel\"ol\"unk.) Tegy\"uk fel,
hogy ezek a $(\xi_l,\eta_l)$ vektorok egym\'ast\'ol
f\"uggetlenek, \'es azonos eloszl\'as\'uak, tov\'abb\'a ezt
az eloszl\'ast ismerj\"uk. Vezess\"uk be az
$r(i,j)=P(\xi_l=i,\eta_l=j)$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-ket, ahol az $i$
\'es $j$ v\'altoz\'ok az 1, 2 \'es $x$
\'ert\'ekeket veheti fel. A k\'erd\'es az, hogy ismerve az
$\eta_1,\dots,\eta_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
\'ert\'ekeit, h\'any $n$ hossz\'us\'ag\'u 1, 2, $x$ sorozatot
kell (alkalmasan) a tot\'oszelv\'anyen megadni, ha azt akarjuk
el\'erni, hogy ezen tippsorozatok valamelyike majdnem
1 val\'osz\'{\i}n\H{u}s\'eggel megegyezzen a v\'eletlen
$\xi_1,\dots,\xi_n$ sorozattal. Most is feltessz\"uk, hogy a
m\'erk\H{o}z\'esek $n$ sz\'ama nagy.

El\H{o}sz\"or a feladat heurisztikus megold\'as\'at ismertetem,
majd megfogalmazok egy \'altal\'anosabb eredm\'enyt, \'es megadom
annak a bizony\'{\i}t\'as\'at.

Jel\"olje $p(i)=r(i,1)+r(i,2)+r(i,x)$ a $\xi_l$ \'es
$q(j)=r(1,j)+r(2,j)+r(x,j)$ az $\eta_l$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok eloszl\'as\'at, ahol $i$ \'es $j$ az 1, 2 \'es $x$
\'ert\'ekeket veszi fel, \'es jel\"olje
$r(i|j)=\frac{r(i,j)}{q(j)}=P(\xi_l=i|\eta_l=j)$ a $\xi_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o felt\'eteles eloszl\'as\'at
felt\'eve az $\eta_l$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ek\'et. Tekints\"uk az olyan $y_{v_1}$,\dots, $y_{v_l}$
sorozatokat, amelyek k\"or\"ulbel\"ul $nq(j)$ darab $j$ jelet
tartalmaznak, ahol $j=1$, 2 vagy $x$. Ha az $\eta_1$,\dots,
$\eta_n$ sorozat, azaz az ifj\'us\'agi m\'erk\H{o}z\'esek
eredm\'enyeinek a sorozata ilyen ar\'anyban veszi fel ezeket
az \'ert\'ekeket, akkor
tippelj\"unk \'ugy, hogy az \"osszes olyan tippet megadjuk,
amelyekben azon k\"or\"ulbel\"ul $nq(j)$ m\'erk\H{o}z\'es
k\"oz\"ul, amelyeknek ifj\'us\'agi m\'erk\H{o}z\'es
megfelel\H{o}j\'eben az $\eta_l=j$ eredm\'eny sz\"uletett
k\"or\"ulbel\"ul $nq(j)r(i|j)=np(i,j)$ m\'erk\H{o}z\'es
eredm\'eny\'et  tippelj\"uk $i$-nek, $i=1,2$ vagy $x$. Ha az
$\eta_l$, $1\le l\le n$, m\'erk\H{o}z\'esek eredm\'enyei nem
teljes\'{\i}tik a k\'{\i}v\'ant felt\'etelt, akkor a
tot\'oszelv\'enyeket tetsz\H{o}legesen kit\"olthetj\"uk,
csup\'an arra \"ugyelve, hogy ne t\"olts\"unk ki t\'ul sok
szelv\'enyt.

A nagy sz\'amok t\"orv\'eny\'eb\H{o}l k\"ovetkezik, hogy az
adott m\'odon kit\"oltve a szelv\'enyeket majdnem egy
val\'osz\'{\i}n\H{u}s\'eggel lesz telital\'alatunk. Azt kell m\'eg
megbecs\"ul\"unk, hogy h\'any szelv\'enyt t\"olt\"ott\"unk ki. Ezt
az el\H{o}z\H{o} feladatban alkalmazott heurisztikus
\'ervel\'eshez hasonl\'oan tehetj\"uk meg. El\'eg csak azokat
az eseteket n\'ezni, amelyekben az $\eta_1,\dots,\eta_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'altal felvett
$y_{v_1},\dots,y_{v_n}$ eredm\'enyek k\"or\"ulbel\"ul $nq(j)$ $j$
eredm\'enyt tartalmaznak, $j=1,2$ vagy $x$. Ebben az esetben egy
olyan $\xi_1=x_{u_1},\dots,\xi_n=x_{u_n}$ eredm\'enynek, amelyre
tippelt\"unk a felt\'eteles val\'osz\'{\i}n\H{u}s\'ege
a $P(\cdot|\eta_1=y_{v_1},\dots,\eta_n=y_{v_n})$ felt\'eteles
eloszl\'as szerint k\"or\"ulbel\"ul
$\prodd_{i\in\{1,2,x\}}\prodd_{j\in\{1,2,x\}}r(i|j)^{nr(i,j)}$,
\'es mivel annak felt\'eteles val\'osz\'{\i}n\H{u}s\'ege a
tekintett felt\'eteles val\'osz\'{\i}n\H{u}s\'eg szerint, hogy
lesz telital\'alatunk majdnem 1, ez\'ert a kit\"olt\"ott
szelv\'enyek sz\'ama k\"or\"ulbel\"ul
$$
\prodd_{i\in\{1,2,x\}}\prodd_{j\in\{1,2,x\}}r(i|j)^{-nr(i,j)}
=2^{n\bar H},
$$
ahol $\bar H=-\summ_{i\in\{1,2,x\}}\summ_{j\in\{1,2,x\}}
r(i,j)\log\frac{r(i,j)}{q(j)}$. Teh\'at k\"or\"ulbel\"ul
$2^{n\bar H}$ szelv\'eny ki\-t\"ol\-t\'e\-s\'e\-vel tudunk
majdnem biztosan telital\'alatot el\'erni.

\medskip
Annak \'erdek\'eben, hogy a fenti heurisztikus t\'argyal\'asban
kapott eredm\'enyt pontosabban megfogalmazhassuk vezess\"uk be
a k\"ovetkez\H{o} fogalmat.

\medskip\noindent
{\bf A felt\'eteles entr\'opia definici\'oja.} {\it Legyen adva
k\'et $\xi$ \'es $\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelyek \'ert\'ekeiket egy v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen $X=\{x_1,x_2,\dots\}$ illetve $Y=\{y_1,y_2,\dots\}$
halmazon veszik fel, \'es egy\"uttes eloszl\'asuk valamely
$r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$, $x_i\in X$, $y_j\in Y$,
f\"uggv\'eny. Vezess\"uk be a
$q(y_j)=P(\eta=y_j)=\summ_{x_i\in X}r(x_i,y_j)$
val\'osz\'{\i}n\H{u}s\'egeket is minden $y_j\in Y$ \'ert\'ekre.
A $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o felt\'eteles
entr\'opi\'aja az $\eta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ora vonatkoz\'olag a
$$
H(\xi|\eta)=-\sum_{x_i\in X}\sum_{y_j\in Y}
r(x_i,y_j)\log\frac{r(x_i,y_j)}{q(y_j)}
$$
esetleg v\'egtelen \'ert\'eket felvev\H{o} mennyis\'eg, ahol
$\log$ a 2-es alap\'u logaritmust jel\"oli. A fenti defini\'oban
megengedj\"uk az $r(x_i,y_j)=0$ lehet\H{o}s\'eget bizonyos
$(x_i,y_j)$ p\'arokra. Annak \'erdek\'eben, hogy a fenti \"osszeget
ekkor is \'ertelmezhess\"uk bevezetj\"uk a $0\log 0=0\log\frac00=0$
konvenci\'ot.}

\medskip\noindent
{\bf Megjegyz\'es.} {\it Abban az esetben, ha $H(\eta)<\infty$,
\'erv\'enyes a
$$
H(\xi|\eta)=-\sum_{x_i\in X}\sum_{y_j\in Y} r(x_i,y_j)\log r(x_i,y_j)
+\sum_{y_j\in Y} q(y_j)\log q(y_j)=H(\xi,\eta)-H(\eta)
$$
azonoss\'ag.}

\medskip
A k\"ovetkez\H{o} t\'etel megfogalmaz\'as\'anak \'erdek\'eben
vezess\"unk be n\'eh\'any jel\"ol\'est. Legyen adva egy
$X=\{x_1,\dots,x_r\}$ halmaz, \'es jel\"olje $X^n$ az $X$ halmazbeli
elemekb\H{o}l \'all\'o $n$ hossz\'us\'ag\'u $(x_{i_1},\dots,x_{i_n})$
sorozatok halmaz\'at, ahol $x_{i_k}\in X$ minden $1\le k\le n$
indexre. Hasonl\'oan, legyen adva egy $Y=\{y_1,\dots,y_s\}$ halmaz,
\'es jel\"olje $Y^n$ az $y_{j_k}\in Y$, $1\le k\le n$, elemekb\H{o}l
\'all\'o $n$ hossz\'us\'ag\'u $(y_{j_1},\dots,y_{j_n})$ sorozatok
halmaz\'at. To\-v\'abb\'a, jel\"olje $X^n\times Y^n$ az
$(x^{(n)},y^{(n)})=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))$,
$x^{(n)}\in X^n$, $y^{(n)}\in Y^n$ sorozatok halmaz\'at.
Adva egy $A\subset X^n\times Y^n$ halmaz \'es egy
$(y_{j_1},\dots,y_{j_n})\in Y^n$ sorozat legyen
$A(y_{j_1},\dots,y_{j_n})$ az $A$ halmaz metszete az
$X^n\times\{(y_{j_1},\dots,y_{j_n})\}$ halmazzal, azaz
$$
A(y_{j_1},\dots,y_{j_n})=\{(x_{i_1},\dots,x_{i_n})\colon\;
((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))\in A\}.
$$
Jel\"olje $|A|$ egy (v\'eges) $A$ halmaz elemsz\'am\'at.

Az al\'abb megfogalmazott t\'etel jobb meg\'ert\'ese \'erdek\'eben
le\'{\i}rom el\H{o}bb annak heu\-risz\-ti\-kus tartalm\'at. A
k\"ovetkez\H{o} probl\'em\'aval foglalkozunk. Ha adva van
f\"uggetlen, egyforma eloszl\'as\'u $(\xi_j,\eta_j)$,
$1\le j\le n$, v\'eletlen vektorok egy sorozata, akkor az
$\eta^{(n)}=(\eta_1,\dots,\eta_n)$ sorozat ismeret\'eben meg
akarunk adni egy olyan viszonylag kev\'es $x^{(n)}\in X^n$
sorozatb\'ol \'all\'o halmazt, amely nagy
val\'osz\'{\i}n\H{u}s\'eggel tartalmazza az
$\xi^{(n)}=(\xi_1,\dots,\xi_n)$ v\'eletlen sorozatot. Ez
azt jelenti, hogy olyan $A\subset X^n\times Y^n$ halmazt akarunk
defini\'alni, amelyre a
$P(\xi^{(n)}\in A(y^{(n)})|\eta^{(n)}=y^{(n)})$
felt\'eteles val\'osz\'{\i}n\H{u}s\'eg viszonylag nagy, \'es az
$A(y^{(n)})$ halmaz $|A(y^{(n)})|$ sz\'amoss\'aga viszonylag kicsi
az $y^{(n)}\in Y^n$ sorozatok nagy r\'esz\'ere, azaz az $y^{(n)}$
sorozatok egy olyan alkalmas $B\subset Y^n$ halmaz\'ara, amelyre
$P(\eta^{(n)}\in B)$ majdnem 1-gyel egyenl\H{o}. A t\'etel azt
\'all\'{\i}tja, hogy ahhoz, hogy a tekintett felt\'eteles
val\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}ts\'ek a k\'{\i}v\'ant
felt\'etelt az $A$ halmazt \'ugy kell v\'alasztani, hogy
$|A(y^{(n)})|>2^{(1-\e)nH(\xi|\eta)}$ legyen minden $y^{(n)}\in B$
sorozatra. M\'asr\'eszt meg lehet adni a k\'{\i}v\'ant
tulajdons\'aggal rendelkez\H{o} $A$ halmazt \'ugy, hogy az
$|A(y^{(n)})|<2^{(1+\e)nH(\xi|\eta)}$ egyenl\H{o}tlens\'eg
teljes\"ulj\"on minden $y^{(n)}\in B$ sorozatra.

\medskip\noindent
{\bf T\'etel f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o \'es egy m\'asik f\"uggetlen
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-\-gi v\'altoz\'okb\'ol
\'all\'o v\'eletlen sorozat szerint tipikus sorozatok
sz\'am\'ar\'ol.} {\it Legyen adva egy $(\xi,\eta)$
v\'eletlen vektor, amelynek koordin\'at\'ai k\"oz\"ul $\xi$
\'ert\'ekeit egy $X=\{x_1,\dots,x_r\}$ $\eta$ pedig
egy $Y=\{y_1,\dots,y_s\}$ v\'eges halmazon
veszi fel. Legyen adva f\"ug\-get\-len \'es a $(\xi,\eta)$
p\'arral azonos eloszl\'as\'u
$((\xi_1,\eta_1),\dots,(\xi_n,\eta_n))$ v\'eletlen vektorok
egy so\-ro\-za\-ta. Ekkor minden $0<\e,\delta<1$
sz\'amp\'arhoz van egy olyan $n_0=n_0(\e,\delta)$
k\"usz\"obindex, hogy minden $n\ge n_0$ sz\'amra igaz a
k\"ovetkez\H{o} \'all\'{\i}t\'as. Ha
$A\subset X^n\times Y^n$ olyan halmaz, amelyre
$P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\delta$
minden $(y_{j_1},\dots,y_{j_n})\in Y^n$ sorozatra, akkor
van olyan $B_0\subset Y^n$ halmaz,
amely\-re $P((\eta_1,\dots,\eta_n)\in B_0)>1-\delta$, \'es
az $A(y_{j_1},\dots,y_{j_n})$ halmaz sz\'amoss\'aga
teljes\'{\i}ti az
$|A(y_{j_1},\dots,y_{j_n})|>2^{n(1-\e)H(\xi|\eta)}$
egyenl\H{o}tlens\'eget minden
$(y_{j_1},\dots,y_{j_n})\in B_0$ sorozatra.

Igaz a k\"ovetkez\H{o} ford\'{\i}tott ir\'any\'u
egyenl\H{o}tlens\'eg is. L\'eteznek olyan
$A\subset X^n\times Y^n$ \'es $B_1\subset Y^n$ halmazok,
amelyekre $P((\eta_1,\dots,\eta_n)\in B_1)\ge1-\delta$,
$$
P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge1-\delta
$$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra, \'es
az $A(y_{j_1},\dots,y_{j_n})$ halmaz sz\'amoss\'aga
teljes\'{\i}ti az
$|A(y_{j_1},\dots,y_{j_n})|\le2^{n(1+\e)H(\xi|\eta)}$
egyen\-l\H{o}t\-len\-s\'e\-get minden
$(y_{j_1},\dots,y_{j_n})\in B_1$ so\-ro\-zat\-ra.
A fenti egyenl\H{o}tlens\'egekben $H(\xi|\eta)$ a $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o
felt\'eteles ent\-r\'o\-pi\'a\-j\'at jel\"oli az $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora
vo\-nat\-ko\-z\'o\-lag.}

\medskip\noindent
{\bf Feladat:} {\it Bizony\'{\i}tsuk be a fenti t\'etel olyan
\'elesebb form\'aj\'at, amelyben megengedj\"uk azt is, hogy
az $X$ \'es $Y$ halmazok megsz\'aml\'alhat\'oan v\'egtelen
sz\'amoss\'ag\'uak legyenek.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Vezess\"uk be az
$r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$,
$q(y_j)=P(\eta=y_j)=\summ_{i=1}^r r(x_i,y_j)$
\'es $r(x_i|y_j)=P(\xi=x_i|\eta=y_j)=\frac{r(x_i,y_j)}{q(y_j)}$,
$1\le i\le r$, $1\le j\le s$, mennyis\'egeket. Adva egy
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in Y^n$ vektor, jel\"olje
$s(y^{(n)},j)$ az $y^{(n)}$ sorozatban szerepl\H{o} $y_j$ elemek
sz\'am\'at, $1\le j\le s$, \'es defini\'aljuk a $B_0\in Y^n$
halmazt, mint
$$
\align
B_0=\{y^{(n)}&=(y_{j_1},\dots,y_{j_n})\colon\; y^{(n)}\in Y^n,\;
s(y^{(n)},j)\ge(1-\tfrac\e4)nq(y_j) \\
&\qquad\qquad \text{ minden } 1\le j\le s \text{ indexre}\}.
\endalign
$$
Ekkor a nagy sz\'amok t\"orv\'enye szerint
$P((\eta_1,\dots,\eta_n)\in B_0)\ge1-\delta$, ha $n\ge n_0$ egy
el\'eg nagy $n_0=n_0(\e,\delta)$ k\"usz\"obindexszel.Defini\'aljuk
az $\ell(x^{(n)},y^{(n)},i,j)$ mennyis\'eget minden
$
(x^{(n)},y^{(n)})=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))
\in X^{n}\times Y^{n}
$
sorozatra \'es
$1\le i\le r$, $1\le j\le s$ indexekre \'ugy,
mint az $(x^{(n)},y^{(n)})$ vektorban szerepl\H{o} olyan
$(x_{i_k},y_{j_k})$, $1\le k\le n$, p\'arok sz\'am\'at,
amelyek egyenl\H{o}ek az $(x_i,y_j)$ p\'arral. Adva egy
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in Y^{(n)}$ vektor defini\'aljuk a
k\"ovetkez\H{o} $C(y^{(n)})\subset X^n$ halmazt.
$$
\align
C(y^{(n)})&=\{x^{(n)}=(x_{i_1},\dots,x_{i_n})\colon\;
(x^{(n)},y^{(n)})\in X^n\times Y^n,\\
&\qquad \ell(x^{n)},y^{(n)},i,j)\ge (1-\tfrac\e2)nr(x_i,y_j)
\quad \text{minden }1\le i\le r,\; 1\le j\le s \text{ p\'arra} \}.
\endalign
$$

Megmutatom a nagy sz\'amok t\"orv\'enye seg\'{\i}ts\'eg\'evel, hogy
$$
P((\xi_1,\dots,\xi_n)\in C(y^{(n)})|\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})
\ge1-\frac\delta2, \;\,\text{ha }
y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0.
$$
Ennek \'erdek\'eben el\H{o}sz\"or r\"ogz\'{\i}tek egy $i$ \'es
$j$ sz\'amot, \'es megmutatom, hogy az
$\eta_1=y_{j_1},\dots,\eta_n=y_{j_n}$ felt\'etel mellett, ahol
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0$, annak felt\'eteles
val\'osz\'{\i}n\H{u}s\'ege, hogy a $(\xi_1,\dots,\xi_n)$ sorozat
olyan $x^{(n)}=(x_{i_1},\dots,x_{i_n})$ \'ert\'eket vesz fel,
amelyre az $(x^{(n)},y^{(n)})$ vektornak legal\'abb
$n(1-\frac\e2)$ koordin\'at\'aja egyenl\H{o} az $(x_i,y_j)$
p\'arral, nagyobb, mint $(1-\frac\delta{2rs})$. Val\'oban, ha
$y^{(n)}\in B_0$, akkor e felt\'eteles
val\'osz\'{\i}n\H{u}s\'eg felt\'etel\'eben
$s(y^{(n)},j)\ge nq(y_j)(1-\frac\e4)$ olyan $k$
index van, amelyre $\eta_k=y_j$. A $\xi_k$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy\"uttes eloszl\'asa ezen
$k$ indexekre a tekintett felt\'eteles eloszl\'as sze\-rint
megegyezik $s(y^{(n)},j)\ge (1-\frac\e4)nq(y_j)$ f\"uggetlen,
$r(\cdot|y_j)$ eloszl\'as\'u va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o egy\"uttes eloszl\'as\'aval. Ez\'ert ez a sorozat a
nagy sz\'amok t\"orv\'enye sze\-rint t\"obb, mint
$(1-\frac\delta{2rs})$ val\'osz\'{\i}n\H{u}s\'eggel tartalmaz
legal\'abb $s(y^{(n)},j)(1-\frac\e4)r(x_i,y_j)\ge
n(1-\frac\e4)^2q(y_j)r(x_i|y_j)\ge n(1-\frac\e2)r(x_i,y_j)$
sz\'am\'u $x_i$ elemet minden $1\le i\le r$ indexre, ha
$n\ge n_0(\e,\delta)$. Mivel ez az egyenl\H{o}tlens\'eg minden
$(i,j)$, $1\le i\le r$, $1\le j\le s$ p\'arra \'erv\'enyes, innen
k\"ovetkezik a bizony\'{\i}tani k\'{\i}v\'ant egyenl\H{o}tlens\'eg is.

A most bizony\'{\i}tott egyenl\H{o}tlens\'egb\H{o}l \'es a t\'etel
felt\'eteleib\H{o}l k\"ovetkezik, hogy tet\-sz\H{o}\-le\-ges
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0$ vektorra
$$
P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A,
(\xi_1,\dots,\xi_n)\in C(y^{(n)})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\frac\delta2,
$$
ami \'ugy is \'{\i}rhat\'o, hogy
$$
P((\xi_1,\dots,\xi_n)\in C(y^{(n)})\cap A(y^{(n)})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\frac\delta2,
$$
ahol $A(y^{(n)})=A(y_{j_1},\dots,y_{j_n})$.
Felhaszn\'alva ezt az egyenl\H{o}tlens\'eget \'es a $C(y^{(n)})$
halmaz elemeinek a tulajdons\'agait bel\'atjuk, hogy
$|A(y^{(n)})\cap C(y^{(n)})|\ge2^{n(1-\e)H(\xi|\eta)}$.
Ennek \'erdek\'eben vegy\"uk \'eszre, hogy tetsz\H{o}leges
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0$ \'es
$(x_{i_1},\dots,x_{i_n})\in C(y^{(n)})$ vektorokra
$$
\align
&P(\xi_1=x_{i_1},\dots,\xi_n=x_{i_n}|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})=\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{\ell(x^{(n)},y^{(n)},i,j)}\\
&\qquad \le\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{(1-\e/2)nr(x_i,y_j)}=2^{-n(1-\e/2)H(\xi|\eta)}.
\endalign
$$
Az utols\'o k\'et egyenl\H{o}tlens\'egb\H{o}l k\"ovetkezik,
hogy
$$
|A(y_{j_1},\dots,y_{j_n})|\ge
|A(y_{j_1},\dots,y_{j_n})\cap C(y^{(n)})|\ge \frac\delta2
2^{n(1-\e/2)H(\xi|\eta)}\ge 2^{(1-\e)nH(\xi|\eta)},
$$
ha $y^{n)}=(y_{j_1},\dots,y_{j_n})\in B_0$.

A m\'asik ir\'any\'u becsl\'est az alkalmas $B_1\subset Y^n$ \'es
$A\subset X^n\times Y^n$ halmazok de\-fi\-ni\-ci\'o\-j\'a\-val
hasonl\'oan bizony\'{\i}thatjuk. Legyen
$$
\align
B_1=\{y^{(n)}=(y_{j_1},\dots,y_{j_n})\colon\; &y^{(n)}\in Y^n,\;
s(y^{(n)},j)\le(1+\tfrac\e2)nq(y_j) \\
&\qquad \text{ minden } 1\le j\le s
\text{ indexre}\},
\endalign
$$
\'es
$$
\align
A&=\{(x^{(n)},y^{(n)})
=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))\colon\;
(x^{(n)},y^{(n)})\in X^n\times Y^n,\; y^{(n)}\in B_1,\\
&\qquad\ell(x^{(n)},y^{(n)},i,j)\le (1+\e)nr(x_i,y_j)
\text{ minden }1\le i\le r,\; 1\le j\le s \text{ p\'arra} \}.
\endalign
$$
Az el\H{o}z\H{o} eset \'ervel\'es\'ehez hasonl\'oan
bizony\'{\i}thatjuk a nagy sz\'amok t\"orv\'enye
seg\'{\i}ts\'eg\'evel, hogy
$P((\eta_1,\dots,\eta_n)\in B_1)\ge1-\delta$, ha $n\ge n_0$, \'es
$$
\align
&P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\\
&\qquad=P((\xi_1,\dots,\xi_n),\in A(y_{j_1},\dots,y_{j_n})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge1-\delta
\endalign
$$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra. Tov\'abb\'a
$$
\align
&P(\xi_1=x_{i_1},\dots,\xi_n=x_{i_n}|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})=\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{\ell(x^{(n)},y^{(n)},i,j)}\\
&\qquad \ge\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{(1+\e)nr(x_i,y_j)}=2^{-n(1+\e)H(\xi|\eta)},
\endalign
$$
ha $(y_{j_1},\dots,y_{j_n})\in B_1$ \'es
$(x_{i_1},\dots,x_{i_n})\in A(y_{j_1},\dots,y_{j_n})$.
Felhaszn\'alva a (trivi\'alis)
$P((\xi_1,\dots,\xi_n)\in A(y_{j_1},\dots,y_{j_n})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\le1$ egyenl\H{o}tlens\'eget
innen kapjuk, hogy
$|A(y_{j_1},\dots,y_{j_n})|\le2^{n(1+\e)H(\xi|\eta)}$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra.

\medskip
A most bizony\'{\i}tott eredm\'enyt az el\H{o}z\H{o} eredm\'enyhez
hasonl\'oan a k\"ovetkez\H{o}k\'epp is interpret\'alhatjuk.
Legyen adva egy v\'eges sok \'ert\'eket felvev\H{o} $(\xi,\eta)$
v\'eletlen vektor (val\'oj\'aban az al\'abb megfogalmazott
\'all\'{\i}t\'as akkor is igaz, ha ez a v\'eletlen vektor
v\'egtelen sok \'ert\'eket is felvehet, de ezt nem
bizony\'{\i}tottuk be), \'es f\"uggetlen  v\'eletlen vektoroknak
egy ezzel a v\'eletlen vektorral azonos eloszl\'as\'u,
$n$-hossz\'us\'ag\'u $(\xi_1,\eta_1)$,\dots, $(\xi_n,\eta_n)$
sorozata. Ismerve az $\eta_1,\dots,\eta_n$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'ert\'ekeit, ki akarunk
v\'alasztani viszonylag kev\'es sorozatot \'ugy, hogy ezek egyike
majdnem biztos meg\-egyez\-z\'ek a $\xi_1,\dots,\xi_n$ v\'eletlen
sorozat \'ert\'ek\'evel. A majdnem biztos kiv\'alaszt\'as itt
azt jelenti, hogy r\"ogz\'{\i}t\"unk egy kis $\e>0$ sz\'amot,
megadjuk az $(\eta_1,\dots,\eta_n)$ sorozatok lehets\'eges
\'ert\'ekeinek egy legal\'abb $1-\e$ m\'ert\'ek\H{u} halmaz\'at,
\'es amennyiben az $(\eta_1,\dots,\eta_n)$ sorozat ezek
valamelyik\'evel egyenl\H{o}, akkor kijel\"olj\"uk $n$
hossz\'us\'ag\'u sorozatok egy vi\-szony\-lag kev\'es elemb\H{o}l
\'all\'o halmaz\'at \'ugy, hogy annak a val\'osz\'{\i}n\H{u}s\'ege,
hogy a $(\xi_1,\dots,\xi_n)$ v\'eletlen sorozat megegyezik
ezek valamelyik\'evel legal\'abb $1-\e$. A kiv\'alasztott
sorozatok halmaza f\"ugghet az $(\eta_1,\dots,\eta_n)$ vektor
\'ert\'ek\'et\H{o}l. Azt l\'attuk be, hogy ezt megtehetj\"uk
$2^{nH(\xi|\eta)+o(n)}$ a\-lkal\-ma\-san v\'alasztott sorozat
seg\'{\i}ts\'eg\'evel, de kevesebbel m\'ar nem. Ennek az
eredm\'enynek megfogalmazhatjuk az al\'abbi k\"ovetkezm\'eny\'et.

Meg akarjuk nevezni a $(\xi_1,\dots,\xi_n)$ sorozatokat
az $\eta_1,\dots,\eta_n$ sorozat ismeret\'eben $m=m(n)$
hossz\'us\'ag\'u az $\eta_1,\dots,\eta_n$ sorozatt\'ol
f\"ugg\H{o} v\'alaszt\'assal 0--1 sorozatokkal \'ugy, hogy
$1-\e$ val\'osz\'{\i}n\H{u}s\'eggel egy $(\xi_1,\dots,\xi_n)$
sorozatot megnevez\"unk, \'es r\"ogz\'{\i}tett
$\eta_1,\dots,\eta_n$ sorozat megjelen\'ese eset\'en k\'et
k\"ul\"onb\"oz\H{o} $\xi_1,\dots,\xi_n$ sorozat elnevez\'ese
k\"ul\"onb\"oz\H{o}. Ez lehets\'eges $m=nH(\xi|\eta)+o(n)$
hossz\'us\'ag\'u 0--1 sorozatokkal, de r\"ovidebb sorozatokkal nem.
Ezt szok\'as \'ugy interpret\'alni, hogy az $\eta_1,\dots,\eta_n$
sorozat ismeret\'eben a $\xi_1,\dots,\xi_n$ sorozat
egyes tagjainak a megnevez\'es\'ehez $H(\xi|\eta)$ bit
sz\"uks\'eges, azaz az $\eta_k$ v\'altoz\'ok \'ert\'ek\'enek az
ismeret\'eben ennyi inform\'aci\'o kell az egyes $\xi_k$
v\'eletlen v\'altoz\'ok megismer\'es\'ehez.

\medskip
Megfogalmazom \'es bebizony\'{\i}tom az entr\'opi\'aval
\'es felt\'eteles entr\'opi\'aval kapcsolatos legfontosabb
egyenl\H{o}tlens\'egeket. Ezek mindegyike heurisztikus szinten
`nyilv\'anval\'o' k\"ovetkezm\'enye az entr\'opia \'es
felt\'eteles entr\'opia szeml\'eletes tartalm\'anak.

\medskip\noindent
{\bf T\'etel az entr\'opi\'aval \'es felt\'eteles entr\'opi\'aval
kapcsolatos fontos egyen\-l\H{o}t\-len\-s\'e\-gek\-r\H{o}l.}
{\it Legyenek $\xi$, $\eta$ \'es $\zeta$ v\'eges vagy
megsz\'aml\'alhat\'o sok \'er\-t\'e\-ket f\"olvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok. Ezek teljes\'{\i}tik
a k\"ovetkez\H{o} egyenl\H{o}tlens\'egeket:

\medskip
\item{a1.)} $H(\xi)\ge0$, \'es egyenl\H{o}s\'eg akkor \'es csak
akkor \'erv\'enyes, ha a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o egy val\'osz\'{\i}n\H{u}s\'eggel egy konstanssal
egyenl\H{o}.
\item{a2.)} Ha a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $n$
\'ert\'eket vesz fel, akkor $H(\xi)\le\log n$. Egyenl\H{o}s\'eg
akkor \'es csak akkor \'erv\'enyes, ha a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal felvett
$x_1,\dots,x_n$ \'ert\'ekekre $P(\xi=x_k)=\frac1n$ minden
$1\le k\le n$ indexre.

\medskip
\item{b.)} $H(\xi,\eta)\le H(\xi)+H(\eta)$, illetve kiss\'e
\'altal\'anosabban $H(\xi|\eta)\le H(\xi)$. Egyenl\H{o}s\'eg
akkor \'es csak akkor teljes\"ul a m\'asodik, \'altal\'anosabb
egyenl\H{o}tlens\'egben, ha $\xi$ \'es $\eta$ f\"uggetlenek, vagy
$H(\xi|\eta)=\infty$.

\medskip
\item{c.)} $H(\eta)\le H(\xi,\eta)$, illetve kiss\'e
\'altal\'anosabban $H(\xi|\eta)\ge0$. Egyenl\H{o}s\'eg akkor
\'es csak akkor teljes\"ul a m\'asodik, \'altal\'anosabb
egyenl\H{o}tlens\'egben, ha $\xi=f(\eta)$ valamely
$f(\cdot)$ f\"uggv\'ennyel, azaz $\xi$ az $\eta$ f\"uggv\'enye.

\medskip
\item{d.)} $H(\xi|\eta,\zeta)\le H(\xi|\eta)$. Abban az esetben,
ha l\'etezik olyan a $(\xi,\eta)$ v\'eletlen vektort\'ol
f\"uggetlen $Z$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$\zeta=h(\eta,Z)$ valamely alkalmas $h$ f\"uggv\'ennyel, akkor
egyenl\H{o}s\'eg \'all fenn.

}\medskip\noindent
{\it Megjegyz\'es.}\/ A felt\'eteles entr\'opi\'ar\'ol sz\'ol\'o
b) \'es c) pontban megfogalmazott egyen\-l\H{o}t\-len\-s\'e\-gek
akkor is \'erv\'enyesek, ha $H(\eta)=\infty$. Ebben az esetben
ezek az \'all\'{\i}t\'asok t\"obbet mondanak, mint a nekik
megfelel\H{o} az entr\'opi\'ar\'ol megfogalmazott
egyenl\H{o}tlens\'egek.

\medskip\noindent
{\bf K\"ovetkezm\'eny.}  {\it
\item{a.)} $H(f(\xi))\le H(\xi)$ tetsz\H{o}leges $f(\cdot)$
f\"uggv\'enyre.  Vegye fel egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o \'ert\'ekeit egy v\'egtelen $X=\{x_1,x_2,\dots\}$
halmazban, legyen $H(\xi)<\infty$, \'es defini\'aljuk minden
$K\ge 1$ sz\'amra egy olyan $\xi^{(K)}$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ot, amelyre $\xi=x_j$ eset\'en $\xi^{(K)}=x_j$, ha
$j\le K$, \'es $\xi^{(K)}=x^*$ valamely $x^*\neq x_j$
\'ert\'ekkel, ha $j>K$. Ezzel a v\'alaszt\'assal
$H(\xi^{(K)})\le H(\xi)$, \'es minden $\e>0$ sz\'amhoz l\'etezik
olyan $K_0=K_0(\e)$ index, hogy $H(\xi^{(K)})\ge H(\xi)-\e$,
ha $K\ge K_0$.

\item{b.)} \'Erv\'enyesek a
$H(\xi,\eta|\zeta)=H(\eta|\xi,\zeta)+H(\xi|\zeta)$ \'es
$H(\xi,\eta)=H(\eta|\xi)+H(\xi)$ azo\-nos\-s\'a\-gok. Tov\'abb\'a
$H(\xi,\eta|\zeta)\ge H(\xi|\zeta)$, \'es egyenl\H{o}s\'eg
akkor \'es csak akkor \'all fenn, ha vagy $\eta=f(\xi,\zeta)$ alkalmas
$f$ f\"uggv\'ennyel vagy $H(\xi|\zeta)=\infty$. Tov\'abb\'a
$H(\xi,\eta|\zeta)\le H(\xi|\zeta)+H(\eta|\zeta)$.

}\medskip\noindent
{\it A k\"ovetkezm\'eny bizony\'{\i}t\'asa.}\/ Az a) r\'esz
bizony\'{\i}t\'asa: $H(\xi)=H(\xi,f(\xi))\ge H(f(\xi))$ a
t\'etel c) pontja szerint. Innen k\"ovetkezik a
$H(\xi^{(K)})\le H(\xi)$ egyenl\H{o}tlens\'eg, az $X$ t\'eren
defini\'alt $f(x_j)=x_j$, ha $j\le K$, \'es $f(x_j)=x^*$, ha $j\ge K$
v\'alaszt\'assal. Legyen $p(x_j)=P(\xi=x_j)$, $j=1,2,\dots$. A
$H(\xi)=-\summ_{j=1}^\infty p(x_j)\log p(x_j)<\infty$ felt\'etelb\H{o}l
k\"ovetkezik, hogy l\'etezik olyan $K_0=K_0(\e)$ index, hogy
$-\summ_{j=1}^{K_0} p(x_j)\log p(x_j)<H(\xi)-\e$. Ilyen $K_0=K_0(\e)$
v\'alaszt\'assal igaz az a) r\'esz utols\'o \'all\'{\i}t\'asa is.

A k\"ovetkezm\'eny b) r\'esz\'eben szerepl\H{o} els\H{o} azonoss\'ag
k\"ovetkezik a
$H(\xi,\eta|\zeta)
=\summ_{i,j,k}P(\xi=i,\eta=j,\zeta=k)
\log\frac{P(\xi=i,\eta=j,\zeta=k)}{P(\zeta=k)}$ \'es
$H(\eta|\xi,\zeta)+H(\xi|\zeta)
=\summ_{i,j,k}P(\xi=i,\eta=j,\zeta=k)
(\log\frac{P(\xi=i,\eta=j,\zeta=k)}{P(\xi=i,\zeta=k)}+
\log\frac{P(\xi=i,\zeta=k)}{P(\zeta=k)})$ rel\'aci\'okb\'ol. A
m\'asodik azonoss\'ag hasonl\'ona indokolhat\'o. A b) r\'esz
tov\'abbi \'all\'{\i}t\'asa k\"ovetkezik a
$H(\xi,\eta|\zeta)=H(\eta|\xi,\zeta)+H(\xi|\zeta)$ azonoss\'agb\'ol
\'es a t\'etel c) illetve d) r\'esz\'enek az \'all\'{\i}t\'as\'ab\'ol.

\medskip
\'Erts\"uk meg, hogy az el\H{o}bb megfogalmazott t\'etel
egyenl\H{o}tlens\'egei az entr\'opia \'es felt\'eteles entr\'opia
szeml\'eletes tartalm\'anak megfelel\H{o} tulajdons\'agokat fejeznek
ki. Az a1) tulajdons\'ag azt mondja, hogy a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal felvett
\'ert\'ek meg\-is\-me\-r\'e\-s\'e\-hez pozit\'{\i}v inform\'aci\'o
sz\"uks\'eges, kiv\'eve azt az elfajul\'o esetet, amikor $\xi$
\'ert\'eke (ismert) konstans, \'es ez\'ert nulla inform\'aci\'o is
elegend\H{o}. Az a2) \'all\'{\i}t\'as szerint egy $n$ \'ert\'eket
felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek
a megismer\'es\'ehez akkor kell a legt\"obb inform\'aci\'o, ha minden
\'ert\'eket egyforma val\'osz\'{\i}n\H{u}s\'eggel vesz fel, amit
\'ugy is interpret\'alhatunk, hogy azonk\'{\i}v\"ul, hogy tudjuk,
hogy $\xi$ $n$ \'ert\'eket vesz fel, semmilyen plusz inform\'aci\'onk
nincs annak viselked\'es\'er\H{o}l.

A b) tulajdons\'ag azt fejezi ki, hogy egy $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek az ismerete
cs\"okkentheti egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ek\'enek megismer\'es\'ehhez sz\"uks\'eges inform\'aci\'ot.
Akkor nincs cs\"okken\'es, ha $\xi$ \'es $\eta$ f\"uggetlenek,
\'es ez\'ert $\eta$ ismerete semmilyen \'ert\'ekes inform\'aci\'ot
nem ad $\xi$ viselked\'es\'er\H{o}l. A c) tulajdons\'ag szerint
egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek a
megismer\'es\'ehez pozit\'{\i}v inform\'aci\'o sz\"uks\'eges egy
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek az
ismeret\'eben is. Akkor el\'eg nulla inform\'aci\'o, ha $\xi$ az
$\eta$ ismert f\"uggv\'enye.

A d) tulajdons\'ag jelent\'ese az, hogy egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek a
megismer\'es\'ehez kevesebb inform\'aci\'o sz\"uks\'eges, ha egy
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'en
k\'{\i}v\"ul egy m\'asik $\zeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o \'ert\'ek\'et is ismerj\"uk. Semmilyen nyeres\'eget
nem jelent viszont $\zeta$ ismerete, ha az a m\'ar ismert $\eta$
\'es egy mind a $\xi$ mind az $\eta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ot\'ol f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o f\"uggv\'enye.

\medskip
A t\'etel bizony\'{\i}t\'as\'aban fontos szerepet j\'atszik
egy egyszer\H{u} \'all\'{\i}t\'as, amelyet a bizony\'{\i}t\'as
jobb \'attekinthet\H{o}s\'ege \'erdek\'eben k\"ul\"on lemm\'aban
fogalmazok meg.

\medskip\noindent
{\bf Lemma az $x\log x$ f\"uggv\'eny viselked\'es\'er\H{o}l.}
{\it A $g(x)=x\log x$, ha $x>0$, $g(0)=0$ f\"uggv\'eny egy a
$[0,\infty)$ f\'elegyenesen folytonos, szigor\'uan konvex
f\"uggv\'eny, amelyre $g(0)=g(1)=0$.}

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ K\"onnyen l\'athat\'o, hogy
$g(x)$ folytonos f\"uggv\'eny a $[0,\infty)$ f\'el\-egye\-ne\-sen,
\'es $g(0)=g(1)=0$. Ezenk\'{\i}v\"ul $g''(x)=\frac{\log e}x>0$
minden $x>0$ sz\'amra, ahon\-nan k\"ovetkezik, hogy $g(x)$
szigor\'uan konvex f\"uggv\'eny.

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.} Jel\"olje $X=\{x_1,x_2,\dots\}$
a $\xi$, $Y=\{y_1,y_2,\dots\}$ az $\eta$ \'es $Z=\{z_1,z_2,\dots\}$
a $\zeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ekeit. Az
a) b) \'es c) r\'eszben haszn\'aljuk a $p(x_i)=P(\xi=x_i)$,
$q(y_j)=P(\eta=y_j)$ \'es $r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$
jel\"ol\'est. Az a1) \'all\'{\i}t\'as nyilv\'anval\'o, mert
$-p(x_i)\log p(x_i)>0$, ha $0<p(x_i)<1$, \'es $0\log 0=1\log 1=0$.
Az a2) \'all\'{\i}t\'as k\"ovetkezik a
$$
-H(\xi)=n\sum_{i=1}^n\frac1n g(p(x_i))\ge ng\(\frac 1n
\sum_{i=1}^np(x_i)\)=ng\(\frac1n\)=-\log n
$$
egyenl\H{o}tlens\'egb\H{o}l, ahol $g(x)$ a lemm\'aban szerepl\H{o}
konvex f\"ugg\-v\'eny. Mivel a $g(\cdot)$ f\"ugg\-v\'eny szigor\'uan
konvex egyenl\H{o}s\'eg csak a $p(x_i)=\frac1n$, $1\le i\le n$, esetben
lehets\'eges.

A b) \'all\'{\i}t\'as bizony\'{\i}t\'asa \'erdek\'eben \'{\i}rjuk fel
a
$$ \allowdisplaybreaks
\align
H(\xi|\eta)&=-\sum_{i,j} q(y_j)\frac{r(x_i,y_j)}{q(y_j)}
\log \frac{r(x_i,y_j)}{q(y_j)}
=-\sum_i\(\sum_j q(y_j) g\(\frac{r(x_i,y_j)}{q(y_j)}\)\)\\
&\le -\sum_i\(g\(\sum_j q(y_j)\frac{r(x_i,y_j)}{q(y_j)}\)\)
=-\sum_i g(p(x_i))=H(\xi)
\endalign
$$
egyenl\H{o}tlens\'eget. E sz\'amol\'asban felhaszn\'altuk a
$g(x)=x\log x$ f\"uggv\'eny konvexit\'as\'at a $q(y_j)$, $q(y_j)>0$,
$\summ_j q(y_j)=1$, s\'ulyokkal, azaz azt, hogy
$\summ_j q(y_j)g(u_j)\le g\(\summ_j q(y_j)u_j)\)$ minden $u_1\ge0$,
$u_2\ge0$,\dots sz\'amsorozatra, \'es a $\summ_j r(x_i,y_j)=p(x_i)$
azonoss\'agot. Felhaszn\'alva a $g(\cdot)$ f\"uggv\'eny
szigor\'u konvexit\'as\'at kapjuk, hogy egyenl\H{o}s\'eg akkor
\'es csak akkor lehets\'eges, ha vagy $H(\xi|\eta)=\infty$ vagy
b\'armely r\"ogz\'{\i}tett $i$ indexre
$\frac{r(x_i,y_j)}{q(y_j)}=\alpha_i$ valamely $\alpha_i$ sz\'ammal
minden $j$ indexre. Ez azt jelenti. hogy $r(x_i,y_j)=\alpha_iq(j)$,
\'es ezt az azonoss\'agot \"osszegezve a $j$ v\'altoz\'ora azt
kapjuk, hogy $p(x_i)=\summ_j r(x_i,y_j)=\alpha_i$, azaz
$r(x_i,y_j)=p(x_i)q(y_j)$ minden $i$ \'es $j$ indexre, teh\'at a
$\xi$ \'es $\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
f\"uggetlenek.

A c) \'all\'{\i}t\'as bizony\'{\i}t\'asa \'erdek\'eben vegy\"uk \'eszre,
hogy a
$$
H(\xi|\eta)=-\summ_{i,j} r(x_i,y_j)\log \frac{r(x_i,y_j)}{q(y_j)}
$$
azonoss\'ag jobboldal\'an csak nem-pozit\'{\i}v tagok szerepelnek a
$0\le\frac{r(x_i,y_j)}{q(y_j)}\le1$ rel\'aci\'o miatt. Innen
k\"ovetkezik, hogy $H(\xi|\eta)\ge0$. (A fenti \"osszeg tagjainak azonos
el\H{o}jel\'et implicite a b) r\'esz bizony\'{\i}t\'as\'aban is
felhaszn\'altuk. Ez feljogos\'{\i}tott minket arra, hogy a
bizony\'{\i}t\'asban vizsg\'alt \"osszeget a sz\'amunkra megfelel\H{o}
m\'odon \'atrendezz\"uk.) Egyenl\H{o}s\'eg csak akkor
lehets\'eges, ha mindegyik $\frac{r(x_i,y_j)}{q(y_j)}$ tag vagy
null\'aval vagy eggyel egyenl\H{o}.
Ez azt jelenti, hogy l\'etezik egy olyan $i(j)$ index, hogy
$\frac{r(x_{i(j)},y_j)}{q(y_j)}=1$, azaz $P(\xi=x_{i(j)}|\eta=y_j)=1$.
Ez\'ert egyenl\H{o}s\'eg akkor \'es csak akkor teljes\"ul, ha
$\xi=f(\eta)$ valamely alkalmas $f$ f\"uggv\'ennyel.

A d) r\'esz \'all\'{\i}t\'as\'anak vizsg\'alat\'aban vezess\"uk be
a $p(x_i)=P(\xi=x_i)$ \'es $q(y_j)=P(\eta=y_j)$ mennyis\'egek mellett
az $u(x_i,y_j)=P(\xi=x_i,\eta=y_j)$, $v(y_j,z_k)=P(\eta=y_j,\zeta=z_k)$
valamint a $t(x_i,y_j,z_k)=P(\xi=x_i,\eta=y_j,\zeta=z_k)$
mennyis\'egeket is. Ezekkel a jel\"ol\'esekkel fel\'{\i}rhatjuk, hogy
$$ \allowdisplaybreaks
\align
H(\xi|\eta,\zeta)&=-\sum_{x_i,y_j,z_k}t(x_i,y_j,z_k)
\log\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)} \\
&=-\sum_{x_i,y_j} \(\sum_{z_k} q(y_j)
\frac{v(y_j,z_k)}{q(y_j)}\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}
\log\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\\
&=-\sum_{x_i,y_j} q(y_j)\(\sum_{z_k}\frac{v(y_j,z_k)}{q(y_j)}
g\(\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\) \\
&\le -\sum_{x_i,y_j} q(y_j)
g\(\sum_{z_k}\frac{v(y_j,z_k)}{q(y_j)}
\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\\
&= -\sum_{x_i,y_j} q(y_j) g\(\sum_{z_k}\frac{t(x_i,y_j,z_k)}{q(y_j)}\)
= -\sum_{x_i,y_j} q(y_j) g\(\frac{u(x_i,y_j)}{q(y_j)}\)\\
&=-\sum_{x_i,y_j}P(\xi=x_i,\eta=y_j)
\log\frac{P(\xi=x_i,\eta=y_j)}{P(\eta=y_j)}=H(\xi|\eta).
\endalign
$$
E sz\'amol\'asokban felhaszn\'altuk azt, hogy a $g(\cdot)$
f\"uggv\'eny konvex, $\summ_k\frac{v(y_j,z_k)}{q(y_j)}=1$, \'es
$\summ_k\frac{t(x_i,y_j,z_k)}{q(y_j)}=\frac{u(x_i,y_j)}{q(y_j)}$.
A kapott egyenl\H{o}tlens\'egben azonoss\'agot \'{\i}rhatunk
abban a speci\'alis esetben, ha
$\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}=\alpha(i,j)$,
azaz, ha ez a t\"ort csak az csak az $x_i$ \'es $y_j$
v\'altoz\'ot\'ol f\"ugg. Speci\'alisan egyenl\H{o}s\'eg
\'erv\'enyes, ha
$\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}={u(x_i,y_j)}{q(y_j)}$
vagy ekvivalens m\'odon megfogalmazva akkor, ha
$P(\zeta=z_k|\xi=x_i,\eta=y_j)=P(\zeta=z_k|\eta=y_j)$
minden $i$, $j$ \'es $k$ indexre. (N\'emi sz\'amol\'as
megmutatja, mi\'ert \'erdemes az $\alpha(i,j)$ f\"uggv\'enyt
\'{\i}gy v\'alasztani.) A t\'etel bizony\'{\i}t\'as\'at
befejezz\"uk, ha megmutatjuk, hogy ez az azonoss\'ag teljes\"ul
akkor, ha $\zeta=h(\eta,Z)$ egy a $(\xi,\eta)$ v\'eletlen
vektort\'ol f\"uggetlen $Z$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oval. Ez az azonoss\'ag viszont igaz, mert az
adott esetben $P(\zeta=z_k|\xi=x_i,\eta=y_j)=
P(h(y_j,Z)=z_k|\xi=x_i,\eta=y_j)=P(h(y_j,Z)=z_k)=P(\zeta=z_k)$,
\'es hasonl\'oan $P(\zeta=z_k|\eta=y_j)=
P(h(y_j,Z)=z_k|\eta=y_j)=P(h(y_j,Z)=z_k)=P(\zeta=z_k)$.

\medskip
{\it Feladat:}

\item{} Legyen $\xi_1,\dots,\xi_n$ egy Markov l\'anc. Bizony\'{\i}tsuk 
be, hogy $H(\xi_n|\xi_{n-1},\dots,\xi_1)=H(\xi_n|\xi_{n-1})$.

\medskip\noindent
{\bf Kieg\'esz\'{\i}t\'es:} {\it F\"uggetlen, \'ert\'ekeiket
esetleg v\'egtelen halmazban felvev\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'al\-to\-z\'ok\-b\'ol
\'all\'o tipikus sorozatok sz\'am\'anak a becsl\'ese.}

\medskip\noindent
A {\it f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol}
sz\'ol\'o t\'etelben becs\-l\'est adtunk arra, hogy h\'any
tipikus sorozatot tartalmaz egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oval azonos eloszl\'as\'u f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok $\xi_1,\dots,\xi_n$
sorozata. Pontosabban fogalmazva azt becs\"ult\"uk meg, hogy
r\"ogz\'{\i}tve egy kis $\e>0$ sz\'amot k\"or\"ulbel\"ul h\'any
sorozatot tartalmaz a $(\xi_1,\dots,\xi_n)$ v\'eletlen sorozatok
egy $1-\e$ m\'ert\'ek\H{u} alkalmasan v\'alasztott r\'eszhalmaza.
A v\'alasz a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $H(\xi)$
entr\'opi\'aj\'at\'ol f\"ugg.
Ezt az eredm\'enyt csak abban az esetben l\'attuk be, ha a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o csak v\'eges sok
\'ert\'eket vehet fel. Ugyanakkor term\'eszetes azt v\'arni, hogy
a t\'etel \'all\'{\i}t\'asa \'erv\'enyes megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eset\'en. Bel\'atjuk, hogy
ez t\'enyleg \'{\i}gy van. Az egyszer\H{u} fogalmaz\'as
\'erdek\'eben feltessz\"uk, hogy $H(\xi)<\infty$, hiszen
val\'oj\'aban minket csak ez az eset \'erdekel. A k\"ovetkez\H{o}
eredm\'enyt fogom bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel f\"uggetlen, v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol.}
{\it A f\"uggetlen va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol
megfogalmazott t\'etel \'all\'{\i}t\'asa akkor is
\'er\-v\'e\-nyes, ha az abban szerepl\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ekeit valamely
v\'eges vagy v\'egtelen $X=\{x_1,x_2,\dots,\}$ halmazon veszi
fel, \'es mind\"ossze annyit tesz\"unk fel r\'ola, hogy
$H(\xi)<\infty$.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Defini\'aljuk a
$p(x_k)=P(\xi=x_k)$, $k=1,2,\dots$, f\"uggv\'enyt, \'es adva
f\"uggetlen a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval
azonos eloszl\'as\'u, f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oknak egy $\xi_1,\dots,\xi_n$ sorozata vezess\"uk
be a $\zeta_j=-\log p(\xi_j)$, $1\le j\le n$,
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okat.  Vegy\"uk
\'eszre, hogy $E\zeta_j=H(\xi)$, \'es a nagy sz\'amok (gyenge)
t\"orv\'enye alapj\'an
$$
\frac1n\sum_{j=1}^n \zeta_j\Rightarrow H(\xi),
\quad\text{ha }n\to\infty,
$$
ahol $\Rightarrow$ sztochasztikus konvergenci\'at jel\"ol.
Jel\"olje $\eta_k(n)$ a $\xi_1,\dots,\xi_n$ sorozatban
szerepl\H{o} $x_k$ elemek sz\'am\'at. Ekkor az el\H{o}bb
fel\'{\i}rt formula ekvivalens a k\"ovetkez\H{o}
\'all\'{\i}t\'assal:
$$
\frac1n\sum_k (\eta_k(n)-np(x_k))\log p(x_k)\Rightarrow 0,
\quad\text{ha }n\to\infty, \tag A1
$$

Megmutatom, hogy a (A1) rel\'aci\'ob\'ol k\"ovetkezik a
t\'etel \'all\'{\i}t\'asa. E c\'elb\'ol v\'alasszunk olyan
$\e_n\to0$ \'es $\delta_n\to0$ sorozatokat, amelyekre
$$
P\(\left|\sum_k (\eta_k(n)-np(x_k))\log p(x_k)\right|>n\e_n\)
\le\delta_n. \tag A2
$$
Ez az (A1) rel\'aci\'o \'erv\'enyess\'ege miatt megtehet\H{o}.
Adva egy $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ sorozat jel\"olje
$s(k,x^{(n)})$ azon $r$, $1\le r\le n$, indexek sz\'am\'at, amelyekre
$x_{j_r}=x_k$. Defini\'aljuk minden $n=1,2,\dots$ indexre az
$$
A_1(n)=\left\{x^{(n)}=(x_{j_1},\dots,x_{j_n})\colon\; x^{(n)}\in X^n,\;
\sum_{k=1}^\infty (s(k,x^{(n)})-np(x_k))\log p(x_k)\le n\e_n\right\}
$$
\'es
$$
A_2(n)=\biggl\{x^{(n)}=(x_{j_1},\dots,x_{j_n})\colon\; x^{(n)}\in X^n,\;
\sum_{k=1}^\infty (s(k,x^{(n)})-np(x_k))\log p(x_k)\ge -n\e_n\biggr\}
$$
halmazokat, ahol $\e_n$ megegyezik az (A2) formul\'aban 
szerepl\H{o} $\e_n$ sz\'ammal. Vegy\"uk \'eszre, hogy mivel
$(\xi_(\oo),\dots,\xi_n(\oo))=(x_{j_1},\dots,x_{j_n})$,
$x^{(n)}=(x_{j_1},\dots,x_{j_n}))$ eset\'en 
$\eta_k(n)(\oo)=s(k,x^{(n)})$. Ez\'ert az (A2) formula alapj\'an
$P((\xi_1,\dots,\xi_n)\in A_j(n))\ge1-\delta_n\ge 1-\delta/2$
mind $j=1$ mind $j=2$ indexszel,
ha $n\ge n_0(\delta,\e)$ alkalmas $n_0$ k\"usz\"obindexszel.
A f\H{o} r\'eszben ismertetett bizony\'{\i}t\'ast
alkalmazhatjuk a most t\'argyalt esetben is minim\'alis
v\'altoztat\'asokkal, ha megmutatjuk, hogy egy
$x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ vektorra
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\le2^{-n(1-\e)H(\xi)},
\quad\text{ha } x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_1(n).
$$
\'es
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\ge2^{-n(1+\e)H(\xi)},
\quad\text{ha } x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_2(n),
$$
felt\'eve, hogy $n\ge n_0(\e,\delta)$ egy alkalmas $n_0$
k\"usz\"obindexszel. Ezekb\H{o}l az
egyen\-l\H{o}t\-len\-s\'e\-gek\-b\H{o}l ugyanis a f\H{o}
r\'eszben ismertetett bizony\'{\i}t\'as m\'odszer\'evel
k\"o\-vet\-ke\-zik a sz\'amunkra sz\"uk\-s\'e\-ges becsl\'es
az $A_1(n)$ illetve az $A_2(n)$ halmaz elemsz\'am\'ara.

A k\'{\i}v\'ant becsl\'esek bizony\'{\i}t\'as\'anak az
\'erdek\'eben \'{\i}rjuk fel az al\'abbi azonoss\'agot
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ vektorra.
$$
\align
&P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\!=\prod_{k=1}^\infty p(x_k)^{s(k,x)}
\!=\prod_{k=1}^\infty p(x_k)^{np_k(x)}
\prod_{k=1}^\infty p(x_k)^{s(k,x)-np_k(x)} \\
&\quad= \exp\left\{\frac1{\log 2}
\sum_{k=1}^\infty n p(x_k)\log p(x_k)\right\}
\exp\left\{\frac1{\log 2}\sum_{k=1}^\infty
(s(k,x^{(n)})-np(x_k))\log p(x_k)\right\}.
\endalign
$$
Innen k\"ovetkezik, hogy
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\le 2^{-nH(\xi)}\cdot 2^{n\e_n}\ge2^{-n(1-\e/2)H(\xi)}
$$
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_1(n)$ vektorra, \'es
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\ge 2^{-nH(\xi)}\cdot 2^{-n\e_n}\ge2^{-n(1+\e)H(\xi)}
$$
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_2(n)$ vektorra, ha
$n\ge n_0(\e,\delta)$. Innen k\"ovetkezik, hogy az
$A_1(n)$ \'es $A_2(n)$ halmazok elemsz\'ama teljes\'{\i}ti az
$|A_1(n)|\ge 2^{n(1-\e)H(\xi)}$ \'es $|A_2(n)|\le 2^{n(1+\e)H(\xi)}$
egyen\-l\H{o}t\-len\-s\'e\-ge\-ket. S\H{o}t az is igaz,
hogy amennyiben $B\subset X^n$ olyan halmaz, amelyre
$P((\xi_1,\dots,\xi_n)\in B)\ge\delta$, akkor
$|A_1(n)\cap B|\ge 2^{n(1-\e)H(\xi)}$.

%\beginsection 
\medskip\noindent
{\bf 2. Forr\'ask\'odol\'as \'es dek\'odol\'as.}

\medskip\noindent
Az inform\'aci\'oelm\'elet egyik legfontosabb probl\'em\'aja
a k\"ovetkez\H{o} k\'odol\'asi probl\'em\'anak nevezett
k\'erd\'es. Legyen adva val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
valamely $\xi_1,\xi_2,\dots$ v\'eges vagy v\'egtelen sorozata,
amelynek tagjai \'ert\'ek\"uket valamely $X$ v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u halmazban
veszik fel. A $\xi_1,\xi_2\dots$ sorozatot forr\'asnak, a
$\xi_j$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok
\'altal felvett \'ert\'ekek $X$ halmaz\'at pedig (forr\'as)
ABC-nek szok\'as nevezni az irodalomban. Ennek a
$\xi_1,\xi_2\dots$ sorozatnak az \'ert\'ekeit szeretn\'enk
k\"oz\"olni valakivel, akit felhaszn\'al\'onak nevez\"unk.
E c\'el el\'er\'ese \'erdek\'eben bizonyos jeleket le\-adunk
a felhaszn\'al\'onak, aki ezeket a jeleket, esetleg
n\'emi hib\'aval, megkapja. Azt az appar\'atust, amely
ezeket a jeleket tov\'abb\'{\i}tja csa\-tor\-n\'a\-nak nevezz\"uk.
A felhaszn\'al\'o, a csatorn\'an kereszt\"ul megkapott jelek
seg\'{\i}ts\'eg\'evel megpr\'ob\'alja rekonstru\'alni az eredeti
$\xi_1,\xi_2,\dots$ \"uzenetet. Tegy\"uk fel, hogy a kiindul\'o
$\xi_1,\xi_2,\dots$ sorozat egym\'as ut\'ani jelei meg\'erkeznek
bizonyos sebess\'eggel, \'es mi le tudjuk adni a csatorn\'an a
jeleinket a felhaszn\'al\'onak bizonyos sebess\'eggel. A k\'erd\'es
az, hogy mikor tudjuk egy a felhaszn\'al\'oval kor\'abban
egyeztetett m\'odszer seg\'{\i}ts\'eg\'evel el\'erni, hogy \H{o} a
kapott jelsorozat seg\'{\i}ts\'eg\'evel viszonylag kis hib\'aval
rekonstru\'alni tudja az eredeti $\xi_1,\xi_2,\dots$ forr\'ast.

Az el\H{o}bb megfogalmazott k\'odol\'asi probl\'ema egy tipikus
esete az, ha egy sz\"oveg egym\'as ut\'ani bet\H{u}i \'erkeznek (a
sz\'ok\"ozi sz\"uneteket k\"ul\"on jelnek tekintj\"uk), \'es ezt a
folyamatosan \'erkez\H{o} sz\"oveget akarjuk k\"oz\"olni egy
t\H{o}l\"unk t\'avol lev\H{o} ismer\H{o}s\"unknek. Ennek
\'erdek\'eben le tudunk adni egym\'as ut\'an 0 \'es 1 jeleket egy
t\'av\'{\i}r\'on. Azt akarjuk el\'erni, hogy ismer\H{o}s\"unk, aki
e jeleket megkapja k\'epes legyen viszonylag pontosan
rekonstru\'alni az eredeti sz\"oveget m\'eg akkor is, ha a
jeltov\'abb\'{\i}t\'asban id\H{o}nk\'ent hib\'ak l\'epnek fel.
Azt vizsg\'aljuk, hogy ez mikor lehets\'eges. C\'elszer\H{u} az
egyes bet\H{u}knek bizonyos jelsorozatot (k\'odot) megfeleltetni.
\'Ugy k\'{\i}v\'anjuk ezt tenni, hogy ismer\H{o}s\"unk k\'epes
legyen a kapott jelsorozat seg\'{\i}ts\'eg\'evel viszonylag
pontosan rekonstru\'alni (dek\'odolni) az eredeti sorozatot m\'eg
akkor is, ha a leadott jelsorozat egyes jelei hib\'asan
\'erkeznek meg hozz\'a.

C\'elunkat el\'erhetj\"uk p\'eld\'aul \'ugy, hogy mindegyik
bet\H{u}nek ugyanolyan hossz\'u \'es egy\-m\'as\-t\'ol
k\"ul\"onb\"oz\H{o} k\'odsz\'ot feleltet\"unk meg, \'es mindegyik
k\'od\-sz\'ot egym\'as ut\'an sz\'az\-szor k\"uldj\"uk el a
csatorn\'an. Ekkor kicsi annak a val\'osz\'{\i}n\H{u}s\'ege,
hogy egy ilyen 100-szor el\-k\"ul\-d\"ott jel az esetek
t\"obbs\'eg\'eben helytelen\"ul \'erkezik, \'{\i}gy
ismer\H{o}s\"unk nagy  va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel
rekonstru\'alni tudja az eredeti \"uzenetet. A probl\'ema az,
hogy ilyen m\'odszerrel az \"uzenet tov\'abb\'{\i}t\'asa
t\'uls\'agosan sok id\H{o}t vesz ig\'enybe, \'es ez\'ert esetleg
nem tudjuk k\"ovetni az eredetileg \'erkez\H{o} jelsorozat
sebess\'eg\'et. C\'elunk teh\'at az, hogy egy olyan m\'odszert
dolgozzunk ki, amelynek seg\'{\i}ts\'eg\'evel az eredeti
h\'{\i}rforr\'ast viszonylag gyorsan \'es pontosan
meg tudjuk ismertetni a felhaszn\'al\'oval. A m\'odszer
kidolgoz\'as\'an\'al \'erdemes
figyelembe venni azt, hogy a (v\'eletlen) $\xi_1,\xi_2,\dots$
forr\'as milyen val\'osz\'{\i}n\H{u}s\'egi t\"orv\'enynek tesz
eleget, illetve, hogy milyen val\'osz\'{\i}n\H{u}s\'eggel
k\"ovetkeznek be bizonyos hib\'ak, amikor a jeleket leadjuk a
csatorn\'an.

Az el\H{o}bb megfogalmazott k\'odol\'asi probl\'em\'at \'erdemes
k\'et probl\'ema vizsg\'alat\'anak a
seg\'{\i}ts\'eg\'evel megoldani. Az els\H{o} probl\'ema a
k\"ovetkez\H{o}. Adva egy r\"ogz\'{\i}tett $n$ sz\'am, \'es
egy r\"ogz\'{\i}tett $V=\{v_1,v_2,\dots\}$ v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen halmaz, tekints\"uk a
$$
\xi_{ln+1},\dots,\xi_{l(n+1)}, \qquad l=1,2,\dots,
$$
blokkokat. V\'alaszuk ki ezenk\'{\i}v\"ul a $V$ halmazbeli
elemeket tartalmaz\'o $n$-hossz\'us\'ag\'u sorozatoknak egy
alkalmas $A=A(n)\subset V^n$ r\'eszhalmaz\'at. (Itt, \'es a
tov\'abbiakban, $V^n$ jel\"oli a $V$ halmazbeli, \'es $X^n$
az $X$ halmazbeli elemeket  tartalmaz\'o $n$  hossz\'us\'ag\'u
sorozatok halmaz\'at.) Olyan $f\colon\; X^n\to A(n)$ \'es
$g\colon A(n)\to X^n$ f\"uggv\'enyeket keres\"unk,
ame\-lyek\-re
$$
P(g(f(\xi_{ln+1},\dots,\xi_{(l+1)n}))
=(\xi_{ln+1},\dots,\xi_{(l+1)n}))\ge1-\e\quad\ \text{minden }
l=0,1,\dots \text{ indexre}   \tag2.1
$$
egy kis fix $\e>0$ sz\'ammal. Ha tal\'alunk ilyen $f,g)$
f\"uggv\'enyp\'art akkor $f(\cdot)$ f\"uggv\'enyt
k\'od\-f\"ugg\-v\'eny\-nek, az $f(x_{p(1)},\dots,x_{p(n)})$
sorozatot az $x_{p(1)},\dots,x_{p(n)}$ sorozat k\'odj\'anak
nevezz\"uk, a $g(\cdot)$ f\"uggv\'enyt pedig dek\'odol\'o
f\"uggv\'enynek h\'{\i}vjuk. Ebben az esetben azt mondjuk, 
hogy $\e$-n\'al kisebb hib\'aval  k\'odoltunk.Olyan 
$A(n)\subset V^n$ halmazt \'es a 
(2.1) formul\'at teljes\'{\i}t\H{o} $f(\cdot)$, $g(\cdot)$ 
f\"uggv\'enyp\'art szeretn\'enk tal\'alni, amelyekre az $n$
blokkhosszt\'ol f\"ugg\H{o} $A(n)$ halmaznak viszonylag 
kicsi az elemsz\'ama. E feladat megold\'as\'at nevezz\"uk 
forr\'as k\'odol\'asnak \'es forr\'as dek\'odol\'asnak. 

A m\'asodik feladat arr\'ol sz\'ol, hogy amikor a forr\'as
k\'odol\'asak\'ent kapott sorozat
\'ert\'ek\'et alkalmas csatorna esetleg hib\'as
k\"ozvet\'{\i}t\'ese seg\'{\i}ts\'eg\'evel k\"oz\"olj\"uk a
felhaszn\'al\'oval, akkor \H{o} hogyan tudja viszonylag kis
hib\'aval rekonstru\'alni a csatorn\'an kereszt\"ul elk\"uld\"ott
sorozatot. Ezt a feladatot, amelyet csatorna k\'odol\'asnak \'es
dek\'odol\'asnak neveznek a k\"ovetkez\H{o} fejezetben fogom
t\'argyalni, \'es mag\'at a feladatot is csak ott fogom
pontosan megfogalmazni.

E fejezet t\'em\'aja a forr\'as k\'odol\'as \'es dek\'odol\'as.
Csak azzal az esettel fogok fog\-lal\-koz\-ni, amikor a
$\xi_1,\xi_2,\dots$ forr\'as f\"uggetlen \'es egyforma
eloszl\'as\'u v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an
v\'egtelen sok \'ert\'eket felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok sorozata. Ebben az esetben egy j\'o forr\'as
k\'odol\'as \'es dek\'odol\'as megtal\'al\'asa viszonylag
egyszer\H{u} feladat, az k\"onnyen megtehet\H{o} az el\H{o}z\H{o}
fejezet eredm\'enyeinek a seg\'{\i}ts\'eg\'evel. T\'argyalni
fogom tov\'abb\'a ennek a feladatnak egy \"on\-ma\-g\'a\-ban is
\'erdekes v\'altozat\'at, amelyben egy v\'eletlen sorozatot
akarunk viszonylag r\"ovid sorozattal \'ugy k\'odolni, hogy az
hib\'atlanul dek\'odolhat\'o legyen. A k\'odolt sorozat hossza
f\"ugghet a v\'eletlent\H{o}l, \'es e v\'eletlen sz\'ohossz
v\'arhat\'o \'ert\'ek\'et szeretn\'enk kicsiv\'e tenni.

Megfogalmazom ezt a m\'odos\'{\i}tott feladatot pontosabban.
Legyen adva egy $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o, amely \'ert\'ekeit egy v\'eges $X=\{x_1,\dots,x_M\}$
halmazban veszi fel,  \'es amely\-nek ismert a $P(\xi=x_i)=p(i)$,
$1\le i\le M$, eloszl\'asa. (Az egyszer\H{u}s\'eg  kedv\'e\'ert
feltettem, hogy a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$X$ \'ert\'ekk\'eszlete egy v\'eges halmaz, b\'ar t\"obb al\'abb
ismertetend\H{o} eredm\'eny akkor is \'erv\'enyes, ha az $X$
halmaz sz\'amoss\'aga megsz\'aml\'alhat\'oan v\'egtelen is
lehet.) Legyen adva egy v\'eges $d$-elem\H{u}
$Y=\{y_1,\dots,y_d\}$ halmaz, amelyet a tov\'abbiakban ABC-nek
fogunk nevezni, \'es a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'al\-to\-z\'o\-val azonos eloszl\'as\'u $\xi_1,\dots,\xi_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oknak egy sorozata. Nevezz\"uk
az $Y$ halmaz elemeib\H{o}l \'all\'o  v\'eges $y_{j_1},\dots,y_{j_n}$
sorozatokat szavaknak. Minden $x_i\in X$ elemnek meg akarunk
feleltetni egy  $u(x_i)=y^{(i)}_{j_1},\dots,y^{(i)}_{j_{n(i)}}$ $n(i)$
hossz\'us\'ag\'u $Y$ halmaz elemeib\H{o}l \'all\'o sorozatot,
amelyet az $x_i$ sorozat nev\'enek fogunk nevezni. \'Ugy
k\'{\i}v\'anjuk ezt a megfeleltet\'est csin\'alni, hogy ha
egym\'as ut\'an felsorolj\'ak nek\"unk egy $x_{i_1},\dots,x_{i_l}$
sorozat elemeinek $u(x_{i_1}),\dots,u(x_{i_l})$ neveit, akkor k\'epesek
legy\"unk ennek alapj\'an az $x_{i_1},\dots,x_{i_l}$ sorozatot
egy\'ertelm\H{u}en rekonstru\'alni. Az ilyen $x_i\to u(x_i)$,
$x_i\in X$, lek\'epez\'eseket egy\'ertelm\H{u}en dek\'odolhat\'o
k\'odol\'asoknak fogjuk nevezni. Ennek pontos definici\'oj\'at
al\'abb ismertetem. Azzal a k\'erd\'essel fogunk foglalkozni,
hogy milyen ki\-csi\-v\'e tudjuk tenni egy egy\'ertelm\H{u}en
dek\'odolhat\'o $x_i\to u(x_i)$, $1\le i\le M$, k\'odol\'as $n(i)$
hossz\'anak a v\'arhat\'o \'ert\'ek\'et, azaz a
$\summ_{i=1}^M p(i)n(i)$ mennyis\'eget.

\medskip\noindent
{\bf Az egy\'ertelm\H{u}en dek\'odolhat\'o k\'odol\'as
definici\'oja.} {\it Legyen $X=\{x_1,x_2,\dots\}$ egy v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u halmaz \'es
$Y=\{y_1,\dots,y_d\}$ egy m\'asik $d$ elemsz\'am\'u halmaz (ABC).
Egy az $X$ halmaz elemeit az $Y$ halmaz elemeib\H{o}l \'all\'o v\'eges
elemsz\'am\'u $u(x_i)=y^{(i)}_{j_1}\dots y^{(i)}_{j_{n(i)}}$ sorozatokba
k\'epez\H{o} lek\'epez\'es\'et az $X$ halmaznak az $Y$ ABC szavaival
v\'egzett  egy\'ertelm\H{u}en dek\'odolhat\'o k\'odol\'as\'anak
nevez\"unk, ha minden $x_{i_1},\dots,x_{i_l}$, $l=1,2,\dots$,
$x_{i_j}\in X$,  $1\le j\le l$, sorozatnak az
$u(x_{i_1}),\dots,u(x_{i_l})$ sorozatot megfeleltetve teljes\"ul
az $u(x_{i_1}),\dots,u(x_{i_{l_1}})
\neq u(x'_{i_1}),\dots,u(x'_{i_{l_2}})$ rel\'aci\'o, ha
$x_{i_1},\dots,x_{i_{l_1}}\neq x'_{i_1},\dots,x'_{i_{l_2}}$.
(Megjegyzem, hogy az $u(x_i)$ sorozat $n(i)$ hossza f\"ugghet
az $x_i\in X$ elemt\H{o}l.)}

\medskip\noindent
El\H{o}sz\"or az eredeti k\'odol\'asi feladattal foglalkozom.
Megfogalmazom azt az eredm\'enyt, amely megadja, hogy milyen
$N(n)$ elemsz\'am\'u $A(n)\subset V^n$ halmaz
seg\'{\i}ts\'eg\'evel lehet megadni valamely f\"uggetlen,
egyforma eloszl\'as\'u $\xi_1,\dots,\xi_n$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol
\'all\'o forr\'asnak egy $\e$-n\'al kisebb hib\'aj\'u, azaz
a (2.1) rel\'aci\'ot teljes\'{\i}t\H{o} $f(\cdot)$
k\'odol\'as\'at \'es $g(\cdot)$ dek\'odol\'as\'at. A most
ismertetett t\'etel val\'oj\'aban az el\H{o}z\H{o} fejezet
bizonyos eredm\'enyeinek egyszer\H{u} k\"ovetkezm\'enye.

\medskip\noindent
{\bf T\'etel f\"uggetlen, egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol \'all\'o forr\'as
kis hib\'aj\'u k\'odol\'as\'ar\'ol \'es dek\'odol\'as\'ar\'ol.}
{\it Legyen $\xi$ egy \'ert\'ekeit valamely v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u
$X=\{x_1,x_2,\dots\}$ halmazon f\"olvev\H{o}
val\-\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o,
$\xi_1,\dots,\xi_n$ pedig f\"uggetlen, a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok sorozata.
Legyen ezenk\'{\i}v\"ul adva egy $V=\{v_1,v_2,\dots\}$ halmaz.
Jel\"olje $X^n$ az $X$ halmazb\'ol, $V^n$ a $V$ halmaz
elemeib\H{ol} \'all\'o $n$ hossz\'us\'ag\'u sorozatok halmaz\'at.
V\'alasszunk egy $N=N(n)$ elemsz\'am\'u $A=A(n)\subset V^n$
halmazt. Minden $\e>0$ \'es $\delta>0$ sz\'amhoz l\'etezik
$n_0=n_0(\e,\delta)$ k\"usz\"obindex \'ugy, hogy ha $n\ge n_0$
\'es $N(n)\ge2^{(1+\delta) H(\xi)n}$, akkor l\'eteznek olyan
$f\colon\;X^n\to A(n)$ \'es $g\colon\;A(n)\to X^n$
f\"uggv\'enyek, amelyekre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge1-\e$.
Megford\'{\i}tva, ha $N(n)\le2^{(1-\delta)H(\xi)n}$, \'es
$n\ge n_0(\e,\delta)$ akkor minden $f\colon\;X^n\to A(n)$ \'es
$g\colon\;A(n)\to X^n$ f\"ugg\-v\'eny\-p\'ar\-ra
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\le\e$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.} L\'attuk a
 f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol
sz\'ol\'o t\'etel bizony\'{\i}t\'as\'aban (ha megsz\'aml\'alhat\'oan
v\'egtelen sz\'amoss\'ag\'u halmazokkal aka\-runk dolgozni,
akkor e t\'etelnek a kieg\'esz\'{\i}t\'esben t\'argyalt
\'al\-ta\-l\'a\-no\-s\'{\i}\-t\'a\-s\'at kell tekinten\"unk),
hogy $n\ge n_0(\e,\delta)$ eset\'en l\'etezik olyan
$B\subset X^n$ halmaz, amelyre az $B$ halmaz kevesebb, mint
 $2^{(1+\delta)H(\xi)n}$ elemet tartalmaz, \'es
$P((\xi_1,\dots,\xi_n)\in B)\ge 1-\e$. V\'alasszunk egy ilyen $B$
halmazt, \'es soroljuk fel az elemeit, mint
$B=\{x_1^{(n)},x_2^{(n)},\dots,x_{\bar N(n)}^{(n)}\}$ valamely
$\bar N(n)\le2^{(1+\delta)nH(\xi)}$ sz\'ammal. Soroljuk fel az
$A(n)$ halmaz elemeit is, mint
$A(n)=\{v_1^{(n)},v^{(n)},\dots,v_{N(n)}^{(n)}\}$.
Ha $N(n)\ge2^{(1+\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$
akkor $\bar N(n)\le N(n)$. Defini\'aljuk ebben az esetben az
$f(x)$ f\"uggv\'enyt egy olyan $x=(x_1,\dots,x_n)\in X^n$ elemre,
amelyre $x\in B$, \'es ez\'ert fel\'{\i}rhat\'o $x=x^{(n)}_k$,
$1\le k\le\bar N(n)$, alakban, \'ugy mint
$f(x)=f(x^{(n)}_k)=v^{(n)}_k$. Ha $x\notin B$, legyen
$f(x)=v^{(n)}_1$. Defini\'aljuk a $g(v^{(n))}_k)$ f\"uggv\'enyt,
mint $g(v^{(n)}_k)=x^{(n)}_k$, ha $k\le\bar N(n)$. Ha
$\bar N(n)<k\le N(n)$, akkor a $g(v^{(n)}_k)$ f\"uggv\'enyt
tetsz\H{o}leges m\'odon defini\'alhatjuk. Ilyen v\'alaszt\'assal
$P(g(f(\xi_1,\dots,\xi_n))
=(\xi_1,\dots,\xi_n))\ge P((\xi_1,\dots,\xi_n)\in B)\ge1-\e$.

A t\'etel m\'asodik fel\'enek bizony\'{\i}t\'as\'aban azt haszn\'aljuk
ki, hogy $n\ge n_0$ eset\'en l\'etezik olyan $\bar B\subset X^n$
halmaz, amelyre $P((\xi_1,\dots,\xi_n)\in\bar B)\ge1-\frac\e2$,
\'es a $\bar B$ halmaz elemei viszonylag nagy
val\'osz\'{\i}n\H{u}s\'eggel jelennek meg. Pontosabban,
$P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\le 2^{-(1-\frac\delta2)H(\xi)n}$ az
$(x_{j_1},\dots,x_{j_n})\in \bar B$ vektorokra. Ha
$N(n)\le2^{(1-\delta)H(\xi) n}$ eset\'en is lenne olyan
$f(\cdot)$, $g(\cdot)$ f\"uggv\'enyp\'ar, amelyre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge\e$,
akkor l\'etezne olyan $B_0\subset X^n$ halmaz, amelyre
$P((\xi_1,\dots,\xi_n)\in B_0)\ge\e$, \'es az \"osszes
$x=(x_{j_1},\dots,x_{j_n})\in B_0$ vektor $f(x)\in A(n)$
k\'epe k\"ul\"onb\"oz\H{o} lenne. (A $B_0$ halmazt \'ugy
v\'alaszthatjuk, mint azon $x\in X^n$ vektorok halmaz\'at,
amelyekre $g(f(x))=x$.) Ekkor az is igaz lenne, hogy
$P((\xi_1,\dots,\xi_n)\in B_0\cap\bar B)\ge\frac\e2$, \'es minden
$x\in B_0\cap\bar B$ vektorra $P((\xi_1,\dots,\xi_n)=x)
\le 2^{-(1-\frac\delta2)H(\xi)n}$. Innen k\"ovetkezne,
hogy az $B_0\cap\bar B$ halmaz elemsz\'ama nagyobb, mint
$\frac\e2 2^{(1-\frac\delta2)H(\xi)n}>
2^{(1-\delta)H(\xi)n}$, ha $n\ge n_0(\e,\delta)$.
Ez ellentmond annak, hogy minden $x\in B_0\cap \bar B$
vektor $f(x)\in A(n)$ k\'epe k\"ul\"onb\"oz\H{o}, mert az $A(n)$
halmaz elemsz\'ama $N(n)\le2^{(1-\delta)H(\xi)n}$.

\medskip\noindent
{\it Megjegyz\'es.}\/ Mivel a tekintett $\xi_1,\xi_2,\dots$
sorozat f\"uggetlen \'es egyforma eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okb\'ol \'all,
ez\'ert az el\H{o}z\H{o} t\'etel eredm\'eny\'et alkalmazhatjuk
nemcsak a $(\xi_1,\dots,\xi_n)$ hanem a
$(\xi_{ln+1},\dots,\xi_{(l+1)n})$ sorozatra is minden
$l=1,2,\dots$ indexre. Ez\'ert a (2.1) rel\'aci\'o
is teljes\"ul egy alkalmas $f(\cdot)$, $g(\cdot)$
f\"uggv\'enyp\'arral, ha az $A(n)$ halmaz $N(n)$ elemsz\'am\'ara
$N(n)\ge2^{(1+\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$.
Tov\'abb\'a
$P(g(f(\xi_{ln+1},\dots,\xi_{(l+1)n}))=(\xi_{ln+1},\dots,\xi_{(l+1)n}))
\le\e$
minden $l=0,1,\dots$ indexre \'es $f,g$ f\"uggv\'enyp\'arra, ha
$N(n)\le 2^{(1-\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$.

\medskip\noindent
R\'at\'erek az egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
vizsg\'alat\'ara. Azt vizsg\'aljuk, hogyan lehet egy $M$
elemb\H{o}l \'all\'o $X=\{x_1,\dots,x_M\}$ halmaz elemeit,
pontosabban ezen elemekb\H{o}l \'all\'o sorozatokat
hib\'atlanul k\'odolni \'es dek\'odolni viszonylag
r\"ovid k\'odokkal egy $d$ elem\H{u} $Y=\{y_1,\dots,y_d\}$
ABC seg\'{\i}ts\'eg\'evel. Az \'altal\'anoss\'ag
megszor\'{\i}t\'asa n\'elk\"ul feltehetj\"uk,
hogy $Y=\{1,\dots,d\}$. \'Erdemes bevezetni a
k\"o\-vet\-ke\-z\H{o} fogalmat.

\medskip\noindent
{\bf Prefix k\'odok definici\'oja.} {\it Legyen adva egy
$X=\{x_1,\dots,x_M\}$ halmaz, \'es egy $Y=\{1,\dots,d\}$
ABC. Feleltess\"unk meg minden $x_i\in X$ elemnek egy
$u(x_i)=j^{(i)}_1,\dots j^{(i)}_{n(i)}$, $1\le j^{(i)}_s\le d$,
$1\le s\le n(i)$, sorozatot. Azt mondjuk, hogy ez a
megfeleltet\'es az $X$ halmaz elemeinek prefix k\'odja,
ha nincs olyan $x_p\in X$, $x_q\in X$ p\'ar, amelyre
az $u(x_p)$ sorozat az $u(x_q)$ sorozat megszor\'{\i}t\'asa
annak elej\'ere, azaz semmilyen $x_p$, $x_q$ p\'arra
nem lehet megkapni az $u(x_p)$ sorozatot \'ugy, hogy alkalmas
sz\'am\'u jelet let\"orl\"unk az $u(x_q)$ sorozat
v\'eg\'er\H{o}l.}

\medskip
Fontos lesz sz\'amunkra az al\'abbi lemm\'aban megfogalmazott
egyszer\H{u} \'esz\-re\-v\'e\-tel.

\medskip\noindent
{\bf Lemma a prefix k\'odok egy tulajdons\'ag\'ar\'ol.}
{\it Minden prefix k\'od egy\'ertelm\H{u}en
de\-k\'o\-dol\-ha\-t\'o k\'od.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Ha egy $x_1,\dots,x_n$ sorozatnak
egy $u(x_1),u(x_2),\dots,u(x_n)$ prefix k\'od felel meg, akkor
a prefix tulajdons\'ag alapj\'an meg tudjuk \'allap\'{\i}tani,
hol fejez\H{o}dik be e sorozatban az $u(x_1)$, sorozat, \'es \'{\i}gy
azonos\'{\i}that\'o az $x_1$ jel. Ezut\'an rekurz\'{\i}v m\'odon
meg tudjuk hat\'arozni egym\'as ut\'an az $x_2$, $x_3$,\dots
\'ert\'eketet is.

\medskip
L\'eteznek nem prefix, de egy\'ertelm\H{u}en dek\'odolhat\'o
k\'odok. P\'eld\'aul, ha $X$ k\'et elem\H{u} halmaz, \'es $D=\{1,2\}$
v\'alaszthatjuk $x_1$ k\'odj\'anak az 1, $x_2$ k\'odj\'anak az 1,2
sorozatot. Vagy $x_1$ k\'odj\'anak az 1, $x_2$ k\'odj\'anak az
$1,\dots,1,2$ sorozatot, ahol az 1 jeleknek egy $n$ hossz\'us\'ag\'u
sorozat\'at vett\"uk a 2 jel el\H{o}tt egy
tetsz\H{o}leges (ismert) pozit\'{\i}v eg\'esz $n$ sz\'ammal.
Ezek egy\'ertelm\H{u}en dek\'odolhat\'o, de nem prefix k\'odok.
Viszont, mint l\'atni fogjuk, minden egy\'ertelm\H{u}en
dek\'odolhat\'o k\'odhoz lehet tal\'alni egy legal\'abb ugyanolyan
j\'o prefix k\'odot, ez\'ert figyelm\"unket koncentr\'alhatjuk a
prefix k\'odokra. Ezeknek megvan az az
el\H{o}ny\"uk is, hogy gyorsan dek\'odolhat\'oak. Ha egym\'as ut\'an
meg\'erkeznek az $x_{j_1}$, $x_{j_2},\dots$, jelek prefix k\'odjai,
akkor mihelyt meg\'erkezett egy jel k\'odja, azonnal dek\'odolhatjuk
azt. Nem prefix, de egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
eset\'eben a helyzet bonyolultabb. P\'eld\'aul, ha a k\'et elem\H{u}
$X$ halmaz $x_1$ elem\'enek a k\'odszava 1, az  $x_2$ elem k\'odszava
$1,\dots,1,2$, ($n$ darab 1 jellel), akkor egy 1 jel meg\'erkez\'ese
ut\'an lehet, hogy m\'eg $n$ jel meg\'erkez\'es\'et is meg kell
v\'arni, \'es csak azut\'an tudjuk eld\"onteni, hogy ez az 1-es jel
az $x_1$ k\'odszava vagy az $x_2$ k\'odszav\'anak az els\H{o} eleme
volt-e. Egy\'ebk\'ent l\'etezik egy m\'odszer annak
eld\"ont\'es\'ere, hogy mikor dek\'odolhat\'o egy k\'od
egy\'ertelm\H{u}en, (l\'asd (Robert Ash: Information theory,
Theorem 2.2.1), de erre a meglehet\H{o}sen bonyolultan
bizony\'{\i}that\'o  eredm\'enyre nem lesz sz\"uks\'eg\"unk. Ez\'ert
azt nem t\'argyalom.

A k\"ovetkez\H{o} eredm\'enyben, amelyet
Kraft--egyenl\H{o}tlens\'egnek is h\'{\i}vnak az irodalomban,
megadjuk, hogy milyen hossz\'uak lehetnek egy prefix k\'od
k\'odszavai.

\medskip\noindent
{\bf T\'etel egy prefix k\'od szavainak lehets\'eges hossz\'ar\'ol.
(Kraft egyenl\H{o}tlens\'eg.)}
{\it Legyen $X=\{x_1,\dots,x_M\}$ egy $M$ elem\H{u} halmaz,
\'es legyen $u(x_i)$, $1\le i\le M$, e halmaz egy prefix k\'odja az
$Y=\{1,\dots,d\}$ $d$-elem\H{u} ABC-vel. Jel\"olje $n(i)$ az
$u(x_i)$ sz\'o k\'odhossz\'at. Ekkor teljes\"ul a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eg.
Megford\'{\i}tva, ha az $n(i)$, $1\le i\le M$, pozit\'{\i}v eg\'esz
sz\'amok sorozata teljes\'{\i}ti a $\summ_{i=1}^M d^{-n(i)}\le1$
egyenl\H{o}tlens\'eget, akkor l\'etezik az $X$ halmaz elemeinek
olyan $u(x_i)$, $1\le i\le M$, prefix k\'odja az $Y=\{1,\dots,d\}$
$d$-elem\H{u} ABC-vel, amelyre az $u(x_i)$ sz\'o k\'odhossza $n(i)$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Feltehetj\"uk, hogy az $x_i\in X$
elemek \'ugy vannak indexelve, hogy $n(1)\le n(2)\le\cdots\le n(M)$.
Ha adva van egy $u(x_i)$, $1\le i\le M$, prefix k\'od, akkor
minden egyes $u(x_i)$ k\'odsz\'onak feleltess\"uk meg az \"osszes
olyan $n(M)$ hossz\'us\'ag\'u, az $Y=\{1,\dots,d\}$ halmaz
elemeib\H{o}l \'all\'o sorozatok halmaz\'at, amely sorozatok az
$u(x_i)$ k\'odsz\'o folytat\'asai. Az $u(x_i)$ k\'odsz\'onak
$d^{n(M)-n(i)}$ ilyen folytat\'asa van, \'es az $u(\cdot)$ k\'od
prefix tulajdons\'aga miatt \'{\i}ly m\'odon csupa
k\"ul\"onb\"oz\H{o} $n(M)$ hossz\'us\'ag\'u az $\{1,\dots,d\}$
halmaz elemeib\H{o}l \'all\'o sorozatot kapunk. Mivel \"osszesen
$d^{n(M)}$ ilyen sorozat van, ez\'ert
$\summ_{i=1}^M d^{n(M)-n(i)}\le d^{n(M)}$. Innen $d^{n(M)}$-mel
osztva megkapjuk a $\summ_{i=1}^M d^{-n(i)}\le1$
egyen\-l\H{o}t\-len\-s\'e\-get.

Ha adva van egy $1\le n(1)\le n(2)\le\cdots\le n(M)$ a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eget
teljes\'{\i}t\H{o} sorozat, akkor a k\"ovetkez\H{o} m\'odon tudunk
a k\'{\i}v\'ant hossz\'us\'ag\'u k\'odszavakb\'ol \'all\'o prefix
k\'odot konstru\'alni. Legyen $u(x_1)$ tetsz\H{o}leges $n(1)$
hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$ halmaz elemeib\H{o}l \'all\'o
sorozat. Az $i$ v\'altoz\'o szerinti indukci\'oval defini\'aljuk
az $u(x_i)$ k\'odszavakat \'ugy, hogy az $u(x_1),\dots,u(x_i)$
k\'odszavak az $X_i=\{x_1,x_2,\dots,x_i\}$ halmaz prefix
k\'odj\'at alkoss\'ak. Ha az $i-1$ indexre tal\'altunk ilyen
k\'odszavakat, akkor a prefix tulajdons\'ag meg\H{o}rz\'es\'ehez
az indukci\'o $i$-ik l\'ep\'es\'eben el\'eg olyan $n(i)$
hossz\'us\'ag\'u $u(x_i)$ k\'odsz\'ot tal\'alni, amely nem
folytat\'asa egyik $u(x_j)$, $1\le j\le i-1$, k\'odsz\'onak sem.
Ez azt jelenti, hogy az $d^{n(i)}$ darab $n(i)$ hossz\'us\'ag\'u,
az $Y=\{1,\dots,d\}$ halmaz elemeib\H{o}l \'all\'o sorozat
k\"oz\"ul $\summ_{j=1}^{i-1} d^{n(i)-n(j)}$ sorozat
v\'alaszt\'asa van tiltva. Akkor tudunk egy k\'{\i}v\'ant
tulajdons\'ag\'u $u(x_i)$ sorozatot (k\'odsz\'ot) v\'alasztani,
ha $\summ_{j=1}^{i-1} d^{n(i)-n(j)}<d^{n(i)}$, azaz, ha
$\sum_{j=1}^{i-1} d^{-n(j)}<1$. Az adott felt\'etel mellett ez
a tulajdons\'ag minden $2\le i\le M$ in\-dex\-re teljes\"ul. Ezzel
bel\'attuk a t\'etel m\'asodik \'all\'{\i}t\'as\'at is.

\medskip
A k\"ovetkez\H{o} eredm\'eny azt \'all\'{\i}tja, hogy adott
sz\'ohossz\'us\'ag\'u k\'odszavakkal rendelkez\H{o} prefix
k\'odok l\'etez\'es\'enek ugyanaz a felt\'etele, mint annak,
hogy l\'etezzen ilyen hossz\'us\'ag\'u k\'odszavakkal 
rendelkez\H{o} egy\-\'er\-tel\-m\H{u}en 
de\-k\'o\-dol\-ha\-t\'o k\'od.

\medskip\noindent
{\bf T\'etel egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
l\'etez\'es\'enek sz\"uks\'eges felt\'etel\'er\H{o}l.} {\it Legyen
$X=\{x_1,\dots,x_M\}$ egy $M$ elem\H{u} halmaz, \'es legyen
$u(x_i)$ e halmaz egy egy\-\'er\-tel\-m\H{u}\-en dek\'odolhat\'o
k\'odja az $Y=\{1,\dots,d\}$ $d$-elem\H{u} ABC-vel. Ekkor az
$u(x_i)$ k\'odszavak $n(i)$ k\'odhosszai teljes\'{\i}tik a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eget.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Jel\"olje $\oo_j$ azon $x_i\in X$,
$1\le i\le M$, pontok sz\'am\'at, amelyek $u(x_i)$  k\'odszav\'anak
a hossza $n(i)=j$, \'es legyen $r=\supp_{1\le i\le M}n(i)$.
Ezzel a jel\"ol\'essel
$\summ_{i=1}^M d^{-n(i)}=\summ_{j=1}^r\oo_j d^{-j}$,
\'es a bizony\'{\i}tand\'o egyenl\H{o}tlens\'eg
$\summ_{j=1}^r\oo_j d^{-j}\le1$ alakban is \'{\i}rhat\'o.
Ezen egyenl\H{o}tlens\'eg igazol\'asa \'erdek\'eben vegy\"unk egy
pozit\'{\i}v eg\'esz $p$ sz\'amot, \'es \'{\i}rjuk fel a
$$
\(\summ_{j=1}^r\oo_j d^{-j}\)^p=(\oo_1d^{-1}+\cdots+\oo_rd^{-r})^p
=\sum_{k=p}^{pr} N_kd^{-k}
$$
azonoss\'agot, ahol
$$
N_k=\sum_{(i_1,\dots,i_p)\colon\; i_1+\cdots+i_p=k}
\oo_{i_1}\dots\oo_{i_p}, \quad p\le k\le pr.
$$
Azt \'all\'{\i}tom, hogy teljes\"ul az $N_k\le d^k$
egyenl\H{o}tlens\'eg minden $p\le k\le pr$ indexre. Val\'oban, az
$\oo_{i_1}\dots\oo_{i_p}$ szorzat azon
$u(x_{l_1}),\dots, u(x_{l_p})$ k\'odsz\'osorozatok sz\'am\'aval
egyenl\H{o}, amelyekre $n(l_1)=i_1$,\dots, $n(l_p)=i_p$. Ez\'ert
$N_k$ egyenl\H{o} azon $u(x_{l_1}),\dots, u(x_{l_p})$
k\'od\-sz\'o\-so\-ro\-za\-tok sz\'am\'aval, amelyek \"osszhossza
$k$-val egyenl\H{o}. Az egy\'ertelm\H{u} dek\'odolhat\'os\'ag miatt
az \"osszes el\H{o}bb felsorolt k\'odsz\'osorozat k\"ul\"onb\"oz\H{o},
ez\'ert sz\'amuk kisebb, mint az \"osszes lehets\'eges $k$
hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$ halmaz elemeit tartalmaz\'o
sorozat sz\'ama. Ez\'ert $N_k\le d^k$, amint \'all\'{\i}tottuk.

A fenti \"osszef\"ugg\'esekb\H{o}l k\"ovetkezik, hogy
$$
\(\summ_{j=1}^r\oo_j d^{-j}\)^p\le
\sum_{k=p}^{pr} d^k\cdot d^{-k}=(p(r-1)+1)\le pr,
$$
ez\'ert
$$
\summ_{j=1}^r\oo_j d^{-j}\le(pr)^{1/p} \quad\text{minden $p=1,2,\dots$
sz\'amra.}
$$
Innen $p\to\infty$ hat\'ar\'atmenetet v\'eve azt kapjuk, hogy
$$
\summ_{j=1}^r\oo_j d^{-j}\le\lim_{p\to\infty} (pr)^{1/p}=1,
$$
ahonnan k\"ovetkezik a t\'etel \'all\'{\i}t\'asa.

A bizony\'{\i}t\'as gondolat\'anak jobb meg\'ert\'ese \'erdek\'eben
\'erdemes megjegyezni, hogy a $\(\summ_{j=1}^r\oo_j d^{-j}\)^p$ 
kifejez\'es becsl\'es\'eben felhaszn\'alt $N_k\le d^k$ 
egyenl\H{o}tlens\'eg indokl\'asa azon alapult, hogy a $k\le pr$ 
hossz\'us\'ag\'u k\'odszavak egy\'ertelm\H{u}en dek\'odolhat\'oak.  
A tekintett k\'od egy\'ertelm\H{u} dek\'odolhat\'os\'ag\'at, azt, hogy 
a hossz\'u $x_{l_1},\dots,x_{l_p}$ sorozatok k\'odjai is 
egy\'ertelm\H{u}en dek\'odolhat\'ok a $p\to\infty$ hat\'ar\'atmenet 
alkalmaz\'asakor haszn\'altuk ki.

\medskip\noindent
Legyen adva egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amely \'ert\'ekeit egy $X=\{x_1,\dots,x_M\}$ halmazon veszi
fel, \'es $P(\xi=x_i)=p(i)$, $1\le i\le M$. Legyen $u(x_i)$,
$x_i\in X$, az $X$ halmaz elemeinek egy olyan k\'odja,  amelyre
$u(x_i)$ egy $n(i)$ hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$
halmaz elemeib\H{o}l \'all\'o sorozat. Jel\"olje $|u(\xi)|$ a
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $u(\xi)$
k\'odj\'anak a hossz\'at, azaz, ha $\xi=x_i$, akkor bevezetve
az $|u(x_i)|=n(i)$ jel\"ol\'est azt \'{\i}rhatjuk, hogy
$u(\xi)=u(x_i)$, \'es $|u(\xi)|=n(i)$. Az $u(\xi)$
v\'eletlen k\'odsz\'o $|u(\xi)|$ hossz\'anak a v\'arhat\'o
\'ert\'eke $E|u(\xi)|=\summ_{i=1}^M p(i)n(i)$. Az $u(\xi)$
v\'eletlen k\'odsz\'o hossz\'anak a v\'arhat\'o \'ert\'ek\'ere
k\'{\i}v\'anunk j\'o als\'o becsl\'est adni, ha $u(x_i)$,
$x_i\in X$ prefix, illetve \'altal\'anosabban, ha az egy\'ertelm\H{u}en
dek\'odolhat\'o k\'od. Ezenk\'{\i}v\"ul j\'o fels\H{o} becsl\'est
is akarunk adni egy j\'ol v\'alasztott prefix k\'od
hossz\'anak a v\'arhat\'o \'ert\'ek\'ere.

Tudjuk, hogy akkor \'es csak akkor l\'etezik $n(i)$, $1\le i\le M$,
hossz\'u, az $Y=\{1,\dots,d\}$ ABC-t haszn\'al\'o k\'odszavakkal
rendelkez\H{o} prefix, illetve  \'altal\'anosabban
egy\'ertelm\H{u}en dek\'odolhat\'o k\'od, ha teljes\"ul a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eg. Ez\'ert
probl\'em\'ank ahhoz az eg\'esz-\'ert\'ek\H{u} sz\'els\H{o}\'ert\'ek
fel\-adat\-hoz vezet, hogy keress\"uk meg a
$\summ_{i=1}^M p(i)n(i)$ kifejez\'es (majdnem) optimum\'at a
$\summ_{i=1}^M d^{-n(i)}\le1$ felt\'etel mellett. Ezen
optimaliz\'aci\'os probl\'ema vizsg\'alat\'aban hasznos az al\'abbi
becsl\'es, amelyet $I$-divergencia t\'{\i}pus\'u becsl\'esnek fogok
h\'{\i}vni. Ugyanis, mint egy megjegyz\'esben el\-ma\-gya\-r\'a\-zom,
ez a becsl\'es tekinthet\H{o}, \'ugy mint az inform\'aci\'oelm\'elet
egyik fontos, a k\'es\H{o}bb bevezetend\H{o} $I$-divergenci\'ar\'ol
sz\'ol\'o becsl\'es\'enek a speci\'alis esete.

\medskip\noindent
{\bf Egy $I$-divergencia t\'{\i}pus\'u becsl\'est megfogalmaz\'o lemma.}
{\it Legyen $a_1,a_2,\dots$ \'es $b_1,b_2,\dots$ k\'et v\'eges vagy
v\'egtelen, ugyanannyi elemet tartalmaz\'o sorozat, amelyekre
$a_i\ge0$, $b_i\ge0$ minden $i$ indexre, \'es $a=\summ_ia_i<\infty$,
$0<b=\summ_ib_i<\infty$. Ekkor
$$
\sum_i a_i\log \frac{a_i}{b_i}\ge a\log \frac ab.
$$
Egyenl\H{o}s\'eg akkor \'es csak akkor \'erv\'enyes, ha elhagyva
azon $(a_i,b_i)$ p\'arokat, amelyekre $a_i=b_i=0$
$\frac{a_i}{b_i}=\frac ab$ minden $i$ indexre. (Ezen 
egyen\H{o}tlens\'egben az $x\cdot\log\frac0x=0$, ha $x\ge0$, \'es 
$x\cdot\log\frac x0=\infty$, ha $x>0$ konvenci\'ot alkalmazzuk.)}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Fel fogjuk haszn\'alni, hogy az els\H{o}
fejezetben bevezetett \'es vizsg\'alt $g(x)=x\log x$, $x\ge0$,
f\"uggv\'eny konvex. A $g(x)$ f\"uggv\'eny a konvexit\'as\'at az
$u_i=\frac{a_i}{b_i}$ koordin\'at\'ak, \'es
$p_i=\frac{b_i}{\summ_i b_i}=\frac{b_i}b$ s\'ulyok
v\'alaszt\'as\'aval fogom alkalmazni. (Nyilv\'an $p_i\ge0$,
\'es $\summ_i p(i)=1$.) A $g(x)$ f\"uggv\'eny konvexit\'as\'at
felhaszn\'alva azt kapjuk, hogy
$$
\sum_i a_i\log \frac{a_i}{b_i}=b\sum_i p_i g(u_i)\ge bg\(\sum_i p_iu_i\)
=bg\(\frac ab\)=a\log \frac ab.
$$
A $g(\cdot)$ szigor\'u konvexit\'as\'ab\'ol k\"ovetkezik, hogy
egyenl\H{o}s\'eg csak a lemm\'aban megadott esetben van.

\medskip\noindent
{\it Megjegyz\'es.} A fenti lemm\'at k\"onnyen reduk\'alni lehet
arra a speci\'alis esetre, amikor $\sum_i a_i=\sum_i b_i=1$.
Ebben az esetben az egyenl\H{o}tlens\'eg jobboldal\'an 0 \'all.
Ez a reduk\'alt egyenl\H{o}tlens\'eg felfoghat\'o az al\'abbi
egyenl\H{o}tlens\'eg speci\'alis eset\'enek. Legyen $\mu$ \'es
$\nu$ k\'et olyan val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek
ugyanazon az $(X,\Cal X)$ m\'erhet\H{o} t\'eren, amelyekre a
$\nu$ m\'ert\'ek abszolut folytonos a $\mu$ m\'ert\'ekre
n\'ezve. Jel\"olje $\frac{d\nu}{d\mu}$ a $\nu$ m\'ert\'eknekek
a $\mu$ m\'ert\'ek szerinti Radon--Nikodym deriv\'altj\'at.
Ekkor $\int_X\log\frac{d\nu}{d\mu}(x)\,d\nu(x)\ge0$. Ez az
egyenl\H{o}tlens\'eg tekinthet\H{o} \'ugy, mint a k\'es\H{o}bb
bevezetend\H{o} $I$-divergencia egy fontos tulajdons\'aga.
Egy\'ebk\'ent ez az egyenl\H{o}tlens\'eg a lemm\'ahoz hasonl\'oan
bizony\'{\i}that\'o.

\medskip
A most ismertetett  lemma seg\'{\i}t az al\'abbi eredm\'eny
bizony\'{\i}t\'as\'aban.

\medskip\noindent
{\bf T\'etel egy\'ertelm\H{u}en dek\'odolhat\'o \'es
prefix k\'odok hossz\'anak v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l.}
{\it Vegye fel egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ekeit egy $X=\{x_1,\dots,x_M\}$ halmazon, amely\-nek
 az eloszl\'as\'at a  $P(\xi=x_i)=p(i)$, $1\le i\le M$, k\'eplet
adja meg. Legyen $u(x_i)$, $x_i\in X$, az  $X$ halmaznak
egy az $Y=\{1,\dots,d\}$ halmaz seg\'{\i}ts\'eg\'evel
defini\'alt prefix, vagy \'al\-ta\-l\'a\-no\-sab\-ban,
egy\'ertelm\H{u}en dek\'odolhat\'o k\'odja, \'es jel\"olje $n(i)$
az $u(x_i)$ k\'od\-sz\'o sz\'ohossz\'at. Ekkor az $u(\xi)$
v\'eletlen k\'odsz\'o $|u(\xi)|$ hossz\'anak a v\'arhat\'o
\'ert\'eke teljes\'{\i}ti az
$$
E|u(\xi)|=\summ_{i=1}^M p(i)n(i)\ge \frac{H(\xi)}{\log d}
$$
egyenl\H{o}tlens\'eget. Megford\'{\i}tva, l\'etezik az
$X$ halmaznak olyan prefix k\'odja, amelyre
$$
E|u(\xi)|=\summ_{i=1}^M p(i)n(i)\le \frac{H(\xi)}{\log d}+1.
$$
}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Legyen $u(x_i)$, $1\le i\le M$, az $X$
halmaznak az $Y=\{1,\dots,d\}$ ABC seg\'{\i}ts\'eg\'evel defini\'alt
egy\'ertelm\H{u}en dek\'odolhat\'o k\'odja, \'es legyen $n(i)$ az
$u(x_i)$ k\'odsz\'o k\'odhossza. Tudjuk, hogy ekkor
$\summ_{i=1}^M d^{-n(i)}\le1$. Alkalmazzuk az el\H{o}z\H{o}
lemm\'aban bizony\'{\i}tott egyenl\H{o}tlens\'eget $a_i=p(i)$
\'es $b_i=d^{-n(i)}$, $1\le i\le M$, v\'alaszt\'assal. Ekkor
$a=\summ_{i=1}^M a_i=1$, \'es $b=\summ_{i=1}^M b_i\le1$, ahonnan
$$
\sum_{i=1}^M p(i)\log (p(i)d^{n(i)})
=\sum_{i=1}^M a_i\log\frac{a_i}{b_i}\ge a\log\frac ab\ge0.
$$
Teh\'at $\log d\cdot\summ_{i=1}^M n(i)p(i)\ge
-\summ_{i=1}^M p(i)\log p(i)$, azaz
$\log d\cdot Eu|(\xi)|\ge H(\xi)$, \'es ezt kellett be\-l\'at\-ni.

L\'attuk, hogy a t\'etel m\'asodik fel\'enek igazol\'asa
\'erdek\'eben olyan $n(i)$, $1\le i\le M$, pozit\'{\i}v eg\'esz
sz\'amokat  kell tal\'alnunk, amelyekre
$\summ_{i=1}^M d^{-n(i)}\le 1$, \'es az
$E|u(\xi)|=\summ_{i=1}^M p(i) n(i)$ v\'arhat\'o \'ert\'ek
vi\-szony\-lag kicsi. Term\'eszetes olyan $n(i)$ sz\'amokat
v\'alasztani, amelyekre az $E|u(\xi)|$ v\'arhat\'o \'ert\'ekre
adott als\'o becsl\'es bizony\'{\i}t\'as\'aban felhaszn\'alt
$I$-divergencia t\'{\i}pus\'u becsl\'est megfogalmaz\'o lemm\'aban
sze\-rep\-l\H{o} egyenl\H{o}tlens\'eg majdnem egyenl\H{o}s\'eggel
teljes\"ul. Ez\'ert v\'alasszunk olyan $n(i)$ eg\'esz sz\'amokat,
amelyekre $d^{-n(i)}\le p(i)$, \'es a
$d^{-n(i)}$ sz\'am olyan k\"ozel van a $p(i)$ sz\'amhoz, amennyire
ez a felt\'etel megengedi. Ennek alapj\'an a k\"ovetkez\H{o}
v\'alaszt\'ast tessz\"uk. Legyen minden $1\le i\le M$ indexre
$n(i)$ az az eg\'esz sz\'am, amelyre
$\frac{p(i)}d\le d^{-n(i)}\le p(i)$. Ekkor
$\summ_{i=1}^M d^{-n(i)}\le\summ_{i=1}^Mp(i)=1$, azaz l\'etezik
a k\'{\i}v\'ant hossz\'us\'ag\'u k\'odszavakkal rendelkez\H{o}
prefix k\'od. M\'asr\'eszt $n(i)\le-\frac{\log p(i)}{\log d}+1$,
\'es ez\'ert $E|u(\xi)|=\summ_{i=1}^M p(i) n(i)
\le -\summ_{i=1}^M \frac{p(i)\log p(i)}{\log d}+\summ_{i=1}^Mp(i)
=\frac{H(\xi)}{\log d}+1$, teh\'at e prefix k\'od hossz\'anak
a v\'arhat\'o \'ert\'eke teljes\'{\i}ti a k\'{\i}v\'ant
egyenl\H{o}tlens\'eget.

\medskip
Az egy\'ertelm\H{u}en dek\'odolhat\'o \'es
prefix k\'odok hossz\'anak v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l
sz\'ol\'o t\'etel fels\H{o} becsl\'es\'enek bizony\'{\i}t\'as\'aban
defini\'alt prefix k\'od hossza k\"ozel van az optimumhoz, de nem
felt\'etlen\"ul egyenl\H{o} vele. Ugyanakkor ismert az optim\'alis,
\'ugy\-ne\-ve\-zett Huffman k\'od konstrukci\'oja is. (L\'asd
Robert Ash: Information Theory, Lemma 2.6.2), amely el\'egg\'e
bonyolult.  Ez\'ert e k\'od tulajdons\'agai nehezen
vizs\-g\'al\-ha\-t\'o\-ak, \'es jelent\H{o}s\'ege
korl\'atozott. Emiatt mi a Huffman k\'odot nem t\'argyaljuk.

Hasonl\'o jelens\'eggel tal\'alkoztunk, amikor f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok $n$ hossz\'u\-s\'a\-g\'u
sorozataib\'ol \'all\'o viszonylag kis elem\-sz\'a\-m\'u majdnem 1
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\H{u}, alkalmasan defi\-ni\-\'alt
halmazok elem\-sz\'a\-m\'at becs\"ult\"uk.  Ott sem az optim\'alis
halmaz elemsz\'am\'at becs\"ult\"uk. Ez a
leg\-va\-l\'o\-sz\'{\i}\-n\H{u}bb sorozatok alkalmas elemsz\'am\'u
halmaza lett volna. Ehelyett egy olyan csak aszimptotikusan
optim\'alis halmazt tekintett\"unk, amelynek elem\-sz\'a\-m\'at a
nagy sz\'amok t\"or\-v\'e\-nye seg\'{\i}ts\'eg\'evel j\'ol tudtuk
becs\"ulni.

\medskip\noindent
{\it Megjegyz\'es.}\/ A most bizony\'{\i}tott eredm\'enyek
viszonylag r\"ovid, hib\'atlanul dek\'odolhat\'o
forr\'ask\'odol\'ast biztos\'{\i}tanak prefix k\'odok
seg\'{\i}ts\'eg\'evel. Gyakorlati szempontb\'ol azonban a most
ismertetett prefix k\'odok eredeti form\'ajukban nem j\'ol
 haszn\'alhat\'oak. A f\H{o} probl\'ema az, hogy ha egy prefix
k\'od dek\'odol\'asa sor\'an egyszer hib\'aztunk, akkor ennek a
hib\'anak a k\"ovetkezt\'eben az \"osszes tov\'abbi \"uzenet
dek\'odol\'asa hib\'as lehet. Ugyan\-is nem tudjuk, hogy az \"uzenet
tov\'abbi dek\'odoland\'o jelei hol kezd\H{o}dtek. Az ilyen
probl\'em\'ak lek\"uzd\'es\'ere \'erdemes olyan kiss\'e lass\'ubb
m\'odszereket kidolgozni, amelyekbe bizonyos jav\'{\i}t\'asi
lehet\H{o}s\'egeket \'ep\'{\i}tenek be. Az ilyen, \'ugynevezett
`error correcting codes' m\'odszereknek k\"ul\"on elm\'elete van.
Ezzel azonban itt nem foglalkozunk.

\beginsection 3. Csatorna k\'odol\'as \'es dek\'odol\'as.

E fejezet f\H{o} t\'em\'aja az a k\'erd\'es, hogy hogyan lehet
egy a jeleket esetleg hib\'aval k\"ozvet\'{\i}t\H{o} csatorn\'an
kereszt\"ul viszonylag biztosan \'es gyorsan \"uzeneteket
\'atadni. A k\"ovetkez\H{o} fejezetben t\'argyalom azt a
k\'erd\'est,
hogy az ebben \'es az el\H{o}z\H{o} fejezetekben bizony\'{\i}tott
ered\-m\'e\-nyek seg\'{\i}ts\'eg\'evel hogyan lehet egy
h\'{\i}rforr\'as k\"ozvet\'{\i}t\'es\'et egy csatorn\'an
kereszt\"ul j\'ol to\-v\'ab\-b\'{\i}\-ta\-ni.

Egy \"uzenetnek egy (h\'{\i}rk\"ozl\'esi) csatorna
seg\'{\i}ts\'eg\'evel v\'egrehajtott tov\'abbad\'asa azt
jelenti szem\-l\'e\-le\-te\-sen, hogy a csatorna bemeneti
v\'eg\'en leadnak egy jelet, \'es ennek ha\-t\'a\-s\'a\-ra
valamilyen m\'asik jel jelenik meg a csatorna m\'asik,
kimeneti v\'eg\'en. A kimeneti  jel \'ert\'eke f\"ugghet a
v\'eletlent\H{o}l, \'es az, hogy a kimeneti oldalon milyen
val\'osz\'{\i}n\H{u}s\'eggel milyen jel jelenik meg, att\'ol
f\"ugg, hogy mi volt a bemeneti jel. Egy felhaszn\'al\'o, aki
a kimeneti jelet megismeri, megpr\'ob\'al ennek alapj\'an
visszak\"ovetkeztetni a leadott bemeneti jelre. Olyan
elj\'ar\'ast akarunk kidolgozni a csatorna tulajdons\'againak
az ismeret\'eben, amely lehet\H{o}v\'e teszi, hogy a
felhaszn\'al\'o viszonylag nagy val\'osz\'{\i}n\H{u}s\'eggel
helyesen k\"ovetkeztessen a leadott bemeneti jelre akkor is, ha
a bemeneti jelek sz\'ama viszonylag nagy.
Fogalmazzuk meg ezt a v\'azlatosan le\'{\i}rt probl\'em\'at
pontosabban. Ennek \'erdek\'eben bevezetem el\H{o}sz\"or a
(h\'{\i}rk\"ozl\'esi) csatorna fogalm\'at.

\medskip\noindent
{\bf (H\'{\i}rk\"ozl\'esi) csatorna \'es e csatorna \'altal
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
definici\'oja.} {\it Legyen adva k\'et $V=\{v_1,v_2,\dots\}$
\'es $\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy
meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen halmaz. Egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'atmenetval\'osz\'{\i}n\H{u}s\'eg f\"uggv\'enyt a $V$ \'es 
$\VV$ halmaz k\"oz\"otti csatorn\'anak nevez\"unk. Az, hogy a
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$ f\"uggv\'eny
\'atmenetval\'osz\'{\i}n\H{u}s\'eg f\"uggv\'eny azt jelenti, hogy
$p(\vv_j|v_i)\ge0$ minden $v_i\in V$ \'es $\vv_j\in\VV$ p\'arra,
\'es $\summ_{\vv_j\in\VV} p(\vv_j|v_i)=1$ minden $v_i\in V$
elemre. A $V$ halmazt a csatorna bemeneti, a $\VV$ halmazt a
csatorna kimeneti oldal\'anak fogjuk h\'{\i}vni,
a $v_i\in V$ pontokat bemeneti, a $\vv_j\in\VV$ pontokat pedig
kimeneti jeleknek fogjuk nevezni. Azt mondjuk hogy k\'et $\eta$
\'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\"ossze van kapcsolva a $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
csatorn\'aval ha $\eta(\oo)\in V$, $\eeta(\oo)\in\VV$ minden $\oo$
elemi esem\'enyre, \'es $P(\eeta=\vv_j|\eta=v_i)=p(\vv_j|v_i)$
minden $v_i\in V$ \'es $\vv_j\in\VV$ elemp\'arra.}

\medskip
Ha egy csatorn\'an leadunk valamely $v_i\in V$ bemeneti jelet, akkor
a felhaszn\'al\'o $p(\vv_j|v_i)$ val\'osz\'{\i}n\H{u}s\'eggel kapja
a $\vv_j$ kimeneti jelet. Ezen kimeneti jel seg\'{\i}ts\'eg\'evel
pr\'ob\'alja megtal\'alni a bemeneti jel \'ert\'ek\'et.
Ennek \'erdek\'eben term\'eszetes a k\"ovetkez\H{o} t\'{\i}pus\'u
elj\'ar\'as alkalmaz\'asa. A bemeneti oldalon alkalmas m\'odon
kiv\'alasztunk n\'eh\'any $v_{i_1}\in V$,\dots, $v_{i_N}\in V$
elemet bizonyos $N$ elemsz\'ammal, \'es ezen jelek valamelyik\'et
adjuk le a csatorn\'an. Ezeknek a bemeneti jeleknek a
kiv\'alaszt\'as\'at nevezz\"uk csatorna k\'odol\'asnak. \'Ugy
k\'{\i}v\'anjuk ezt a kiv\'alaszt\'ast v\'egrehajtani, hogy az
egyes kiv\'alasztott elemeket a csatorn\'an leadva, azok nagy
val\'osz\'{\i}n\H{u}s\'eggel k\"ul\"onb\"oz\H{o} halmazokba
essenek. Ez a k\"ovetkez\H{o}t jelenti. Ha egy $v_i\in V$ jelet
leadunk a csatorn\'an, akkor jel\"olje az $\eeta(v_i)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o a kimen\H{o} jel
\'ert\'ek\'et. Olyan $v_{i_1}\in V$,\dots, $v_{i_N}\in V$ elemeket
akarunk a k\'odol\'asban v\'alasztani, amelyekhez tal\'alhat\'oak
olyan diszjunt $B_1\subset \VV$,\dots, $B_N\subset\VV$ diszjunkt
halmazok, amelyekre a $P(\eeta(v_{i_k})\in B_k)$
val\'osz\'{\i}n\H{u}s\'egek minden $1\le k\le N$ indexre viszonylag
nagyok. Ha a kimeneti oldalon egy olyan $\vv_j$ jel jelent meg,
amelyre $\vv_j\in B_k$, akkor tekintse a felhaszn\'al\'o a
$v_{i_k}$ jelet a  bemeneti jelnek. A $B_k$, $1\le k\le N$,
halmazok kiv\'alaszt\'as\'at \'es a $B_k\to v_{i_k}$
lek\'epez\'es megad\'as\'at csatorna dek\'ododol\'asnak
nevezz\"uk. E definici\'ot \'ugy adtam meg,
hogy amennyiben $\vv_j\notin\bigcupp_{i=k}^N B_k$ akkor az
itt ismertetett elj\'ar\'as szerint nem dek\'odoljuk a $\vv_j$
kimenetet. Az azonban, hogy ezt az elvet k\"ovetj\"uk-e, vagy olyan
elj\'ar\'ast adunk, amelyikben mindig tudunk dek\'odolni csak apr\'o
\'{\i}zl\'esbeli k\'erd\'es. A $B_k$ halmazok kiterjeszt\'es\'evel
ugyanis azt is el\'erhetj\"uk, hogy ezek a halmazok ne csak
diszjunktak legyenek, hanem egyben a $\VV$ halmaz egy partici\'oj\'at
is szolg\'altass\'ak. Ilyen v\'alaszt\'assal minden kimenetet tudunk
dek\'odolni, \'es az elj\'ar\'asban a j\'o dek\'odol\'as
val\'osz\'{\i}n\H{u}s\'ege a $B_k$ halmazok kiterjeszt\'ese
\'altal nem cs\"okkent. C\'elunk viszonylag sok k\'odsz\'o
kiv\'alaszt\'asa \'ugy, hogy a dek\'odol\'as nagy
val\'osz\'{\i}n\H{u}s\'eggel j\'o legyen. A k\'es\H{o}bbi
eredm\'enyek pontos megfogalmaz\'as\'anak az \'erdek\'eben
vezess\"uk be a k\"ovetkez\H{o} definici\'ot.

\medskip\noindent
{\bf Egy csatorna \'altal $\lambda$ megk\"ul\"onb\"oztethet\H{o}
elemekb\H{o}l \'all\'o halmaz definici\'oja.} {\it Legyen adva
k\'et $V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen halmaz \'es
k\"ozt\"uk egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$ csatorna.
Ha egy $v_{i_1}\in V$,\dots, $v_{i_N}\in V$ sorozat elemeihez
l\'eteznek olyan $B_1\subset\VV$,\dots $B_N\subset\VV$\/
{\rm diszjunkt} halmazok, amelyekre
$$
P(B_k|v_{i_k})=\summ_{j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda \quad
\text{minden $1\le k\le N$ indexre},
$$
 akkor azt mondjuk, hogy az
$A=\{v_{i_1},\dots,v_{i_N}\}$ halmaz elemei $\lambda$
megk\"ul\"onb\"oztethet\H{o}ek.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Az el\H{o}bbi definici\'oban fel\'{\i}rt
egyenl\H{o}tlens\'eget \'ugy is megfogalmazhatjuk, hogy
amennyiben $\eta$ \'es $\eeta$ k\'et a csatorn\'aval
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, akkor
$$
P(\eeta\in B_k|\eta=v_{i_k})\ge 1-\lambda \quad
\text{minden $1\le k\le N$ indexre}.
$$
A k\'es\H{o}bbiekben t\"obbsz\"or ezt a jellemz\'es\'et fogjuk
haszn\'alni az egy csatorna \'altal $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o halmazoknak.

\medskip
Egy az el\H{o}bb le\'{\i}rt m\'odon defini\'alt j\'o, azaz kis
hib\'aj\'u csatorna k\'odol\'as, dek\'odol\'as definici\'oja egy
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
$v_{i_1}\in V$,\dots, $v_{i_N}\in V$ sorozat megad\'as\'at
jelenti kis $\lambda>0$ param\'eterrel az e sorozatokhoz tartoz\'o
$B_1\subset\VV$,\dots, $B_N\subset\VV$ halmazokkal egy\"utt.
A minket \'erdekl\H{o} feladatokban val\'oj\'aban nem egy jelet,
hanem egy jelsorozat elemeit adjuk le egym\'as ut\'an a csatorn\'an,
\'es c\'elunk ennek a jelsorozatnak a min\'el pontosabb
azonos\'{\i}t\'asa. Minket az az eset \'erdekel els\H{o}sorban,
amikor a jelsorozat egyes jelei egym\'ast\'ol f\"uggetlen\"ul,
\'es ugyanolyan t\"orv\'enyszer\H{u}s\'egek szerint mennek \'at
a csatorn\'an. Ebben a jegyzetben csak ezt az esetet fogom t\'argyalni.
A probl\'ema pontos megfogalmaz\'asa \'erdek\'eben bevezetem az
eml\'ekezet n\'elk\"uli csatorna fogalm\'at.

\medskip\noindent
{\bf Eml\'ekezet n\'elk\"uli csatorna definici\'oja.}  {\it Legyen
adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$, \'atmenetval\'osz\'{\i}n\H{u}s\'egekkel defini\'alt
csatorna. Az e csatorna \'altal defini\'alt $n$~hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna olyan csatorna, amelynek  bemeneti
jelei a $V^n$, kimeneti jelei a $\VV^n$ halmaz elemei, azaz az $n$
hossz\'us\'ag\'u $v_{i_k}$ illetve $\vv_{j_k}$, $1\le k\le n$,
elemekb\H{o}l \'all\'o sorozatok, \'atmenetval\'oszin\H{u}s\'ege
pedig $p((\vv_{j_1},\dots,\vv_{j_n})|(v_{i_1},\dots,v_{i_n}))
=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$ tetsz\H{o}leges
$v=(v_{i_1},\dots,v_{i_n})\in V^n$, \'es
$\vv=(\vv_{j_1},\dots,\vv_{j_n})\in \VV^n$ sorozatokra.}

\medskip
Az eml\'ekezet n\'elk\"uli csatorna term\'eszetes
megfelel\H{o}je a f\"uggetlen, egyforma el\-osz\-l\'a\-s\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozatainak. Azt a
k\'erd\'est fogjuk vizsg\'alni, hogy egy $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna bemeneti
oldal\'an aszimptotikusan h\'any a csatorna \'altal $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemet tartalmaz\'o halmazt lehet
kiv\'alasztani nagy $n$ \'es r\"ogz\'{\i}tett $0<\lambda<1$
sz\'am eset\'en. Be fogjuk l\'atni, hogy nagyon \'altal\'anos
felt\'etelek mellett ez a sz\'am $2^{Cn(1+o(1))}$, ahol a $C$
sz\'am, amelyet csatorna kapacit\'asnak fogunk h\'{\i}vni, a
csatorna tulajdons\'agait\'ol f\"ugg. Ahhoz, hogy az eredm\'enyt
pontosan megfogalmazzam defini\'alni kell a csatorna
kapacit\'ast. Ennek \'erdek\'eben bevezetem el\H{o}sz\"or
k\'et val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o k\"olcs\"on\"os
inform\'aci\'oj\'anak a fogalm\'at.

\medskip\noindent
{\bf A k\"olcs\"on\"os inform\'aci\'o fogalma.} {\it Legyen $\eta$
\'es $\eeta$ k\'et \'ert\'ekeiket egy $V=\{v_1,v_2,\dots\}$ illetve
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmazon felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'o,
\'es jel\"olje $r(v_i,\vv_j)=P(\eta=v_i,\eeta=v_j)$, $v_i\in V$,
$\vv_j\in\VV$, az egy\"uttes eloszl\'asukat. Vezess\"uk be a
$p(v_i)=P(\eta=v_i)=\summ_{\vv_j\VV} r(v_i,\vv_j)$ \'es
$q(\vv_j)=P(\eeta=\vv_j)=\summ_{v_i\in V} r(v_i,v_j)$, $v_i\in V$,
$\vv_j\in\VV$, mennyis\'egeket is. Ezzel a jel\"ol\'essel az $\eta$
\'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'ok
k\"olcs\"on\"os inform\'aci\'oja az
$$
I(\eta\wedge\eeta)=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\( \frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)
$$
kifejez\'essel egyenl\H{o}. Az $I(\eta\wedge\eeta)$ k\"olcs\"on\"os 
inform\'aci\'ot kifejez\H{o} \"osszegben csak olyan $(v_i,\vv_j)$
p\'arokra \"osszegez\"unk, amelyekre $r(v_i,\vv_j)>0$.}

\medskip\noindent
{\bf T\'etel a k\"olcs\"on\"os inform\'aci\'o
viselked\'es\'er\H{o}l.} {\it \'Erv\'enyes az
$I(\eta\wedge\eeta)\ge0$ egyen\-l\H{o}t\-len\-s\'eg, \'es
egyenl\H{o}s\'eg akkor \'es csak akkor \'all fenn ebben a
formul\'aban, ha $\eta$ \'es $\eeta$ f\"uggetlenek.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Alkalmazzuk az
$r(v_i,\vv_j)=P(\eta=v_i,\eeta=\vv_j)$, \'es
$p(v_i)=\summ_{\vv_j\in\VV} r(v_i,\vv_j)$,
$q(\vv_j)=\summ_{v_i\in V} r(v_i,\vv_j)$ $v_i\in V$, $\vv_j\in\VV$,
jel\"ol\'eseket. Azt kapjuk, felhaszn\'alva a $g(x)=x\log x$
f\"uggv\'eny szigor\'u konvexit\'as\'at, hogy
$$
\align
I(\eta\wedge\eeta)&=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\( \frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)
=\sum_{v_i\in V,\vv_j\in\VV} p(v_i)q(\vv_j)
g\(\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\) \\
&\ge g\(\sum_{v_i\in V,\vv_j\in\VV} r(v_i,\vv_j)\)=g(1)=0,
\endalign
$$
Ebben a sz\'amol\'asban a $g(x)$ f\"uggv\'eny konvexit\'as\'at
alkalmaztuk a $p(v_i)q(\vv_j)$ s\'uly\-f\"ugg\-v\'ennyel. Vegy\"uk
\'eszre, hogy $\summ_{v_i\in V,\vv_j\in\VV}p(v_i)q(\vv_j)=1$, \'es
$p(v_i)q(\vv_j)\ge0$ minden $i$ \'es $j$ indexre.
Tov\'abb\'a felhaszn\'altuk azt is, hogy mivel a $g(x)$, $x\ge0$,
f\"uggv\'eny alulr\'ol korl\'atos, ez\'ert jogunk van a
bizony\'{\i}t\'asban haszn\'alt konvexit\'asi tulajdons\'agot akkor
is haszn\'alni, ha v\'egtelen sok oszt\'opontot tekint\"unk.
Egyenl\H{o}s\'eg a $g(x)$ f\"uggv\'eny szigor\'u konvexit\'asa miatt
csak akkor teljes\"ul, ha
$\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}=\alpha$ egy az $i$ \'es
$j$ indext\H{o}l nem f\"ugg\H{o} $\alpha$ sz\'ammal minden
$i$ \'es $j$ indexre. (Ha $p(v_i)q(\vv_j)=0$, akkor $r(v_i,\vv_j)=0$,
\'es ekkor ezt a t\"ortet tetsz\H{o}leges m\'odon defini\'alhatjuk.)
De mivel
$\summ_{v_i,\vv_j} p(v_i)q(\vv_j)=\summ_{v_i,\vv_j}r(v_i,\vv_j)=1$,
ez csak akkor lehets\'eges, hogy $\alpha=1$, azaz az $\eta$ \'es
$\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok f\"uggetlenek.

\medskip\noindent
{\it 1. megjegyz\'es.}\/ Ha az $\eeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o entr\'opi\'aja teljes\'{\i}ti a $H(\tilde\eta)<\infty$
felt\'etelt (vagy $H(\eta)<\infty$), akkor az
$\eta$ \'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
k\"olcs\"on\"os inform\'aci\'oja egy\-sze\-r\H{u}b\-ben is
kifejezhet\H{o}, \'es az el\H{o}z\H{o} t\'etel \'all\'{\i}t\'asa
k\"ovetkezik az entr\'opia m\'ar bizony\'{\i}tott
tulajdons\'agaib\'ol is. Ekkor
$$
\align
I(\eta\wedge\eeta)&=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\(\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)\\
&=\sum_{v_i\in V,\vv_j\in\VV}r(v_i,\vv_j)
\log\frac{r(v_i,\vv_j)}{q(\vv_j)}
-\sum_{v_i\in V,\vv_j\in\VV}r(v_i,\vv_j) \log p(v_i) \\
&=H(\eeta)-H(\eeta|\eta),
\endalign
$$
ahonnan $(I\eta\wedge\eeta)=H(\eeta)-H(\eeta|\eta)\ge0$, \'es
egyenl\H{o}s\'eg csak akkor \'all fenn, ha $\eta$ \'es
$\eeta$ f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok. Ha a $H(\eta)<\infty$ felt\'etel is teljes\"ul,
akkor $I(\eta\wedge\eeta)=H(\eta)+H(\eeta)-H(\eta,\eeta)
=H(\eta)-H(\eta|\eeta)=H(\eeta)-H(\eeta|\eta)$.

\medskip\noindent
{\it 2. megjegyz\'es.}\/ \'Erdemes felid\'ezni az els\H{o}
fejezetben t\'argyalt eredm\'enyeket \'es t\'argyalni azok
kapcsolat\'at a k\"olcs\"on\"os inform\'aci\'o fogalm\'aval.
El\H{o}sz\"or azt a p\'eld\'at t\'argyaltuk, hogy ha egy
m\'erk\H{o}z\'essorozat $\xi_1,\dots,\xi_n$ eredm\'enyei
egym\'ast\'ol f\"uggetlen \'es egy $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, akkor
k\"or\"ulbel\"ul $2^{nH(\xi)}$ szelv\'enyt kell
kit\"olteni annak \'erdek\'eben, hogy majdnem biztosan legyen
telital\'alatunk. Ha ismerj\"uk egy m\'asik m\'erk\H{o}z\'essorozat
$\eta_1,\dots,\eta_n$ eredm\'enyeit, \'es a
$(\xi_1,\eta_1),\dots,(\xi_n,\eta_n)$ eredm\'enyp\'arok
egym\'ast\'ol f\"uggetlen, \'es egy $(\xi,\eta)$ v\'eletlen
vektorral azonos eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok, akkor az $\eta_1,\dots,\eta_n$ m\'erk\H{o}z\'essorozat
eredm\'enyeinek ismeret\'eben k\"or\"ulbel\"ul $2^{n H(\xi|\eta)}$
szelv\'enyt kell kit\"olten\"unk a majdnem biztos telital\'alat
el\'er\'es\'ehez, teh\'at k\"or\"ulbel\"ul
$2^{-n(H(\xi)-H(\xi|\eta))}=2^{-nI(\xi\wedge\eta)}$-szoros\'at
annak amennyi szelv\'enyt akkor kell kit\"olten\"unk, ha az
$\eta_1,\dots,\eta_n$ m\'erk\H{o}z\'essorozat eredm\'enyeit nem
ismerj\"uk.

Ezt az eredm\'enyt heurisztikusan \'ugy is interpret\'alhatjuk,
hogy az $\eta_j$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o ismerete
$I(\xi\wedge\eta)$-vel cs\"okkenti a $\xi_j$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o megismer\'es\'ehez
sz\"uk\-s\'e\-ges inform\'aci\'ot.
Az $I(\xi\wedge\eta)=H(\xi)-H(\xi|\eta)=H(\eta)-H(\eta|\xi)$
azonoss\'ag azt jelenti, hogy a k\"olcs\"on\"os inform\'aci\'onak
ebben az interpret\'aci\'oj\'aban a $\xi$ \'es $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok szerepe felcser\'elhet\H{o}.

\medskip
Bevezetem a csatorna kapacit\'as fogalm\'at.

\medskip\noindent
{\bf A csatorna kapacit\'as fogalma.} {\it Legyen adva k\'et
$V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'o halmaz, \'es k\"oz\"ott\"uk
egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. A csatorna kapacit\'as\'at a
$$
C=\sup_{\eta,\eeta} I(\eta\wedge\eeta)
$$
k\'eplet adja meg, ahol a szupr\'emumban az \"osszes a csatorna
\'altal \"osszekapcsolt $(\eta,\eeta)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'art tekintj\"uk.}

\medskip\noindent
{\it Megjegyz\'es.}\/ L\'attuk, hogy egy csatorna kapacit\'asa
mindig nagyobb vagy egyenl\H{o}, mint nulla. S\H{o}t, jellemezni
lehet azt az esetet is, amikor a csatorna kapacit\'as null\'aval
egyenl\H{o}. Ez akkor k\"ovetkezik be, ha b\'armely k\'et a
csatorn\'aval \"osszekapcsolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o f\"uggetlen. Nem neh\'ez
bel\'atni, hogy ez akkor \'es csak akkor lehets\'eges, ha a
csatorn\'at meghat\'aroz\'o $p(\vv_j|v_i)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egek nem f\"uggnek a $v_i$
bemeneti jel \'ert\'ek\'et\H{o}l. Ez azt jelenti, hogy
b\'armely bemeneti jel lead\'asa eset\'en ugyanolyan
val\'osz\'{\i}n\H{u}s\'eggel kapjuk b\'armely kimeneti jelet.
Ekkor a kimeneti jel ismerete semmilyen inform\'aci\'ot nem
ny\'ujt arr\'ol, hogy milyen bemeneti jelet adtak le.

\medskip\noindent
E fejezet f\H{o} eredm\'enyei arra adnak becsl\'est, hogy, milyen
nagy, azaz h\'any $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} elemet tartalmaz\'o
halmazt lehet konstru\'alni  egy $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna bemeneti oldal\'an.
A k\"ovetkez\H{o} eredm\'enyeket fogom bel\'atni.

\medskip\noindent
{\bf Csatorna k\'odol\'asi t\'etel.} {\it Legyen adva
adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt $C<\infty$ csatorna kapacit\'as\'u csatorna.
Tekints\"unk egy ezen csatorna \'altal defini\'alt
$n$~hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorn\'at. Minden
$0<\lambda<1$ \'es $\e>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e,\lambda)$ k\"usz\"obindex \'ugy, hogy amennyiben
$n\ge n_0$, akkor l\'etezik $N\ge 2^{(1-\e)Cn}$
$n$ hossz\'us\'ag\'u $(v^{(k)}_{j_1},\dots,v_{j_n}^{(k)})\in V^n$,
$1\le k\le N$, alak\'u $\lambda$ megk\"ul\"onb\"oztethet\H{o}
sorozatot tartalmaz\'o halmaz ennek az $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorn\'anak a bemeneti oldal\'an.}

\medskip
A fenti eredm\'eny megford\'{\i}t\'as\'at, azaz egy $\lambda$
megk\"ul\"onb\"oztethet\H{o} halmaz elem\-sz\'a\-m\'a\-ra adott
fels\H{o} becsl\'est  csak v\'eges \'allapotter\H{u}
csatorn\'akra fogom bizony\'{\i}tani. Egy csatorn\'at v\'eges
\'allapotter\H{u}nek nevezek, ha mind a bemeneti jelek $V$ mind
a kimeneti jelek $\VV$ halmaza v\'eges elemsz\'am\'u.

\medskip\noindent
{\bf A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'asa.}
{\it Legyen adva k\'et $V=\{v_1,\dots,v_m\}$ \'es
$\tilde V=\{\vv_1,\dots,\vv_n\}$ v\'eges halmaz, \'es
k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt v\'eges \'allapotter\H{u} $C<\infty$ csatorna
kapacit\'as\'u csatorna. Tekints\"unk egy ezen csatorna \'altal
defini\'alt $n$~hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli
csatorn\'at. Legyen $A$ a $V^n$ halmaz egy $\lambda$
megk\"ul\"onb\"oztethet\H{o} sorozatokat tartalmaz\'o
 r\'eszhalmaza valamely $0<\lambda<1$ sz\'ammal. Ekkor
l\'etezik olyan $n_0=n_0(\e,\lambda)$ k\"usz\"obindex, hogy
amennyiben $n\ge n_0$, akkor az $A$ halmaz elemsz\'ama kisebb,
mint $2^{(1+\e)Cn}$. S\H{o}t, igaz a k\"ovetkez\H{o}
\'elesebb becsl\'es. Minden $n\ge1$ sz\'amra az adott 
tulajdons\'ag\'u $A$~halmaz elemsz\'ama kisebb, mint
$\frac2{1-\lambda}2^{Cn+K\sqrt n/\sqrt{1-\lambda}}$ egy
alkalmas, a csatorna tulajdons\'agait\'ol f\"ugg\H{o} $K$
konstanssal.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Az el\H{o}bb megfogalmazott eredm\'enyt
az irodalomban gyakran a
a csatorna k\'odol\'asi t\'etel er\H{o}s megford\'{\i}t\'as\'anak
h\'{\i}vj\'ak. E t\'etel bizony\'{\i}t\'as\'aban ki fogjuk
haszn\'alni, hogy a tekintett csatorna v\'eges \'allapotter\H{u}.
\'Altal\'anos, nem felt\'etlen\"ul v\'eges \'allapotter\H{u}
csatorn\'ak eset\'eben csak egy gyeng\'ebb \'all\'{\i}t\'ast
tudnak bizony\'{\i}tani, amelyet a csatorna k\'odol\'asi t\'etel
gyenge megford\'{\i}t\'as\'anak neveznek. Mi ezzel az
eredm\'ennyel nem fogunk foglalkozni. Megel\'egsz\"unk a
csatorna k\'odol\'asi t\'etel er\H{o}s megford\'{\i}t\'as\'anak
a bizony\'{\i}t\'as\'aval abban a speci\'alis esetben, amikor
a csatorna v\'eges \'allapotter\H{u}.

\medskip
Miel\H{o}tt r\'at\'ern\'ek a fenti t\'etelek
bizony\'{\i}t\'as\'ara, heurisztikus magyar\'azatot adok arra,
hogy mi\'ert term\'eszetes ilyen eredm\'enyeket v\'arni.

Ha adva van egy csatorn\'at meghat\'aroz\'o $p(\vv_j|v_i)$,
$v_i\in V$, $\vv_j\in \VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg
f\"ugg\-v\'eny, akkor tekints\"unk egy ehhez az
\'atmenetval\'osz\'{\i}n\H{u}s\'eghez adapt\'alt $\mu$
m\'ert\'eket a $V\times\VV$ halmazon, azaz egy olyan $\mu$
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket, amelyre egy $\mu$
eloszl\'as\'u $(\eta,\eeta)$ v\'eletlen vektor teljes\'{\i}ti a
$P(\eeta=\vv_j|\eta_i=v_i)=p(\vv_j|v_i)$ azonoss\'agot minden
$v_i\in V$ \'es $\vv_j\i\VV$ pontra. V\'alasszuk ezt a $\mu$
m\'ert\'eket \'ugy, hogy egy $\mu$ eloszl\'as\'u $(\eta,\eeta)$
p\'arra $I(\eta\wedge\eeta)=C$, vagy legal\'abbis
$I(\eta\wedge\eeta)$ nagyon k\"ozel van a $C$ csatorna
kapacit\'ashoz. Te\-kint\-s\"uk a $\mu$ m\'ert\'ek $\mu^n$
$n$-ik hatv\'any\'at a $V^n\times \VV^n$ szorzatt\'eren,
\'es jel\"olje $\nu_1^{n}$ \'es $\nu_2^n$ a $\mu^n$ m\'ert\'ek
vet\"ulet\'et a $V^n$ illetve $\VV^n$ t\'erre. Pr\'ob\'aljunk a
$\lambda$ megk\"ul\"onb\"oztethet\H{o} $v_1\in V^n$,
$v_2\in V_n$,\dots, sorozatokat a $\nu_1^n$ m\'ert\'ek szerint
tipikus sorozatok k\"oz\"ul kiv\'alasztani, \'es v\'alasszuk a
$v_k$ vektornak megfelel\H{o} $B_k$ halmazt \'ugy, mint a
$\mu^n(\cdot|v_k)$ felt\'eteles m\'ert\'ek sze\-rin\-ti tipikus
sorozatok halmaz\'at, illetve ezen halmaz kis
m\'odos\'{\i}t\'as\'at. Ezt a m\'o\-do\-s\'{\i}\-t\'ast a $B_k$
halmazok diszjunkts\'ag\'anak a biztos\'{\i}t\'asa \'erdek\'eben
tessz\"uk. Annak \'erdek\'eben,
hogy megbecs\"ulj\"uk h\'any ilyen $(v_k,B_k)$ p\'art tudunk
v\'alasztani becs\"ulj\"uk meg a $B_k$ halmazok
$\nu_2^n$ m\'ert\'ek\'et. Az els\H{o} fejezet eredm\'enyei
alapj\'an a $B_k$ halmaz k\"or\"ulbel\"ul $2^{nH(\eeta|\eta)}$
sorozatb\'ol \'all, \'es az egyes sorozatok $\nu_2^n$ m\'ert\'eke
k\"or\"ulbel\"ul $2^{-nH(\eeta)}$. Ez\'ert
$\nu_2^n(B_k)\sim 2^{nH(\eeta|\eta)-nH(\eeta)}
=2^{-nI(\eta\wedge\eeta)}$, \'es k\"or\"ulbel\"ul
$2^{nI(\eta\wedge\eeta)}$ $B_k$ halmaz fedi le a $\VV^n$ teret.
Viszont, ha enn\'el sokkal kevesebb, nevezetesen csak
$2^{n(1-\e)C}\sim 2^{(1-\e)nI(\eta\wedge\eeta)}$ sz\'am\'u
$B_k$ halmazt v\'alasztunk, akkor b\'{\i}zhatunk abban, hogy
ily m\'odon egy a csatorna k\'odol\'asi t\'etelt
teljes\'{\i}t\H{o} rendszert kapunk. A csatorna k\'odol\'asi
t\'etel bizony\'{\i}t\'asa tekinthet\H{o} \'ugy,
mint a fenti heurisztikus okoskod\'as rendbe t\'etele.

Arra, hogy a fenti m\'odon v\'egzett konstrukci\'o \'eles
eredm\'enyt ad csak kev\'esb\'e meggy\H{o}z\H{o} heurisztikus
\'ervet tudok adni. Mindenesetre jegyezz\"uk meg, hogy b\'ar a
$v_k$ sorozatokat \'es a $B_k$ hozz\'atartoz\'o
halmazokat ebben a konstrukci\'oban egy v\'eletlen
szorzatm\'ert\'ek szerint v\'alasztottuk ki, ez a v\'alaszt\'as
kev\'esb\'e speci\'alis, mint ahogy az els\H{o} pillanatban
l\'atszik. A f\"uggetlens\'egb\H{o}l csak azt haszn\'altuk ki,
hogy a $(v_i,\vv_j)$ p\'arok relat\'{\i}v gyakoris\'aga
el\H{o} van \'{\i}rva, \'es a te\-kin\-tett  $\mu$ m\'ert\'ek
megv\'alaszt\'as\'aval ezt a relat\'{\i}v gyakoris\'agot \'{\i}rtuk
el\H{o}. Ha  j\'ol \'{\i}rjuk el\H{o} a kiv\'alasztand\'o $v_k$
vektorokban szerepl\H{o} jelek relat\'{\i}v gyakoris\'ag\'at
akkor ezzel a megszor\'{\i}t\'assal nem cs\"okkentett\"uk
l\'enyegesen a keresett $\lambda$ megk\"ul\"onb\"oztethet\H{o}
sorozatokb\'ol \'all\'o $A$ halmaz nagys\'ag\'at. Ez\'ert sz\'ep
esetekben a v\'eletlen v\'alaszt\'as j\'o eredm\'enyt ad.

A csatorna k\'odol\'asi t\'etel bizony\'{\i}t\'asa k\'et lemm\'an
alapszik. Az els\H{o} az eml\'ekezet n\'elk\"uli csatorna
kapacit\'as\'ar\'ol sz\'ol.

\medskip\noindent
{\bf Lemma az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol.}
{\it Legyen adva adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen sz\'amoss\'ag\'u halmaz, \'es k\"oz\"ott\"uk egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'atmenetval\'osz\'{\i}n\H{u}s\'egekkel defini\'alt
$C<\infty$ csatorna kapacit\'as\'u csatorna. Adva  k\'et olyan
$\eta$ \'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelyek \"ossze vannak kap\-csol\-va ezzel a csatorn\'aval,
tekints\"uk f\"uggetlen, az $(\eta,\eeta)$ p\'arral azonos
eloszl\'as\'u v\'eletlen vektorok egy
$(\eta_1,\eeta_1)$,\dots, $(\eta_n,\eeta_n)$ sorozat\'at, \'es
defini\'aljuk az $\iota_k=\iota_{\eta_k\wedge\eeta_k}$,
$1\le k\le n$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okat a
k\"ovetkez\H{o} k\'eplet seg\'{\i}ts\'eg\'evel:
$\iota_k=\log\frac{p(\vv_j|v_i)}{q(\vv_j)}$, ha $\eta_k=v_i$ \'es
$\eeta_k=\vv_j$, ahol $q(\vv_j)=P(\eeta=\vv_j)$. Minden $\e>0$
sz\'amhoz megadhat\'oak olyan a csatorn\'aval \"osszekapcsolt
$\eta$ \'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
amelyekre $\frac1n\summ_{k=1}^n\iota_k=\frac1n\summ_{k=1}^n
\iota_{\eta_k\wedge\eeta_k}\Rightarrow I(\eta\wedge\eeta)$,
ahol $\Rightarrow$ sztochasztikus konvergenci\'at jel\"ol, \'es
$I(\eta\wedge\eeta)>(1-\e)C$.

Ha feltessz\"uk, hogy a tekintett csatorna olyan, hogy
b\'armely e csatorn\'aval \"ossze\-kap\-csolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'arra teljes\"ul a
$H(\eeta)<\infty$  rel\'aci\'o is, akkor az is igaz, hogy egy az
e csatorna \'altal defini\'alt $n$~hossz\'us\'ag\'u eml\'ekezet
n\'elk\"uli csatorna csatorna kapacit\'asa $nC$-vel egyenl\H{o}.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Val\'oj\'aban, e lemm\'anak csak az els\H{o},
k\"onnyen bizony\'{\i}that\'o r\'esz\'ere lesz sz\"uks\'eg\"unk.
A m\'asodik r\'eszben megfogalmazott eredm\'eny t\'argyal\'as\'anak
ink\'abb elvi okai vannak.
Ezen  eredm\'eny szeml\'eletes tartalma az, hogy egy eml\'ekezet
n\'elk\"uli csatorna kapacit\'as\'at, azaz k\'et ezen
csatorn\'aval \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o k\"ol\-cs\"o\-n\"os inform\'aci\'oj\'at nem lehet
blokkos\'{\i}t\'assal n\"ovelni. A leg\-jobb, amit tenni tudunk
az, hogy az egyes koordin\'at\'aknak megfelel\H{o} bemeneti \'es
ki\-me\-ne\-ti jeleket egym\'ast\'ol f\"uggetlen\"ul optim\'alisan
v\'alasztjuk. Ez egy\'ebk\'ent azt is jelenti, hogy nem lehet
a k\'odol\'asi t\'etel becsl\'es\'et trivi\'alis
blokkos\'{\i}t\'assal jav\'{\i}tani. A csatorna k\'odol\'asi
t\'etel meg\-for\-d\'{\i}\-t\'a\-s\'a\-nak \'al\-ta\-lunk 
megfogalmazott \'es k\'es\H{o}bb bizony\'{\i}tand\'o 
alakj\'ab\'ol k\"ovetkezik, hogy ez nem
le\-het\-s\'e\-ges v\'eges \'allapotter\H{u} csatorn\'akban.
A fent megfogalmazott lemma ered\-m\'e\-nye kiz\'arja az ilyen
t\'{\i}pus\'u jav\'{\i}t\'as lehet\H{o}s\'eg\'et \'altal\'anosabb
csatorn\'ak eset\'eben is. A $H(\eeta)<\infty$
felt\'etel  sze\-re\-pel\-te\-t\'e\-s\'e\-nek e lemma
megfogalmaz\'as\'aban  technikai okai vannak. E felt\'etel
teljes\"ul\'ese  vizsg\'alatainkat egyszer\H{u}bb\'e teszi,
mert ekkor  elker\"ul\"unk bizonyos nem fel\-t\'et\-le\-n\"ul
abszolut  konvergens sorok \'atrendez\'es\'evel kapcsolatos
k\'enyelmetlen sz\'a\-mo\-l\'a\-so\-kat.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ V\'alasszunk olyan a csatorn\'aval
\"osszekapcsolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'o\-kat amelyekre
$I(\eta\wedge\eeta)\ge (1-\e)C$, ahol $C$ a csatorna
kapacit\'asa. Ekkor
$$ \allowdisplaybreaks
\align
E\iota_k&=\summ_{v_i,\vv_j}
P(\eta=v_i,\eeta=\vv_j)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}
=\summ_{v_i,\vv_j} r(v_i,\vv_j)\log\frac{r(v_i,\vv_j)}
{p(v_i)q(\vv_j)} \\
&=I(\eta\wedge\eeta)\ge (1-\e)C,
\endalign
$$
ahol $r(v_i,\vv_j)=P(\eta=v_i,\eeta=\vv_j)$, $p(v_i)=P(\eta=v_i)$,
\'es $q(\vv_j)=P(\eeta=\vv_j)$. Ez\'ert a nagy sz\'amok
gyenge t\"orv\'enye alapj\'an
$\frac1n\summ_{k=1}^n\iota_k\Rightarrow I(\eta\wedge\eeta)$,
ha $n\to\infty$, \'es $I(\eta\wedge\eeta)\ge (1-\e)C$.

Egy $n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorna
kapacit\'as\'anak a kisz\'amol\'asa \'er\-de\-k\'e\-ben
tekints\"unk k\'et ezen eml\'ekezet n\'elk\"uli csatorna \'altal
\"osszekapcsolt $\eta=(\eta_1,\dots,\eta_n)$ \'es
$\eeta=(\eeta_1,\dots,\eeta_n)$ v\'eletlen vektort, \'es
becs\"ulj\"uk meg az $I(\eta\wedge\eeta)$ k\"olcs\"on\"os
inform\'aci\'ot. Ennek \'erdek\'eben el\H{o}sz\"or megmutatom,
hogy $H(\eeta|\eta)=\summ_{k=1}^n H(\eeta_k|\eta_k)$. (Nem tettem
fel, hogy az $\eta$ illetve $\eeta$ vektor koordin\'at\'ai
f\"uggetlenek.)

Vezess\"uk be a k\"ovetkez\H{o} jel\"ol\'eseket:
$$ \allowdisplaybreaks
\align
p(v_{i_1},\dots,v_{i_n})&=P(\eta_1=v_{i_1},\dots,\eta_n=v_{i_n}),\\
q(\vv_{j_1},\dots,\vv_{j_n})&=
P(\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n}),\\
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
&=P(\eta_1=v_{i_1},\dots,\eta_n=v_{i_n},
\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n}).
\endalign
$$
Ezekkel a jel\"ol\'esekkel
$r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})=
p(v_{i_1},\dots,v_{i_n})\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$,
\'es
$$ \allowdisplaybreaks
\align
H(\eeta|\eta)&=\summ_{(v_{i_1},\dots,v_{i_n}),(\vv_{j_1},\dots,\vv_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log\(\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}) \)\\
&=\summ_{(v_{i_1},\dots,v_{i_n}),(\vv_{j_1},\dots,\vv_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\(\summ_{k=1}^n\log p(\vv_{j_k}|v_{i_k}) \)\\
&=\summ_{k=1}^n \summ_{(v_{i_1},\dots,v_{i_n}),(\vv_{j_1},\dots,\vv_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log p(\vv_{j_k}|v_{i_k}).
\endalign
$$
Vezess\"uk be a k\"ovetkez\H{o} mennyis\'egeket is:
$r_k(v_{i_k},\vv_{j_k})=P(\eta_k=v_{i_k},\eeta_k=\vv_{j_k})$,
$1\le k\le n$. Azt \'all\'{\i}tom, hogy ezzel a jel\"ol\'essel
az utols\'o azonoss\'ag jobb oldal\'an l\'ev\H{o} kifejez\'es
bels\H{o} \"osszeg\'et a k\"ovetkez\H{o} m\'odon \'{\i}rhatjuk fel 
r\"ogz\'{\i}tett $k$ indexre:
$$
\align
&\summ_{(v_{i_1},\dots,v_{i_n}),(\vv_{j_1},\dots,\vv_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log p(\vv_{j_k}|v_{i_k})\\
&\qquad=\sum_{(v_{i_k},\vv_{j_k})} r_k(v_{i_k},\vv_{j_k})
\log p(\vv_{j_k}|v_{i_k}).
\endalign
$$
Val\'oban, r\"ogz\'{\i}tve a tekintett \"osszegz\'esben a $v_{i_k}$,
\'es $\vv_{j_k}$ argumentumokat, \'es \"osszegezve az \"osszes
t\"obbi argumentum szerint az
$r_k(v_{i_k},\vv_{j_k})\log p(\vv_{j_k}|v_{i_k})$ kifejez\'est kapjuk,
majd ezekre az argumentumokra is \"osszegezve megkapjuk az el\H{o}bb
fel\'{\i}rt azonoss\'agot. Ezt az azonoss\'agot \"osszegezve a $k$
v\'altoz\'o szerint, \'es felhaszn\'alva az el\H{o}z\H{o}
azonoss\'agot azt kapjuk, hogy
$$
H(\eeta|\eta)=\sum_{k=1}^n
\sum_{(v_{i_k},\vv_{j_k})} r_k(v_{i_k},\vv_{j_k})
\log p(\vv_{j_k}|v_{i_k})=\sum_{k=1}^n H(\eeta_k|\eta_k),
$$
amint azt \'all\'{\i}tottam.

Vegy\"uk \'eszre, hogy  felt\'eteleink teljes\"ul\'ese eset\'eben
$H(\eeta)\le\summ_{k=1}^n H(\eeta_k)<\infty$, ez\'ert
$I(\eta\wedge\eeta)=H(\eeta)-H(\eeta|\eta)\le
\summ_{k=1}^n(H(\eeta_k)-H(\eeta_k|\eta_k))
=\summ_{k=1}^nI(\eta_k\wedge\eeta_k)$. Tov\'abb\'a, ha az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
v\'eletlen vektorok az em\-l\'e\-ke\-zet n\'elk\"uli csatorna
szerinti \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
akkor ezek $(\eta_k,\eeta_k)$, $1\le k\le n$, koordin\'at\'ai
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok azon
kiindul\'o csatorna szerint, amelynek a
se\-g\'{\i}t\-s\'e\-g\'e\-vel az em\-l\'e\-ke\-zet n\'elk\"uli
csatorn\'at defini\'altuk. Ez\'ert $I(\eta_k\wedge\eeta_k)\le C$,
\'es a bizony\'{\i}tott egyenl\H{o}tlens\'egb\H{o}l az is
k\"ovetkezik,  hogy $I(\eta\wedge\eeta)\le nC$. Mivel ez
tetsz\H{o}leges az eml\'ekezet n\'elk\"uli csatorna szerint
\"ossze\-kap\-csolt  $\eta$ \'es $\eeta$ v\'eletlen vektorokra
igaz, innen k\"ovetkezik, hogy egy $n$ hossz\'us\'ag\'u eml\'ekezet
n\'elk\"uli csatorna csatorna kapacit\'asa kisebb vagy
egyenl\H{o}, mint~$nC$.

Annak \'erdek\'eben, hogy bel\'assuk, hogy az $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna kapacit\'asa
val\'oj\'aban egyenl\H{o} az $nC$ mennyis\'eggel tekints\"unk
egym\'ast\'ol f\"ug\-get\-len, \'es az eml\'ekezet n\'elk\"uli
csatorn\'at meghat\'aroz\'o csatorn\'aval \"osszekapcsolt
$(\eta_k,\eeta_k)$, $1\le k\le n$, val\'osz\'{\i}n\H{u}s\'egi
p\'arokat. Ekkor az $\eta=(\eta_1,\dots,\eta_n)$ \'es
$\eeta=(\eeta_1,\dots,\eeta_n)$ v\'eletlen vektorok
\"osszekapcsoltak az eml\'ekezet n\'elk\"uli csatorna \'altal, \'es
$I(\eta\wedge\eeta)=\summ_{k=1}^n I(\eta_k\wedge\eeta_k)$. Mivel
minden $\e>0$ sz\'amra az $(\eta_k,\eeta_k)$ p\'arokat \'ugy is
v\'alaszthatjuk, hogy az $I(\eta_k\wedge\eeta_k)\ge C-\e$
rel\'aci\'o teljes\"ulj\"on, innen k\"ovetkezik, hogy egy
$n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorna csatorna
kapacit\'asa nagyobb vagy egyenl\H{o}, mint $nC$. A lemm\'at
bel\'attuk.

\medskip
A k\"ovetkez\H{o} lemm\'aban olyan als\'o becsl\'est adunk egy
alkalmasan konstru\'alt $\lambda$ megk\"ul\"onb\"oztethet\H{o}
halmaz elemsz\'am\'ar\'ol, amely lehet\H{o}v\'e teszi, hogy az
el\H{o}z\H{o} lemma seg\'{\i}ts\'eg\'evel
bebizony\'{\i}tsuk a csatorna k\'odol\'asi t\'etelt.

\medskip\noindent
{\bf Als\'o becsl\'es alkalmasan konstru\'alt $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemeket tartalmaz\'o halmaz
elemsz\'am\'ar\'ol.} {\it Legyen adva adva k\'et
$V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'o halmaz, \'es k\"oz\"ott\"uk
egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. Legyen $\eta$ \'es $\eeta$ k\'et e
csatorn\'aval \"ossze\-kap\-csolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, \'es vezess\"uk be a $\iota_{\eta\wedge\eeta}$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot is a k\"ovetkez\H{o}
k\'ep\-let seg\'{\i}ts\'eg\'evel:
$\iota_{\eta\wedge\eeta}=\log\frac{p(v_i|\vv_j)}{q(\vv_j)}$,
ha $\eta=v_i$, \'es $\eeta=\vv_j$, ahol $q(\vv_j)=P(\eeta=\vv_j)$.
V\'alasszunk k\'et tetsz\H{o}leges $z>0$ \'es $0<\lambda<1$ sz\'amot.
L\'etezik a bemeneti jelek $V$ halmaz\'anak olyan $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o r\'eszhalmaza,
amelynek $N$ elem\-sz\'a\-ma teljes\'{\i}ti az
$$
N\ge 2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))
$$
egyenl\H{o}tlens\'eget.}

\medskip
Miel\H{o}tt le\'{\i}rn\'am a bizony\'{\i}t\'ast ismertetem
annak f\H{o} gondolat\'at. Egy $\{v_{i_1},\dots,v_{i_N}\}$
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
halmazt keres\"unk viszonylag nagy $N$ elemsz\'ammal, valamint
a $v_{i_k}$ pontokhoz olyan diszjunkt $B_{k}$ halmazokat
akarunk t\'ars\'{\i}tani, amelyekre
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
\'Erdemes olyan $B_k$ halmazokat v\'alasztani, amelyekre a
$P(\eeta\in B_k)=\summ_{\vv_j\in B_k}q(\vv_j)$
val\'osz\'{\i}n\H{u}s\'egek kicsik. Mivel
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
(egy heurisztikus okoskod\'asban feltehetj\"uk, hogy az utols\'o
k\'epletben egyenl\H{o}s\'eg van,) ez azt sugallja, hogy olyan
$B_k$ halmazokat \'erdemes defini\'alni, amelyek $\vv_j\in B_k$
elemeire $\frac{q(\vv_j)}{p(\vv_j|v_{i_k})}$ kicsi. Ez\'ert a
$B_k$ halmazt
$B_k=\VV\setminus\{\vv_j\colon\;\frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\le2^z\}$
alakban keress\"uk, ahol a $z$ sz\'amot a te\-kin\-tett csatorna
tu\-laj\-do\-n\-s\'a\-gai\-t\'ol f\"ugg\H{o}en alkalmasan
v\'alasztjuk meg. \'Ugy akarjuk a $\lambda$
megk\"ul\"onb\"oztethet\H{o} $v_{i_k}\in V$ pontokat v\'alasztani,
hogy a $v_{i_k}$ pont a neki megfelel\H{o} $B_k$ halmazzal
egy\"utt teljes\'{\i}tse a
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$
egyenl\H{o}tlens\'eget. Val\'oj\'aban kiss\'e m\'ask\'eppen kell
elj\'arni annak \'erdek\'eben, hogy diszjunkt $B_k$ halmazokat
v\'alasszunk. Ha a $v_{i_1}$, \dots, $v_{i_{k-1}}$ pontokat \'es
$B_1,\dots,B_{k-1}$ halmazokat m\'ar kiv\'alasztottuk, akkor
pr\'ob\'alunk olyan $v_{i_k}\in V$ pontot \'es hozz\'atartoz\'o
$B_k=(\VV\setminus \bigcupp_{j=1}^{k-1}B_j)
\setminus\{\vv_j\colon\;\frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\le 2^z\}$
 halmazt tal\'alni, amelyekre
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
Ezt az elj\'ar\'ast addig folytatjuk szukcesszive, am\'{\i}g meg
nem akadunk. A lemma arr\'ol sz\'ol, hogy ilyen m\'odon mekkora
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
halmazt tudunk konstru\'alni.

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Defini\'aljuk a
$$
W=\left\{(v_i,\vv_j)\colon\; (v_i,\vv_j)\in V\times\VV,\;
\frac{p(\vv_j|v_i)}{q(\vv_j)}<2^z\right\},
$$
\'es
$$
W^{v_i}=\{\vv_j\colon\;\vv_j\in\VV,\; (v_i,\vv_j)\in W\},
\quad v_i\in V,
$$
halmazokat. Egy olyan $v_{i_1}\in V$ pontot v\'alasztunk, amelyre
$P(\eeta\in \VV\setminus W^{v_{i_1}}|\eta=v_{i_1})\ge 1-\lambda$,
felt\'eve, hogy ilyen pont l\'etezik. Ebben az esetben legyen
$B_1=\VV\setminus W^{v_{i_1}}$. Ha nincs ilyen $v_{i_1}\in V$ 
pont, akkor a procedur\'at befejezz\"uk egyetlen pont
kiv\'alaszt\'asa n\'elk\"ul. A
$v_{i_1}\in V$,\dots, $v_{i_{k}}\in V$ pontokat szukcesszive
v\'alasztjuk egym\'as ut\'an, \'es a $v_{i_p}$ ponthoz
t\'ars\'{\i}tott $B_p$ halmazt a
$$
B_1=\VV\setminus W^{v_1},\quad
B_p=\(\bigcapp_{l=1}^{p-1} W^{v_{i_l}}\)\setminus W^{v_{i_p}},
\qquad p=2,3,\dots.
$$
k\'eplettel defini\'aljuk. Ezek a $B_1,B_2,\dots$ halmazok
diszjunktak. Ha a $v_{i_1}\in V$,\dots, $v_{i_{k}}\in V$ pontok
m\'ar ki vannak v\'alasztva, akkor a $k+1$-k l\'ep\'esben olyan
$v_{i_{k+1}}\in V$ pontot keres\"unk, amelyre
$P(\eeta\in\(\bigcapp_{l=1}^kW^{v_{i_l}}\)
\setminus W^{v_{i_{k+1}}}|\eta=v_{i_{k+1}})\ge1-\lambda$, 
ugyan\-is ez jelenti azt, hogy 
$P(\eeta\in B_{k+1}|\eta=v_{i_{k+1}})\ge1-\lambda$. Ha ez a 
felt\'etel teljes\"ul, akkor v\'alasztunk egy k\'{\i}v\'ant
tulajdons\'ag\'u $v_{i_{k+1}}\in V$ pontot, ha nem teljes\"ul, 
akkor a $v_{i_p}$ pontok v\'alaszt\'as\'at a $k$-ik l\'ep\'esben
befejezz\"uk. A lemm\'aban szerepl\H{o} $N$ sz\'amot 
v\'alaszthatjuk \'ugy, mint a leg\-na\-gyobb olyan $k$ sz\'amot, 
amelyre v\'alasztottunk $v_{i_k}$ pontot. Ugyanis az 
$A=\{v_{i_1},\dots,v_{i_N}\}$ halmaz pontjai a $B_1,\dots,B_N$ 
halmazokkal egy\"utt $\lambda$ megk\"ul\"onb\"oztethet\H{o} pontok.

Azon $k$ index nagys\'ag\'ara kell teh\'at j\'o als\'o becsl\'est
adni, amelyikre m\'eg tudjuk folytatni az algoritmusunkat, \'es
megfelel\H{o} tulajdons\'ag\'u $v_{i_k}\in V$ pontot tal\'alni.
A $k$-ik l\'ep\'es ut\'an akkor \'es csak akkor tudunk megfelel\H{o}
tulajdons\'ag\'u $v_{i_{k+1}}\in V$ pontot tal\'alni, ha
$\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)<\lambda$,
ahol $\VV(1)=\VV$, \'es
$\VV(k)=\bigcupp_{l=1}^{k}(\VV\setminus W^{v_{i_l}})$, $k=1,2,\dots$.
Az al\'abbi becsl\'esek seg\'{\i}ts\'eg\'evel meg tudjuk mutatni, 
hogy ez az egyenl\H{o}tlens\'eg teljes\"ul bizonyos sz\'amunkra
\'erdekes esetekben.
$$
\align
&\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le
\sum_{v_i\in V}P(\eta=v_i)P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\\
&\qquad=\sum_{v_i\in V}P(\eta=v_i,\eeta\in \VV(k)\cup W^{v_i})
=P((\eta,\eeta)\in (V\times \VV(k))\cup W)\\
&\qquad\le P(\eeta\in \VV(k))+P((\eta,\eeta)\in W).
\endalign
$$
M\'asr\'eszt
$P((\eta,\eeta)\in W)=P(\iota_{\eta\wedge\eeta}<z)$,
\'es a $\VV(k)$ halmaz definici\'oja alapj\'an
$$ \allowdisplaybreaks
\align
P(\eeta\in\VV(k))&\le\sum_{l=1}^k
P(\eeta\in \VV\setminus W^{v_{i_l}})
=\sum_{l=1}^k\sum_{\vv_j\colon
\frac{p(\vv_j|v_{i_l})}{q(\vv_j)}\ge 2^z} q(\vv_j)\\
&\le\sum_{l=1}^k\sum_{\vv_j\colon
\frac{p(\vv_j|v_{i_l})}{q(\vv_j)}\ge 2^z}
2^{-z}p(\vv_j|v_{i_l})
\le\sum_{l=1}^k\sum_{\vv_j\in \VV}2^{-z}p(\vv_j|v_{i_l})
=\sum_{l=1}^k2^{-z}=k2^{-z}.
\endalign
$$
A fenti becsl\'esekb\H{o}l k\"ovetkezik, hogy
$$
\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le
P(\iota_{\eta\wedge\eeta}<z)+k2^{-z},
$$
ez\'ert
$\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)<\lambda$,
ha $k<2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))$.
Ez azt jelenti, hogy a k\'{\i}v\'ant tulajdons\'ag\'u $v_{i_k}\in V$
pontok v\'alaszt\'as\'at tudjuk folytatni a $\bar k=
[2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))]+1$ \'ert\'ekig,
ahol $[x]$ az $x$ sz\'am eg\'esz r\'esz\'et jel\"oli.
Innen k\"ovetkezik a lemma \'all\'{\i}t\'asa.

\medskip\noindent
{\it A csatorna k\'odol\'asi t\'etel bizony\'{\i}t\'asa.}\/
V\'alasszunk olyan $(\eta',\eeta')$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o p\'art, amelynek tagjai \"ossze vannak kapcsolva az
eml\'ekezet n\'elk\"uli csatorn\'at meg\-ha\-t\'a\-ro\-z\'o
csatorn\'aval, \'es $I(\eta'\wedge\eeta')\ge(1-\frac\e4)C$, ahol
$C$ ennek a csatorn\'anak a kapacit\'asa.
Legyen $(\eta_1,\eeta_1)$, $(\eta_2,\eeta_2)$,\dots,
$(\eta_n,\eeta_n)$ f\"uggetlen, az $(\eta',\eeta')$ v\'eletlen
vektorral azonos eloszl\'as\'u v\'eletlen vektorok sorozata,
\'es a $\iota_k$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'ot defini\'alja a
$\iota_k=\log\frac{p(\vv_j|v_i)}{q(\vv_j)}$, ha $\eta_k=v_i$,
\'es $\eeta_k=\vv_j$ k\'eplet. Vezess\"uk be az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
v\'eletlen vektorokat, \'es defini\'aljuk seg\'{\i}ts\'eg\"ukkel a
$\iota_{\eta\wedge\eeta}$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot
\'ugy, mint az {\it Als\'o becsl\'es al\-kal\-ma\-san konstru\'alt
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemeket tartalmaz\'o halmaz
elemsz\'am\'ar\'ol}\/ eredm\'eny megfogalmaz\'as\'aban tett\"uk.
Ekkor $\iota_{\eta\wedge\eeta}=\summ_{k=1}^n\iota_k$, ez\'ert
az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol
sz\'ol\'o lemma (els\H{o}) eredm\'enye alapj\'an l\'etezik olyan
$n_0$ k\"usz\"obindex, amely\-re igaz, hogy
$P(\iota_{\eta\wedge\eeta}<(1-\frac\e2)Cn)\le \frac\lambda2$,
ha $n\ge n_0$. Ez\'ert alkalmazva az {\it Als\'o becsl\'es
al\-kal\-ma\-san konstru\'alt $\lambda$ 
megk\"ul\"onb\"oztethet\H{o} elemeket tartalmaz\'o halmaz 
elemsz\'am\'ar\'ol}\/ nev\H{u} lemma eredm\'eny\'et
$z=(1-\frac\e2)Cn$ v\'alaszt\'assal azt kapjuk, hogy
$N\ge 2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))\ge
2^{(1-\e/2)Cn}\frac\lambda2\ge 2^{(1-\e)Cn}$, ha
$n\ge n_0(\e,\lambda)$. A t\'etel bizony\'{\i}t\'as\'at
befejezt\"uk.

\medskip\noindent
{\it Megjegyz\'es.}\/ V\'eges \'allapotter\H{u} csatorn\'ak eset\'en
\'erv\'enyes a csatorna k\'odol\'asi t\'etel becsl\'es\'enek a 
k\"ovetkez\H{o} a csatorna k\'odol\'asi t\'etel 
megford\'{\i}t\'as\'aban szerepl\H{o} becsl\'eshez hasonl\'o 
\'eles\'{\i}t\'ese. Az $n$ hossz\'us\'ag\'u eml\'ekezet 
n\'elk\"uli csatorn\'anak l\'etezik olyan $\lambda$ 
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} sorozatokb\'ol \'all\'o 
halmaza, amelynek $N=N(n)$ elemsz\'am\'ara teljes\"ul az 
$N\ge \frac\lambda22^{Cn-K\sqrt n/\sqrt\lambda}$ 
egyen\-l\H{o}t\-len\-s\'eg
alkalmas $K>0$ sz\'ammal, ahol $C$ a csatorna kapacit\'asa.

Val\'oban, ebben az esetben, mint l\'atni fogjuk, l\'etezik olyan
$(\eta',\eeta')$ a csatorn\'aval \"osszekapcsolt 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'ar, amelyre 
$I(\eta'\wedge\eeta')=C$, \'es ha $\eta=(\eta_1,\dots,\eta_n)$
\'es $\eeta=(\eeta_1,\dots,\eeta_n)$, ahol $(\eta_k,\eeta_k)$,
$\le n\le k$, az $(\eta,\eeta')$ val\'osz\'{\i}n\H{u}s\'egi 
v\'altoz\'o p\'ar f\"uggetlen p\'eld\'anyai, akkor nem neh\'ez 
bel\'atni a Csebisev egyenl\H{o}tlens\'eg seg\'{\i}ts\'eg\'evel 
--- fel\-hasz\-n\'al\-va az 
$\iota_{\eta\wedge\eeta}=\summ_{k=1}^n\iota_{\eta_k\wedge\eeta_k}$
azonoss\'agot, --- hogy l\'etezik olyan $K>0$ sz\'am, amely\-re
$P(\iota_{\eta\wedge\eeta}\le Cn-K\sqrt{\frac n\lambda})=
P\(\summ_{k=1}^n(\iota_{\eta_k\wedge\eeta_k}-E\iota_{\eta_k\wedge\eeta_k})
\le-K\sqrt{\frac n\lambda}\)\le\frac\lambda2$.
Ez\'ert az {\it Als\'o becsl\'es alkalmasan konstru\'alt $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} elemeket tartalmaz\'o halmaz
elem\-sz\'a\-m\'a\-r\'ol}\/ eredm\'eny\'eb\H{o}l az eml\'{\i}tett
egyenl\H{o}tlens\'eget kapjuk $z=Cn-K\frac{\sqrt n}{\sqrt\lambda}$ 
v\'a\-lasz\-t\'as\-sal.

\medskip
A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak a
bizony\'{\i}t\'asa v\'eges \'allapotter\H{u} csa\-tor\-n\'ak\-ra
azon alapul, hogy ebben az esetben a csatorna kapacit\'ast
defini\'al\'o szupr\'emum felv\'etetik, \'es explicit m\'odon
lehet jellemezni azokat a csatorn\'aval \"osszekapcsolt
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'arok
eloszl\'as\'at, amelyek k\"olcs\"on\"os inform\'aci\'oja
egyenl\H{o} a csatorna kapacit\'assal. Az al\'abbi eredm\'enyt
fogom bebizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'er\H{o}l.} {\it Le\-gyen adva k\'et
$V=\{v_1,\dots,v_m\}$ \'es $\tilde V=\{\vv_1,\dots,\vv_n\}$
v\'eges halmaz, \'es k\"oz\"ott\"uk egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt v\'eges \'allapotter\H{u} $C<\infty$ csatorna
kapacit\'as\'u csatorna. L\'etezik olyan e csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'ar,
amely\-re $I(\eta\wedge\eeta)=C$. Egy e csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'arra akkor \'es
csak akkor igaz az $I(\eta\wedge\eeta)=C$ egyenl\H{o}s\'eg, ha a
$p(v_i)=P(\eta=v_i)$, $v_i\in V$, \'es $q(\vv_j)=P(\eeta=\vv_j)$,
$\vv_j\in\VV$,  val\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik a
$$
\summ_{\vv_j\in\VV} p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}\le C
\quad \text{minden $v_i\in V$ pontban}  \tag3.1
$$
egyenl\H{o}tlens\'egeket, \'es ha $p(v_i)>0$, akkor a $v_i$ pontnak
megfelel\H{o} rel\'aci\'o \'eles\'{\i}thet\H{o}, \'es
egyen\-l\H{o}\-s\'e\-get is \'{\i}rhatunk az egyenl\H{o}tlens\'eg 
helyett.}

\medskip\noindent
{\it Megjegyz\'es.} A (3.1) k\'eplet \'ugy \'ertend\H{o}, hogy
$p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}=0$, ha
$p(\vv_j|v_i)=0$. A t\'etel azt is \'all\'{\i}tja, hogy $q(\vv_j)>0$,
ha $p(\vv_j|v_i)>0$ valamilyen $v_i$ bemen\H{o} \'allapotra
(egy az $I(\eta\wedge\eeta)=C$ felt\'etelt teljes\'{\i}t\H{o} a
csatorn\'aval \"osszekapcsolt $\eta,\eeta$ p\'ar \'altal defini\'alt
$q(\vv_j)=P(\eeta=\vv_j)$ val\'osz\'{\i}n\H{u}s\'egre).
Ellenkez\H{o} esetben nem teljes\"ulne a (3.1) egyenl\H{o}tlens\'eg,
mert annak baloldala $\infty$ lenne, mivel tartalmazna egy
$p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}=\infty$ alak\'u
\"osszeadand\'ot. Igaz a
$$
\summ_{\vv_j\in\VV} p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}\ge0
\quad \text{minden $v_i\in V$ pontban}
$$
egyenl\H{o}tlens\'eg is. Ez k\"ovetkezik p\'eld\'aul a
m\'asodik fejezetben bizony\'{\i}tott {\it Egy $I$-di\-ver\-gen\-cia
t\'{\i}pus\'u lemm\'abol} az $a_j=p(\vv_j|v_i)$ \'es
$b_j=q(\vv_j)$ szereposzt\'assal felhaszn\'alva az
$A=\summ_{\vv_j\in\VV}p(\vv_j|v_i)=1$ \'es
$B=\summ_{\vv_j\in \VV}q(\vv_j)=1$ rel\'aci\'okat.

\medskip
A t\'etel bizony\'{\i}t\'asa k\'et f\"uggv\'enyek
konvexit\'as\'aval (vagy konk\'av\'{\i}t\'as\'aval) kapcsolatos
eredm\'enyen alapul. Az els\H{o} lemma arr\'ol sz\'ol, hogy egy
f\"uggv\'eny, amely a k\"olcs\"on\"os inform\'aci\'ot defini\'al\'o
f\"uggv\'eny term\'eszetes kiterjeszt\'es\'enek tekinthet\H{o} a
pozit\'{\i}v ort\'ansra konk\'av.

\medskip\noindent
{\bf Lemma egy f\"uggv\'eny konk\'avit\'as\'ar\'ol.} {\it Legyenek
adva bizonyos $p(i,j)$, $1\le i\le M$, $1\le j\le N$ sz\'amok,
amelyekre $0\le p(i,j)\le 1$ minden $1\le i\le M$ \'es
$1\le j\le N$ indexre, \'es $\summ_{j=1}^N p(i,j)=1$ minden
$1\le i\le M$ indexre. Defini\'aljuk seg\'{\i}ts\'eg\"ukkel az
$$
F(u_1,\dots,u_M)
=\sum_{i=1}^M\sum_{j=1}^N u_i p(i,j)\log\frac{p(i,j)}{y_j},
\quad u_i\ge 0 \text{ minden } 1\le i\le M \text{ indexre}
$$
f\"uggv\'enyt, ahol $y_j=y_j(u_1,\dots,u_M)=\summ_{i=1}^Mp(i,j)u_i$.
Az $F(u_1,\dots,u_M)$ f\"uggv\'eny foly\-to\-nos \'es konk\'av az
$A=\{(u_1,\dots,u_M)\colon\; u_i\ge0, \;1\le i\le M\}$ halmazon.}

\medskip\noindent
{\it 1.~megjegyz\'es.} Az $F$ f\"uggv\'enyt defini\'al\'o \"osszeg
\'ugy \'ertend\H{o}, hogy csak azon $(i,j)$ p\'arokra \"osszegz\"unk,
amelyekre $p(i,j)>0$. Teh\'at az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}=0$ konvenci\'ot fogjuk alkalmazni
a $p(i,j)=0$ esetben akkor is, ha $y_j=0$. Sz\"uks\'eges m\'eg
defini\'alni az $u_i p(i,j)\log\frac{p(i,j)}{y_j}$
kifejez\'est akkor, ha az $u_i=0$, mert ekkor is el\H{o}fordulhat,
hogy $y_j=0$. Ebben az esetben az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}=0$, ha $u_i=0$ konvenci\'ot
fogjuk alkalmazni. A k\"ovetkez\H{o} sz\'amol\'asokban az
egyszer\H{u}bb jel\"ol\'es kedv\'e\'ert a $\log$ term\'eszetes \'es
nem 2 alap\'u logaritmust fog jel\"olni, de ennek nincs nagy
jelent\H{o}s\'ege. A term\'eszetes logaritmusr\'ol a 2 alap\'u
logaritmusra val\'o \'att\'er\'es csak $\log_2 e$-vel val\'o
szorz\'ast jelent.

\medskip\noindent
{\it 2.~megjegyz\'es.} \'Erts\"uk meg, mi\'ert hasznos sz\'amunkra a
fenti lemma. C\'elunk egy v\'eges \'allapotter\H{u} csatorna csatorna
kapacit\'as\'anak a meghat\'aroz\'asa. A lemm\'aban szerepl\H{o}
$F(u_1,\dots,u_M)$ seg\'{\i}ts\'eg\'evel ezt a probl\'em\'at term\'eszetes
m\'odon \'at tudjuk fogalmazni egy felt\'eteles sz\'els\H{o}\'ert\'ek
feladatt\'a, ahol az $F(u_1,\dots,u_M)$ f\"uggv\'eny maximum\'at
keress\"uk a $\summ_{i=1}^Mu_i=1$ felt\'etel mellett.

Val\'oban, tekints\"unk egy olyan csatorn\'at, amelyre 
$p(\tilde v_j|v_i)=p(i,j)$, \'es legyen $\eta$ egy olyan 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre $P(\eta=v_i)=u_i$, 
$1\le i\le M$, ($\summ_{i=1}^Mu_i=1$). Ha $\tilde\eta$  olyan  
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre $\eta$ \'es 
$\tilde\eta$ \"ossze vannak kapcsolva ezzel a csatorn\'aval, akkor 
$P(\tilde\eta=\tilde v_j)=y_j$, $1\le j\le N$, \'es
$F(u_1,\dots,u_M)=I(\eta\wedge\tilde\eta)$. Innen l\'athat\'o, hogy
a csatorna kapacit\'as meghat\'aroz\'asa val\'oban a fent eml\'{\i}tett
felt\'eteles sz\'els\H{o}\'ert\'ek fel\-adat\-hoz vezet. Ilyen
t\'{\i}pus\'u feladatokat \'erdemes az \'ugynevezett Kuhn--Tucker 
t\'etel seg\'{\i}ts\'eg\'evel vizsg\'alni, \'es mi is ennek
az eredm\'enynek egy egyszer\H{u} speci\'alis eset\'et fogjuk 
alkalmazni. Ahhoz azonban, hogy ezt megtehess\"uk, tudnunk kell, hogy
a lemm\'aban defini\'alt $F$ f\"uggv\'eny konk\'av. 

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Az $F$ f\"uggv\'eny folytonos, ha 
azt a hat\'aron \'ugy defini\'aljuk, ahogy az els\H{o} meg\-jegy\-z\'es\-ben
tett\"uk. Ezen \'all\'{\i}t\'as egyetlen r\'eszletesebb
indokl\'ast ig\'enyl\H{o} r\'esze az, hogy az olyan $(i,j)$
indexp\'arokra, amelyekre $p(i,j)>0$ az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}$ f\"uggv\'eny folytonos az
olyan $u$ pontokban is, amelyek $i$-ik koordin\'at\'aja
$u_i=0$. Azt kell ellen\H{o}rizni, hogy ha $u_i^{(n)}\to0$,
akkor $u_i^{(n)}p(i,j)\log\frac{p(i,j)}{y^{(n)}_j}\to0$. De
ekkor $\frac{p(i,j)}{y_j^{(n)}}\le \frac1{u^{(n)}_i}$, ez\'ert
$u_i^{(n)}p(i,j)\log\frac{p(i,j)}{y^{(n)}_j}
\le u^{(n)}_ip(i,j)\log\frac1{ u^{(n)}_i}\to0$,
\'es ezt kellett bel\'atni. Ha $u_i>0$ (\'es $p(i,j)>0$), akkor $y_j>0$,
\'es az $u_ip(i,j)\log\frac{p(i,j)}{y_j}$ f\"uggv\'eny folytonoss\'aga
k\"onnyen l\'athat\'o.

Az $F$ f\"uggv\'eny konk\'avit\'as\'anak
bizony\'{\i}t\'as\'ahoz el\'eg megmutatni, hogy a
$\(\frac{\partial^2 F}{\partial u_k\partial u_l}\)$, $1\le k,l\le M$,
m\'atrix negat\'{\i}v szemidefinit minden $(u_1,\dots,u_M)$, $u_i>0$,
$1\le i\le M$ pontban. (Mivel az $F$ f\"uggv\'eny folytonos el\'eg
csak azokat a pontokat tekinteni, amelyek koordin\'at\'ai szigor\'uan
pozit\'{\i}vak.) Sz\'amoljuk ki e m\'atrix elemeit. Fel\'{\i}rhatjuk,
hogy
$$
\frac{\partial F}{\partial u_k}=\sum_{j\colon\;p(j,k)>0}p(k,j)\log p(k,j)
-\summ_{j\colon\;p(j,k)>0} p(k,j)\log y_j
-\summ_{i=1}^M\summ_{j\colon\;p(j,k)>0} u_i p(i,j)\frac{p(k,j)}{y_j}.
$$
Az utols\'o kifejez\'esben szerepl\H{o} kett\H{o}s szumma
val\'oj\'aban konstans. Ugyanis
$$
\summ_{i=1}^M\summ_{j\colon\;p(j,k)>0} u_i p(i,j)\frac{p(k,j)}{y_j}
=\summ_{j\colon\;p(j,k)>0}\frac{p(k,j)}{y_j}\(\summ_{i=1}^M u_i p(i,j)\)
=\summ_{j=1}^N p(k,j)\frac{y_j}{y_j}=1.
$$
Innen
$$
\frac{\partial F}{\partial u_k}
=\summ_{j\colon\;[(j,k)>0} p(k,j)\log\frac{p(k,j)}{y_j}-1,
\tag3.2
$$
\'es mivel $y_j>0$ az 
$\{(u_1,\dots,u_M)\colon\; u_i>0,\,1\le i\le M\}$ halmazon
$$
\frac{\partial^2 F}{\partial u_k\partial u_l}=
-\frac{\partial}{\partial u_l}\(\summ_{j=1}^N p(k,j)\log y_j\)
=-\summ_{j=1}^N\frac{p(k,j)p(l,j)}{y_j}.
$$

Az $F$ f\"uggv\'eny konk\'avit\'as\'anak a bizony\'{\i}t\'as\'ahoz
azt kell bel\'atni,  hogy tetsz\H{o}leges
$((\alpha(1),\dots,\alpha(M))$ vektorra
$$
\summ_{k=1}^M\summ_{l=1}^M
\frac{\partial^2 F}{\partial u_k\partial u_l}\alpha(k)\alpha(l)\le0.
$$
Viszont
$$
\align
&\summ_{k=1}^M\summ_{l=1}^M
\frac{\partial^2 F}{\partial u_k\partial u_l}\alpha(k)\alpha(l)
=-\sum_{k=1}^M\sum_{l=1}^M\summ_{j=1}^N\frac{p(k,j)p(l,j)}{y_j}
\alpha(k)\alpha(l)\\
&\qquad =-\summ_{j=1}^N\frac1{y_j}\sum_{k=1}^M\sum_{l=1}^M
p(k,j)p(l,j)\alpha(k)\alpha(l)
=-\summ_{j=1}^N\frac1{y_j}\(\sum_{k=1}^Mp(k,j)\alpha(k)\)^2\le0.
\endalign
$$

\medskip
Sz\"uks\'eg\"unk lesz m\'eg az el\H{o}z\H{o} lemma egy
kieg\'esz\'{\i}t\'es\'ere is, amelyik a
$\frac{\partial F}{\partial u_k}(u)$ parci\'alis deriv\'alt
viselked\'es\'et olyan $u$ vektorokra is le\'{\i}rja, amelyeknek
van 0 koordin\'at\'aja. Ami\-kor a $k$-ik koordin\'ata szerinti
parci\'alis deriv\'altat tekintj\"uk meg kell k\"ul\"onb\"oztetn\"unk
azt az esetet, amikor az $u$ vektor $u_k$ koordin\'at\'aja
az $u_k>0$ \'es amikor az $u_k=0$ rel\'aci\'ot teljes\'{\i}ti.
Be fogjuk l\'atni, hogy az els\H{o} esetben a parci\'alis deriv\'alt
folytonos, \'es teljes\'{\i}ti a (3.2) formul\'at. A m\'asodik
esetben azt \'all\'{\i}tom, hogy ekkor is l\'etezik (az
egyoldali) parci\'alis deriv\'alt, \'es az egyenl\H{o} a parci\'alis
deriv\'alt ir\'anymenti hat\'ar\'ert\'ek\'evel. Ez az ir\'anymenti
hat\'ar\'er\'ek azonban v\'egtelen is lehet.

Az, hogy a $\frac{\partial F}{\partial u_k}(u)$ f\"uggv\'enynek
l\'etezik ir\'anymenti hat\'ar\'ert\'eke az $u=(u_1,\dots,u_M)$
pontban azt jelenti, hogy l\'etezik a
$G_k(u)=\limm_{t\to0+}\frac{\partial F}{\partial u_k}(u+t\tilde u)$
esetleg v\'egtelennel egyenl\H{o} hat\'ar\'ert\'ek minden olyan
$\tilde u=(\tilde u_1,\dots,\tilde u_M)$ vektorra, amelynek $k$-ik
koordin\'at\'aja $\tilde u_k=1$, \'es $u+t\tilde u\in A$ el\'eg
kis $t>0$ sz\'amokra. Tov\'abb\'a ez a hat\'ar\'ert\'ek nem f\"ugg
az $\tilde u$ vektor v\'alaszt\'as\'at\'ol. A $\limm_{t\to0+}$
azt jelenti, hogy szigor\'uan pozit\'{\i}v $t>0$ sz\'amokkal
tekintj\"uk ezt a limeszt. (A most bevezetett ir\'anymenti 
hat\'ar\'ert\'ekhez hasonl\'o fogalommal tal\'alkoztunk
a komplex f\"uggv\'enytanban is, amikor egy hatv\'anysor 
esetleges folytonoss\'ag\'at vizsg\'alj\'ak a hatv\'anysor 
konvergenciak\"or\'enek egy pontj\'aban.) Nem neh\'ez megmutatni,
hogy ha a $G_k(u)$ ir\'anymenti hat\'ar\'ert\'ek l\'etezik egy 
olyan $u=(u_1,\dots,u_M)$ pontban, amelyre $u_k=0$, akkor
$G_k(u)=\frac{\partial F}{\partial u_k}(u)$, ahol
$\frac{\partial F}{\partial u_k}(u)$ a megfelel\H{o} f\'eloldali
parci\'alis deriv\'altat jel\"oli.

\medskip\noindent
{\bf Kieg\'esz\'{\i}t\'es az egy f\"uggv\'eny konk\'avit\'as\'ar\'ol
sz\'ol\'o lemm\'ahoz.} {\it A lemm\'aban te\-kin\-tett $F$
f\"uggv\'eny $\frac{\partial F}{\partial u_k}$ parci\'alis
deriv\'altja folytonos f\"uggv\'eny az
$$
A_k=\{(u_1,\dots,u_M)\colon\; u_i\ge0 \text{ minden }
1\le i\le M \text{ indexre, \'es } u_k>0 \}
$$
halmazon minden $1\le k\le M$ indexre, \'es teljes\'{\i}ti a (3.2)
formul\'at. 

Ha az $u=(u_1,\dots,u_M)\in A$ pontban $u_k=0$, akkor is l\'etezik 
a $\frac{\partial F}{\partial u_k}(u)$ f\"uggv\'eny $G_k(u)$
ir\'anymenti hat\'ar\'ert\'eke az $u$ pontban. Ha az ilyen $u$
pontokban a $\frac{\partial F}{\partial u_k}(u)$ parci\'alis 
deriv\'altat \'ugy defini\'aljuk, mint ezen ir\'anymenti 
hat\'ar\'ert\'eket, akkor a (3.2) formula \'erv\'enyes lesz
minden $u\in A$ pontban. Ez az ir\'anymenti hat\'ar\'ert\'ek 
akkor \'es csak akkor v\'eges, ha az $y_j=y_j(u)$ sz\'amra $y_j>0$ 
minden olyan $j$ indexre, amelyre $p(k,j)>0$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Mivel $u_k>0$ egy 
$u=(u_1,\dots,u_k)\in A_k$ pontra, ez\'ert az $A_k$ halmaz 
pont\-jai\-ban $y_j=y_j(u)\ge u_kp(k,j)>0$ minden olyan $j$ indexre, 
amelyre $p(k,j)>0$. Ezt felhaszn\'alva kapjuk, hogy a (3.2) formula, 
illetve az ezen azonoss\'ag bizony\'{\i}t\'as\'aban felhaszn\'alt 
formul\'ak az $u\in A_k$ pontokban is \'erv\'enyesek. Ezut\'an a 
(3.2) formula seg\'{\i}ts\'eg\'evel az is k\"onnyen l\'athat\'o, 
hogy a $\frac{\partial F}{\partial u_k}$ parci\'alis deriv\'alt 
folytonos az $A_k$ halmaz pontjaiban. 

Ha $u=(u_1,\dots,u_M)\in A$ olyan pont, amelyre $u_k=0$, \'es az
$\tilde u=(\tilde u_1,\dots,\tilde u_M)$ pontra $\tilde u_k=1$,
\'es $u+t\tilde u\in A$ el\'eg kis $t>0$ sz\'amra, akkor az
$u+t\tilde u\in A_k$ rel\'aci\'o is teljes\"ul kis $t>0$ 
sz\'amokra. Ez\'ert a 
$\frac{\partial F}{\partial u_k}(u+t\tilde u)$ kifejez\'esre
\'erv\'enyes a (3.2) formula, \'es a 
$\frac{\partial F}{\partial u_k}$ deriv\'alt ir\'anymenti
hat\'ar\'ert\'ek\'enek l\'etez\'es\'ehez az $u$ pontban azt 
kell ellen\H{o}rizni, hogy az e formula
jobb  oldal\'an szerepl\H{o} kifejez\'esnek van az $\tilde u$
vektort\'ol f\"uggetlen hat\'ar\'ert\'eke, amely egyenl\H{o} 
a (3.2) formula jobboldal\'an lev\H{o} kifejez\'es 
\'ert\'ek\'evel az $u$ pontban. Ez azonban k\"onnyen
l\'athat\'o felhaszn\'alva, hogy
$\limm_{t\to0}y_j(u+t\tilde u)=y_j(u)$ minden $1\le j\le M$
indexre. Tov\'abb\'a ez a limesz akkor \'es csak akkor v\'egtelen,
ha l\'etezik olyan $j$ index, amelyre $p(k,j)>0$, \'es $y_j=0$.

\medskip
A m\'asik lemma, amely hasznos lesz az
egy v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'eben az \'ugynevezett Kuhn--Tucker
t\'etelnek egy speci\'alis \'es egyszer\H{u}bben bizony\'{\i}that\'o
esete. A Kuhn--Tucker t\'etel a konvex programoz\'as egyik alapvet\H{o}
eredm\'enye. B\'ar a Kuhn--Tucker t\'etel \'altal\'anos alakj\'ara
nem lesz sz\"uks\'eg\"unk, r\"oviden, bizony\'{\i}t\'as n\'elk\"ul
ismertetni fogom ezt az eredm\'enyt is. A bizony\'{\i}t\'as
megtal\'alhat\'o p\'eld\'aul Ji\u{r}\'{\i} Matou\u{s}ek \'es Bernd
G\"artner {\it Understanding and Using Linear Programming}\/
c\'{\i}m\H{u} k\"onyv\'eben (Proposition 8.7.2). Bizony\'{\i}tani 
csak a k\"ovetkez\H{o} eredm\'enyt fogom.

\medskip\noindent
{\bf A Kuhn--Tucker t\'etel egy speci\'alis esete.} {\it Legyen
adva egy folytonos \'es kon\-k\'av $F(u_1,\dots,u_M)$
f\"ugg\-v\'eny az
$A=\{(u_1,\dots,u_M)\colon\; u_i\ge0,\;1\le i\le M\}$ halmazon,
amelyre a $\frac{\partial F}{\partial u_k}$ parci\'alis
de\-ri\-v\'alt l\'etezik \'es folytonos az
$A_k=\{(u_1,\dots,u_M)\colon\; u_i\ge0,\;1\le i\le M,\text{ \'es }u_k>0\}$
halmazon minden $1\le k\le M$ indexre, tov\'abb\'a l\'etezik a
$\frac{\partial F}{\partial u_k}$ parci\'alis de\-ri\-v\'alt
ir\'anymenti hat\'ar\'ert\'eke azon  $u=(u_1,\dots,u_M)\in A$
pontokban is, amelyekre $u_k=0$. Defini\'aljuk a
$\frac{\partial F}{\partial u_k}$ parci\'alis de\-ri\-v\'al\-tat
ezekben a pontokban, mint ezt az ir\'anymenti deriv\'altat, \'es 
keress\"uk az $F(u_1,\dots,u_M)$ f\"uggv\'eny maximum\'at a 
$\summ_{i=1}^Mu_i=1$ felt\'etel mellett, azaz az $A\cap B$ halmazon, 
ahol $B=\{(u_1,\dots,u_M)\colon\;\summ_{i=1}^Mu_i=1\}$. Egy
$\bar u=(\bar u_1,\dots,\bar u_M)$, $\bar u\in A\cap B$,
vektor akkor \'es csak akkor megold\'asa ennek a
sz\'els\H{o}\'ert\'ek feladatnak, ha l\'etezik olyan $D<\infty$
konstans, amelyre $\frac{\partial F}{\partial u_i}(\bar u)\le D$
minden $1\le i\le M$ indexre, \'es ebben a rel\'aci\'oban
egyenl\H{o}s\'eg \'all azon $i$ indexekre, amelyekre $\bar u_i>0$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.} Legyen $\bar u=(\bar u_1,\dots,\bar u_M)$
a sz\'els\H{o}\'ert\'ek feladat megold\'asa. V\'alasszuk ki e
vektor k\'et $\bar u_i$ \'es $\bar u_j$ koordin\'at\'at \'ugy,
 hogy $\bar u_i>0$. Jel\"olje $u(i,j)$ azt az $M$-dimenzi\'os
vektort, amelynek az $i$-ik koordin\'at\'aja $-1$, a $j$-ik
koordin\'at\'aja 1, \'es az \"osszes t\"obbi koordin\'at\'aja 0.
Ekkor az $\bar u(\vartheta)=\bar u+\vartheta u(i,j)$
vektorra $\bar u(\vartheta)\in A\cap B$, s\H{o}t 
$\bar u(\vartheta)\in A_i\cap A_j\cap B$, ha a $\vartheta>0$
sz\'am el\'eg kicsi. Innen azt kapjuk, hogy a
$g(\vartheta)=\frac{F(\bar u(\vartheta))-F(\bar u)}{\vartheta}$
f\"uggv\'eny kis $\vartheta>0$ param\'eterrel teljes\'{\i}ti a
$$
0\ge g(\vartheta)=\frac{dF(u(\vartheta))}{d\vartheta}(\vartheta')
=\(-\frac{\partial F}{\partial u_i}(\bar u+\vartheta'\bar u(i,j))+
\frac{\partial F}{\partial u_j}(\bar u+\vartheta'\bar u(i,j))\)
$$
rel\'aci\'ot alkalmas $0<\vartheta'<\vartheta$ sz\'ammal.
A $\vartheta\to0$ hat\'ar\'atmenetet alkalmazva ebben a k\'epletben
azt kapjuk, hogy $\frac{\partial F}{\partial u_j}(\bar u)
\le\frac{\partial F}{\partial u_i}(\bar u)$. Legyen
$D=\frac{\partial F}{\partial u_i}(\bar u)$. Ekkor
$\frac{\partial F}{\partial u_j}(\bar u)\le D$ minden $1\le j\le M$
indexre. De mivel a fenti \'ervel\'esben tetsz\H{o}leges olyan
$i$ indexet v\'alaszthatunk, amelyre $\bar u_i>0$ innen az is
k\"ovetkezik, hogy
$D=\frac{\partial F}{\partial u_i}(\bar u)$ minden olyan $i$ indexre,
amelyre $\bar u_i>0$.

Megford\'{\i}tva, legyen $\bar u=(\bar u_1,\dots,\bar u_M)\in A\cap B$
olyan vektor, amelyikre l\'etezik olyan $D<\infty$ sz\'am, amelyre
$\frac{\partial F}{\partial u_i}(\bar u)\le D$ minden $1\le i\le M$
indexre, \'es ebben a rel\'aci\'oban egyenl\H{o}s\'eg van azon $i$
indexekre, amelyekre $\bar u_i>0$. Ekkor, mivel $F$ konk\'av
f\"uggv\'eny
$$
F(\vartheta u+(1-\vartheta)\bar u)
\ge\vartheta F(u)+(1-\vartheta)F(\bar u)
$$
minden $u\in A\cap B$ vektorra \'es $0\le \vartheta\le 1$ sz\'amra,
ami \'ugy is \'{\i}rhat\'o, hogy
$$
\frac{F(\bar u+\vartheta(u-\bar u))-F(\bar u)}\vartheta
\ge F(u)-F(\bar u).
$$
M\'asr\'eszt,
az $\bar F(s)=F(\bar u+s(u-\bar u))$, $0\le s\le1$, f\"uggv\'eny
seg\'{\i}ts\'eg\'evel azt \'{\i}rhatjuk, hogy
$$
\frac{F(\bar u+\vartheta(u-\bar u))-F(\bar u)}\vartheta
=\frac1\vartheta\int_0^\vartheta\frac{d\bar F(s)}{ds}\,ds
=\frac1\vartheta\int_0^\vartheta\sum_{i=1}^M
\frac{\partial F}{\partial u_i}(\bar u+s(u-\bar u))(u_i-\bar u_i)\,ds.
$$
Innen $\vartheta\to0$ hat\'ar\'atmenettel kapjuk felhaszn\'alva
$\frac{\partial F}{\partial u_k}$ parci\'alis deriv\'altak folytonoss\'agi
tulajdons\'agait az $\bar u$ pontban, hogy
$$
\sum_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)
\ge F(u)-F(\bar u).
$$
Azt \'all\'{\i}tom, hogy
$\summ_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)\le0$.
Val\'oban, abban a speci\'alis esetben, amikor
$\frac{\partial F}{\partial u_i}(\bar u)= D$ minden $1\le i\le M$
indexre ez a rel\'aci\'o egyenl\H{o}s\'eggel is \'erv\'enyes,
mert $\summ_{i=1}^M\bar u_i=\summ_{i=1}^M u_i=1$ az $u\in B$ \'es
$\bar u\in B$ felt\'etel miatt. A
$\frac{\partial F}{\partial u_i}(\bar u)<D$ szigor\'u
egyenl\H{o}tlens\'eg csak olyan $i$ indexekre \'erv\'enyes, amelyekre
$\bar u_i=0$. Ezenk\'{\i}v\"ul $u_i\ge0$ az $u\in A$ rel\'aci\'o
miatt, ez\'ert ebben az esetben
$\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)\le D(u_i-\bar u_i)$.
Innen
$\summ_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)
\le\summ_{i=1}^M D(u_i-\bar u_i)=0$, amint \'all\'{\i}tottam.
Azt kaptuk, hogy $F(u)-F(\bar u)\le0$ minden $u\in A\cap B$ vektorra,
teh\'at a $\bar u$ pont a vizsg\'alt sz\'els\H{o}\'ert\'ek feladat
megold\'asa. A t\'etelt bel\'attuk.

\medskip
Megfogalmazom a Kuhn--Tucker t\'etel eredeti alakj\'at.

\medskip\noindent
{\bf Kuhn--Tucker t\'etel.} {\it Tekints\"uk a
$$
\gather
\min f(x_1,\dots,x_N)\\
Ax^*=b  \\
x_i\ge0 \text{ minden } 1\le i\le N \text{ indexre}
\endgather
$$
optimaliz\'aci\'os feladatot, ahol $f(x_1,\dots,x_N)$ egy
minden\"utt differenci\'alhat\'o, konvex f\"ugg\-v\'eny,
$b=(b_1,\dots,b_M)\in R^M$, $A$ egy $N\times M$ m\'eret\H{u}
m\'atrix, $x^*$ az $x$ vektor transzpon\'altj\'at jel\"oli,
\'es $x=(x_1,\dots,x_N)$. Egy
$\bar x=(\bar x_1,\dots,\bar x_N)\in R^N$, $x_i\ge0$,
$1\le i\le N$, $A\bar x^*=b$, vektor akkor \'es csak akkor
megold\'asa ennek az optimaliz\'aci\'os feladatnak, ha
l\'etezik olyan $m=(m_1,\dots,m_M)\in R^M$ vektor, amelyre
$$
\frac{\partial f}{\partial x_j}(\bar x_1,\dots,\bar x_N)+ (m, a_j)
\;\;\left\{ \aligned
&=0 \quad \text{ha }\bar x_j>0\\
&\ge0 \quad \text{ha }x_j=0,
\endaligned \right.
$$
ahol $a_j$ az $A$ m\'atix $j$-ik oszlop\'at, \'es $(x,y)$ az
$x$ \'es $y$ vektorok skal\'arszorzat\'at jel\"oli.}

\medskip
Az el\H{o}z\H{o}leg t\'argyalt konk\'av f\"uggv\'eny
maximaliz\'aci\'os probl\'em\'aja \'atfogalmazhat\'o ilyen
konvex optimaliz\'aci\'os probl\'em\'av\'a $-1$-gyel val\'o
szorz\'as seg\'{\i}ts\'eg\'evel. Az optimaliz\'aci\'o ott
kimondott felt\'etele is \'atfogalmazhat\'o az e t\'etelben
kimondott alakra. Ebben az esetben az $1\times N$ m\'eret\H{u}
$A$ m\'atrix szerep\'et a csupa 1 sz\'amot tartalmaz\'o
vektor j\'atssza, \'es az 1 dimenzi\'os $m$ vektor $-D$-vel
egyenl\H{o}, a t\'etelben szerel\H{o} $D$ sz\'ammal. Az e
jegy\-zet\-ben bizony\'{\i}tott t\'etel, --- ha eltekint\"unk
az $F$ f\"uggv\'enyre tett simas\'agi felt\'etelekt\H{o}l --- a
Kuhn--Tucker t\'etel speci\'alis eset\'enek tekinthet\H{o}
ezzel a szereposzt\'assal.

A Kuhn--Tucker t\'etel l\'enyeges \'ujdons\'aga az \'altalunk
t\'argyalt eredm\'enyhez k\'epest az, hogy t\"obb
line\'aris felt\'etel megk\"ovetel\'ese eset\'en is jellemzi az
optim\'alis meg\-ol\-d\'a\-so\-kat. A bizony\'{\i}t\'as
l\'enyegesen \'uj gondolatok
felhaszn\'al\'as\'at ig\'enyelte. A t\'etel
igazol\'as\'anak f\H{o} neh\'ezs\'ege a benne szerepl\H{o}
felt\'etel sz\"uk\-s\'e\-ges\-s\'e\-g\'e\-nek, vagyis annak a
t\'enynek a bizony\'{\i}t\'asa, hogy ha egy
$x=(x_1,\dots,x_N)$ vektor megold\'asa a minimum feladatnak,
akkor az teljes\'{\i}ti a megadott egyen\-l\H{o}\-s\'e\-gek\-b\H{o}l
\'es egyen\-l\H{o}t\-len\-s\'e\-gek\-b\H{o}l \'all\'o felt\'etelt.
K\"ul\"on\"osen fontos a felt\'etelben szerepl\H{o} $m$
vektor megtal\'al\'asa. Ezt meg lehet tenni a line\'aris
prog\-ra\-mo\-z\'as dualit\'as t\'etel\'enek a seg\'{\i}ts\'eg\'evel.
Az eredeti optimaliz\'aci\'os feladat megold\'asa teljes\'{\i}t
egy line\'aris optimaliz\'aci\'os feladatot (implicit
m\'odon defini\'alt egy\"utthat\'okkal), \'es az $m$ vektor
e line\'aris programoz\'asi feladat du\'alj\'anak a megold\'asa.

Maga a Kuhn--Tucker t\'etel jellege hasonl\'{\i}t a
Lagrange-f\'ele multiplik\'ator m\'od\-szer\-re. A l\'enyeges
k\"ul\"onbs\'eg a k\'et eredm\'eny k\"oz\"ott az, hogy a
Kuhn--Tucker t\'etel az nemcsak sz\"uks\'eges, hanem
el\'egs\'eges felt\'etel\'et is ad arra, hogy egy vektor
az optim\'aliz\'aci\'os feladat megold\'asa legyen, \'es az
optimum keres\'esekor a tartom\'any hat\'arpontjait is
figyelembe veszi. Ennek viszont az az \'ara, hogy csak
viszonylag speci\'alis probl\'em\'akat lehet ezzel a
m\'odszerrel vizsg\'alni. \'Igy p\'eld\'aul a probl\'em\'aban
szerepl\H{o} k\'enyszer felt\'etelek line\'arisak.

Az el\H{o}z\H{o}leg igazolt eredm\'enyek seg\'{\i}tenek az
al\'abbi bizony\'{\i}t\'asban.

\medskip\noindent
{\it A v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'er\H{o}l sz\'ol\'o t\'etel
bi\-zo\-ny\'{\i}\-t\'a\-sa.} Ha egy a a csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'ar
$p(v_i)=P(\eta=v_i)$ val\'osz\'{\i}n\H{u}s\'egeit az
egy f\"uggv\'eny konk\'avit\'as\'ar\'ol sz\'ol\'o lemm\'aban
szerepl\H{o} $u_i$, a csatorna $p(\vv_j|v_i)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit az e lemm\'aban
szerepl\H{o} $p(i,j)$ sz\'amokkal azo\-no\-s\'{\i}t\-juk, akkor
$q(\vv_j)=P(\eeta=\vv_j)=y_j$ a szint\'en e lemm\'aban
szerepl\H{o} $y_j$ sz\'amokkal. Tov\'abb\'a, ha $\eta$ \'es
$\eeta$ k\'et a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, \'es $P(\eta=v_i)=u_i$,
$1\le i\le M$, akkor $I(\eta\wedge\eeta)=F(u_1,\dots,u_M)$ a
lemm\'aban defini\'alt $F(\cdot)$ f\"uggv\'ennyel. Ez\'ert
egy olyan $\eta,\eeta$ a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'ar eloszl\'as\'anak
a jellemz\'ese, amelyre $I(\eta\wedge\eeta)=C$, ahol $C$ a
csatorna kapacit\'asa, ekvivalens azzal a feladattal, hogy
tal\'aljuk meg a lemm\'aban defini\'alt (konk\'av)
$F(u_1,\dots,u_M)$, $u_i\ge0$, $1\le i\le M$, f\"uggv\'eny
maximum\'at a $\summ_{i=1}^Mu_i=1$ k\'enyszerfelt\'etel
mellett. E feladatban egy folytonos f\"uggv\'eny maximum\'at
keress\"uk egy kompakt halmazon, teh\'at ez a maximum l\'etezik.

A keresett maximum megtal\'al\'asa \'erdek\'eben
alkalmazhatjuk a {\it A Kuhn--Tucker t\'etel egy speci\'alis
ese\-te}\/ n\'even megfogalmazott \'all\'{\i}t\'ast, mert a
minket \'erdekl\H{o} feladatban e t\'etel felt\'etelei
teljes\"ulnek. Tov\'abb\'a a (3.2) formul\'aban kisz\'amoltuk a
$\frac{\partial F}{\partial u_k}$ parci\'alis deriv\'altakat. E
k\'eplet \'es az el\H{o}bb eml\'{\i}tett t\'etel azt adj\'ak,
hogy egy a csatorn\'aval \"osszekapcsolt $\eta,\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'arra akkor \'es csak
akkor teljes\"ul az $I(\eta\wedge\eeta)=C$ rel\'aci\'o, ha az
$\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$q(\vv_j)=P(\eta=v_j)$, $1\le j\le N$, eloszl\'asa teljes\'{\i}ti a
$$ \allowdisplaybreaks
\aligned
\summ_{j=1}^N p(\vv_j|v_k)\log\frac{p(\vv_j|v_k)}{q(\vv_j)}&=D,
\quad\text{ha } p(v_k)>0,\\
\summ_{j=1}^N p(\vv_j|v_k)\log\frac{p(\vv_j|v_k)}{q(\vv_j)}&\le D,
\quad\text{ha } p(v_k)=0  
\endaligned \tag3.3
$$
rel\'aci\'ot valamilyen $D<\infty$ sz\'ammal minden $1\le k\le M$
indexre. (A (3.3) formul\'aban szerepl\H{o} \"osszegek \'ugy
\'ertend\H{o}ek, hogy  
$p(\vv_j|v_k)\log\frac{p(\vv_j|v_k)}{q(\vv_j)}=0$, ha $p(\vv_j|v_k)=0$.)
A $k$-ik egyenletet vagy egyenl\H{o}tlens\'eget megszorozva
$p(v_k)$-val egyenl\H{o}s\'eget kapunk minden $k$ indexre. Ezeket
\"osszeadva azt kapjuk, hogy
$$
\summ_{k=1}^M\summ_{j=1}^N r(v_k,\vv_j)
\log\frac{p(\vv_j|v_k)}{q(\vv_j)}=D,
$$
ahol $r(v_k,\vv_j)=P(\eta=v_k,\eeta=\vv_j)$, $1\le k\le M$,
$1\le j\le N$. Ennek az egyenletnek a baloldala egyenl\H{o}
az $I(\eta\wedge\eeta)=C$ sz\'ammal. Teh\'at egy a csatorn\'aval
\"osszekapcsolt $\eta,\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
p\'arra akkor \'es csak akkor \'erv\'enyes az $I(\eta\wedge\eeta)=C$
rel\'aci\'o, ha az $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$q(\vv_j)=P(\eeta=\vv_j)$, $1\le j\le M$, eloszl\'asa teljes\'{\i}ti
a (3.3) rel\'aci\'ot a $D=C$ sz\'ammal. A t\'etelt bel\'attuk.

\medskip
Megfogalmazok egy lemm\'at, amely seg\'{\i}t a csatorna k\'odol\'asi
t\'etel megford\'{\i}t\'as\'anak a bizony\'{\i}t\'as\'aban.

\medskip\noindent
{\bf Fels\H{o} becsl\'es egy $\lambda$ megk\"ul\"onb\"oztethet\H{o}
ele\-me\-ket tartalmaz\'o halmaz elem\-sz\'a\-m\'a\-r\'ol.}
{\it Legyen adva adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. Legyen $\eta$ \'es $\eeta$ k\'et e
csatorn\'aval \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o. Vezess\"uk be a $q(\vv_j)=P(\eeta=\vv_j)$,
$\vv_j\in\VV$, val\'osz\'{\i}n\H{u}s\'egeket \'es az
$$
A(v_i)=\left\{\vv_j\colon\; \vv_j\in\VV, \;\;
\frac{p(\vv_j|v_i)}{q(\vv_j)}\ge2^{\vartheta}\right\},
\quad v_i\in V,
$$
halmazokat egy alkalmasan v\'alasztott $\vartheta$ param\'eterrel.
Tegy\"uk fel, hogy teljes\"ul a
$$
P(\eeta\in A(v_i)|\eta=v_i)
=\sum_{\vv_j\colon\; p(\vv_j|v_i)\ge2^\vartheta q(\vv_j)}p((\vv_j|v_i)
\le\gamma   \tag3.4
$$
egyenl\H{o}tlens\'eg valamely $\gamma<1$ sz\'ammal minden
$v_i\in V$ pontra. Legyen $\gamma+\lambda<1$ valamely
$\lambda>0$ sz\'ammal. Ekkor tetsz\H{o}leges
$A=\{v_{i_1},\dots,v_{i_N}\}\subset V$ $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} pontokb\'ol \'all\'o
halmaz $N$ elemsz\'am\'ara
$N\le\frac{2^\vartheta}{1-\lambda-\gamma}$.}

\medskip\noindent
{\it 1.~megjegyz\'es.}\/ A (3.4) formul\'aban szerepl\H{o}
felt\'eteles val\'osz\'{\i}n\H{u}s\'eget az ott fel\'{\i}rt
\"osszeg\-k\'ent defini\'aljuk abban az esetben is, ha
$P(\eta=v_i)=0$. Az $A(v_i)$ halmaz definici\'oj\'aban nem
egy\'ertelm\H{u}, hogy azok a $\vv_j\in\VV$ pontok, amelyekre
mind a $p(\vv_j|v_i)=0$ mind a $q(\vv_j)=0$ azonoss\'ag teljes\"ul
beletartoznak-e az $A(v_i)$ halmazba. Ennek azonban nincs 
jelent\H{o}s\'ege, mert az ilyen $\vv_j$ pontok hozad\'eka nulla
a (3.4) k\'epletben szerepl\H{o} \"osszegben. K\'enyelmi okokb\'ol
azt fogom felt\'etelezni, hogy az ilyen pontok nincsenek benne
az $A(v_i)$ halmazban.

\medskip\noindent
{\it 2.~megjegyz\'es.}\/ Mind a csatorna k\'odol\'asi t\'etelben
tekintett\"unk egy a csatorn\'aval \"ossze\-kap\-csolt $(\eta,\eeta)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'art. A csatorna k\'odol\'asi
t\'etelben olyan $(v_i,A(v_i))$, $v_i\in V$, $A(v_i)\subset\VV$
p\'arokat kerest\"unk, amelyekre 
$A(v_i)=A(v_i,\vartheta)
=\{\vv_j\colon\;\frac{q(\vv_j)}{p(\vv_j|v_i)}\le2^{\vartheta}\}$
egy kis $\vartheta$ sz\'ammal, \'es a $P(\eeta\in A(v_i)|\eta=v_i)$
felt\'eteles val\'osz\'{\i}n\H{u}s\'eg nagy. \'Igy tudtunk ugyanis
olyan $(v_i,B_i)$ p\'arokat tal\'alni alkalmas, (diszjunkt) 
$B_i\subset A(v_i)$ halmazokkal, amelyekre 
$P(\eeta\in B_i|\eta=v_i)\ge1-\lambda$, \'es a $B_i$ halmazok kicsik 
abban az \'ertelemben, hogy a $P(\eeta\in B_i)$ 
val\'osz\'{\i}n\H{u}s\'egek kicsik. A fenti, a csatorna k\'odol\'asi 
t\'etelt el\H{o}k\'esz\'{\i}t\H{o} eredm\'enyben azt \'all\'{\i}tjuk, 
hogy ha egy ellenkez\H{o} \'{\i}r\'any\'u tu\-laj\-don\-s\'ag 
\'erv\'enyes, nevezetesen, ha a 
$P(\eeta\in A(v_i,\vartheta)|\eta=v_i)$
felt\'eteles val\'osz\'{\i}n\H{u}s\'egek kicsik {\it minden}\/
$v_i\in V$ felt\'etel eset\'en m\'eg viszonylag nagy $\vartheta$
sz\'amokra is, akkor csak viszonylag kev\'es
$\lambda$ megk\"ul\"onb\"oztethet\H{o} $v_i\in V$ elem l\'etezik.
(Ez az \'all\'{\i}t\'as kiss\'e elt\'er\H{o}, de ekvivalens
form\'aban van megfogalmazva a fenti eredm\'enyben.) Ennek oka, 
mint a bizony\'{\i}t\'asb\'ol l\'atsz\'odni fog, az, hogy ebben 
az esetben minden olyan $B\subset \VV$ halmazra, amelyre
$P(\eeta\in B|\eta=v_i)>1-\lambda$, a
$P(\eeta\in B)$ val\'osz\'{\i}n\H{u}s\'eg is nagy.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Adva egy
$A=\{v_{i_1},\dots,v_{i_N}\}\subset V$ $\lambda$
megk\"ul\"onb\"oztethet\H{o} pontokb\'ol \'all\'o halmaz
v\'alasszunk olyan $B_1\in \VV$,\dots, $B_N\in \VV$ diszjunkt
halmazokat, amelyekre
$P(\eeta\in B_k|\eta=v_{i_k})\ge1-\lambda$ minden $1\le k\le N$
indexre. Ekkor
$$
\align
1-\lambda-\gamma&\le
P(\eeta\in B_k\setminus A(v_{i_k})|\eta=v_{i_k})
=\summ_{\vv_j\colon\; \vv_j\in B_k, \, p(\vv_j|v_{i_k})
\le 2^\vartheta q(\vv_j)} p(\vv_j|v_{i_k}) \\
&\le 2^\vartheta\summ_{\vv_j\colon\; \vv_j\in B_k,\, p(\vv_j|v_{i_k})
\le 2^\vartheta q(\vv_j)} q(\vv_j)
=2^\vartheta P(\eeta\in B_k\setminus A(v_{i_k}))
\le 2^\vartheta P(\eeta\in B_k)
\endalign
$$
minden $1\le k\le N$ indexre. \"Osszegezve ezeket az
egyenl\H{o}tlens\'egeket minden $1\le k\le N$ indexre \'es
felhaszn\'alva, hogy a $B_k$ halmazok diszjunktak azt kapjuk, hogy
$$
N(1-\lambda-\gamma)\le 2^\vartheta.
$$
A lemm\'at bel\'attuk.

\medskip\noindent
{\it A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak a
bizony\'{\i}t\'asa.}\/ Legyen $\eta'$ \'es $\eeta'$ k\'et olyan
az eml\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit meghat\'aroz\'o
csatorn\'aval \"osszek\"ot\"ott val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, amelyekre $I(\eta'\wedge\eeta')=C$, ahol $C$
ennek a csatorn\'anak a csatorna kapacit\'asa. Legyen
$(\eta_1,\eeta_1),\dots,(\eta_n,\eeta_n)$ az $(\eta',\eeta')$
v\'eleten vektorral azonos eloszl\'as\'u, f\"uggetlen v\'eletlen
vektorok sorozata. Vezess\"uk be az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
jel\"ol\'est. A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak
a bizony\'{\i}t\'as\'aban az el\H{o}bb bizony\'{\i}tott {\it 
fels\H{o} becsl\'es} eredm\'eny\'et fogom alkalmazni {\it egy 
$\lambda$ meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} ele\-me\-ket 
tartalmaz\'o halmaz elem\-sz\'a\-m\'a\-r\'ol} az $\eta,\eeta$ 
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'arra 
$\vartheta=Cn+K\frac{\sqrt n}{\sqrt{1-\lambda}}$ param\'eterrel,
ahol $K$ egy a csatorn\'at\'ol f\"ugg\H{o} el\'eg nagy sz\'am. Ehhez
jogunk van, mert az $\eta$ \'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok \"ossze vannak kapcsolva az eml\'ekezet n\'elk\"uli
csatorn\'aval.

Ezen becsl\'es alapj\'an a csatorna k\'odol\'asi t\'etel
megford\'{\i}t\'as\'anak a bizony\'{\i}t\'as\'ahoz el\'eg
megmutatni, hogy
$$
P((\eeta_1,\dots,\eeta_n)\in A((v_{i_1},\dots,v_{i_n}))|
\eta_1=v_{i_1},\dots,\eta_n=v_{i_n})
\le\frac{1-\lambda}2 \tag3.5
$$
minden $(v_{i_1},\dots,v_{i_n})\in V^n$ vektorra, ahol
$$
\align
&A((v_{i_1},\dots,v_{i_n})) \\
&\qquad=\left\{(\vv_{j_1},\dots,\vv_{j_n})
\colon\; (\vv_{j_1},\dots,\vv_{j_n})\in\VV^n, \;
\frac{\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})}
{\prodd_{k=1}^n q(\vv_{j_k})}
\ge2^{Cn+K\sqrt n/\sqrt{1-\lambda}}\right\},
\endalign
$$
egy el\'eg nagy $K>0$ konstanssal, mely k\'epletben
$p(\vv_j|v_i)$ jel\"oli az eml\'ekezet n\'elk\"uli
csatorn\'at meghat\'aroz\'o  csatorna
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-it,
\'es $q(\vv_j)=P(\eeta'=\vv_j)$. Ugyan\-is, ha ez az
egyenl\H{o}tlens\'eg igaz, akkor az el\H{o}bb
eml\'{\i}tett fels\H{o} becsl\'es
$\vartheta=Cn+K\frac{\sqrt n}{\sqrt{1-\lambda}}$ \'es
$\gamma=\frac{1-\lambda}2$ szereposzt\'assal
a t\'etelben megfogalmazott eredm\'enyt szolg\'altatja.

A bizony\'{\i}tand\'o egyenl\H{o}tlens\'egnek megadjuk egy
jobban vizsg\'alhat\'o, ekvivalens \'atfogalmaz\'as\'at. Ennek
\'erdek\'eben 
r\"ogz\'{\i}t\"unk valamilyen $v_{i_1}\in V$,\dots, $v_{i_n}\in V$
pontokat, \'es olyan $\zeta_1(v_{i_1})$,\dots,
$\zeta_n(v_{i_n})$ f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat defini\'alunk, amelyekre a $\zeta_k(v_{i_k})$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eloszl\'as\'at
a $P(\zeta_k(v_{i_k})=\vv_j)=p(\vv_j|v_{i_k})$,
$\vv_j\in\VV$, k\'eplet adja meg minden $1\le k\le n$ indexre.
Mivel $P((\zeta_1(v_{i_1}),\dots,\zeta_n(v_{i_n}))=
(\tilde v_{j_1},\dots,\tilde v_{j_k}))=
P((\eeta_1,\dots,\eeta_n)=(\tilde v_{j_1},\dots,\tilde v_{j_n}))|
\eta_1=v_{i_1},\dots,\eta_n=v_{i_n})$ minden 
$(\tilde v_{j_1},\dots,\tilde v_{j_n})$ vektorra
ezzel a jel\"ol\'essel a (3.5) egyenl\H{o}tlens\'eg a 
k\"ovetkez\H{\o} alakban \'{\i}rhat\'o:
$$
P\(\prod_{i=1}^n \frac
{p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
\ge 2^{ Cn+K\sqrt n/\sqrt{1-\lambda}}\)
\le \frac{1-\lambda}2. 
$$
Az utols\'o formul\'aban a val\'osz\'{\i}n\H{u}s\'egen 
bel\"ul logaritmust v\'eve azt kapjuk, hogy a
$$
P\(\summ_{i=1}^n \log\frac
{p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
\ge Cn+\frac{K\sqrt n}{\sqrt{1-\lambda}}\)
\le \frac{1-\lambda}2 \tag3.6
$$
egyenl\H{o}tlens\'eget kell bizony\'{\i}tanunk minden 
$(v_{i_1},\dots,v_{i_n})\in V^n$ vektorra.

Vegy\"uk \'eszre, hogy a (3.6) formula szumm\'aj\'aban
szerepl\H{o} tagok v\'arhat\'o \'ert\'eke
$$
E\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}=
\sum_{j=1}^n p(\vv_j|v_{i_k})\log \frac{p(\vv_j|v_{i_k})}{q(\vv_j)}.
$$
Tov\'abb\'a, mivel $I(\eta'\wedge\eeta')=C$, ahol $C$ az eml\'ekezet
n\'elk\"uli csatorn\'at meghat\'aroz\'o csatorna csatorna
kapacit\'asa, ezt az egyenletet \"osszehasonl\'{\i}tva a
{\it lemma az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol}
eredm\'eny\'eben szerepl\H{o} (3.1) k\'eplettel azt kapjuk,
hogy a tekintett v\'arhat\'o \'ert\'ek kisebb vagy egyenl\H{o},
mint $C$, \'es a $C$ sz\'ammal egyenl\H{o} azon
$v_{i_k}\in V$ pontokra, amelyekre
$P(\eta'=v_{i_k})>0$. Tov\'abb\'a l\'etezik olyan $D<\infty$
konstans, amelyre
$$
E\(\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}
{q(\zeta_k(v_{i_k}))}\)^2
=\sum_{j=1}^n p(\vv_j|v_{i_k})\(\log \frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\)^2
\le D \quad \text{minden $v_i\in V$ pontra},
$$
mert a fenti kifejez\'esben egy olyan v\'eges tagsz\'am\'u 
\"osszeg szerepel, amelynek mindegyik tagja v\'eges. (Tud\-juk, 
hogy ha $p(\vv_j|v_i)>0$, akkor $q(\vv_j)>0$, \'es csak v\'eges sok 
k\"ul\"onb\"oz\H{o} \"osszeget kell tekinten\"unk.)

A most bizony\'{\i}tott \"osszef\"ugg\'esek \'es a Csebisev
egyenl\H{o}tlens\'eg a k\"ovetkez\H{o} becsl\'est adj\'ak
(3.6) k\'epletben szerepl\H{o} f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \"osszeg\'enek az
eloszl\'as\'ara.
$$
\align
&P\(\summ_{i=1}^n \log\frac
{p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
\ge Cn+\frac{K\sqrt n}{\sqrt{1-\lambda}}\) \\
&\qquad \le P\(\summ_{i=1}^n
\(\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
-E\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}\)
\ge \frac{K\sqrt n}{\sqrt{1-\lambda}}\) \\
&\qquad\le \frac{Dn(1-\lambda)}{K^2n}
\le \frac{1-\lambda}2,
\endalign
$$
ha a $K$ konstanst el\'eg nagynak ($K^2>2D$) v\'alasztjuk. \'Igy a
(3.6)~formul\'at, \'es ezzel a t\'etelt is bebizony\'{\i}tottuk.

\medskip
\'Erdemes lehet heurisztikus szinten \'attekinteni, hogy milyen
gondolatokra \'ep\"ul a csatorna k\'odol\'asi t\'etelnek illetve e
t\'etel megford\'{\i}t\'as\'anak a bizony\'{\i}t\'asa.

Legyen $(\eta,\eeta)$ olyan a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'ar, amely\-re
$I(\eta\wedge\eeta)=C$, ahol $C$ a csatorna kapacit\'asa,
vagy ha ilyen p\'ar nincs akkor az $I(\eta\wedge\eeta)$ sz\'am
nagyon k\"ozel van ehhez a $C$ \'ert\'ekhez. Annak
bizony\'{\i}t\'asa, hogy alkalmas felt\'etelek mellett mind
a k\'et t\'etel \'erv\'enyes azon \'all\'{\i}t\'as igazol\'as\'an
alapul, hogy egy $n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli
csatorn\'aban az
$$
A(v)=\left\{\vv=(\vv_{j_1},\dots,\vv_{j_n})\in\VV_n\colon\;
\prodd_{k=1}^n\frac{p(\vv_{j_k}|v_{i_k})}{q(\vv_{j_k})}
\sim 2^{Cn}\right\}
$$
halmaz teljes\'{\i}ti a
$P((\eeta_1,\dots,\eeta_n)\in A(v)|(\eta_1,\dots,\eta_n)=v)\sim1$
rel\'aci\'ot tipikus  $v=(v_{i_1},\dots,v_{i_n})\in V^n$ pontokban,
ahol $(\eta_1,\eeta_1)$,\dots, $(\eta_n,\eeta_n)$ az $(\eta,\eeta)$
p\'arral azonos el\-osz\-l\'a\-s\'u, f\"uggetlen v\'eletlen vektorok
sorozata, \'es $q(\vv_j)=P(\eeta=\vv_j)$. (A csatorna k\'odol\'asi
t\'etel bizony\'{\i}t\'as\'aban a $\sim2^{Cn}$ kifejez\'es helyett 
$\ge2^{Cn(1+0(1))}$-t, a csatorna k\'odol\'asi t\'etel 
megford\'{\i}t\'as\'anak a bizony\'{\i}t\'as\'aban pedig 
$\le2^{Cn(1+o(1))}$-et \'erdemes \'{\i}rni az $A(v)$ halmaz 
definici\'oj\'aban.) A most haszn\'alt `tipikus' kifejez\'es els\H{o}
k\"ozel\'{\i}t\'esben azt jelenti, hogy a rel\'aci\'o igaz a
$v=(v_{i_1},\dots,v_{i_n})\in V^n$ vektorok majdnem egy
val\'osz\'{\i}n\H{u}s\'egi halmaz\'ara azon
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek szerint, amelyet az
$(\eta_1,\dots,\eta_n)$ vektor eloszl\'asa hat\'aroz meg. A
bizony\'{\i}t\'as r\'eszletesebb vizsg\'alata sor\'an a `tipikus'
sz\'o jelent\'es\'et pontos\'{\i}tani kell. \'Erdemes
meg\-je\-gyez\-ni, hogy az $A(v)$ halmazra fel\'{\i}rt rel\'aci\'o
\'ugy is \'{\i}rhat\'o, hogy
$\summ_{k=1}^n\log \frac{p(\eeta_k|v_{i_k})}{q(\eeta_k)}\sim Cn$
majdnem val\'osz\'{\i}n\H{u}s\'eggel ha $(\eeta_1,\dots,\eeta_n)$
eloszl\'as\'at a
$P(\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n})
=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$ k\'eplet adja meg.
Tov\'abb\'a $E\log\frac
{p(\eeta_k|\eta_k)}{q(\eeta_k)}=I(\eta_k\wedge\eeta_k)=C$. Ez\'ert
az el\H{o}bb fel\'{\i}rt rel\'aci\'o olyan t\'enyt fejez ki, hogy
f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \"osszege k\"ozel
van az \"osszeg v\'arhat\'o \'ert\'ek\'ehez.

Az $A(v)$ halmazra megfogalmazott tulajdons\'ag egyik
k\"ovetkezm\'enye az, hogy egy tipikus $v\in V^n$ pontra
$$
\align
P((\eeta_1,\dots,\eeta_n))\in A(v))&=\sum_{\vv\in A(v)} q(\vv)
=\sum_{\vv\in A(v)} q(\vv)\frac{p(\vv|v)}{q(\vv)}
\frac{q(\vv)}{p(\vv|v)}\\
&\sim2^{-Cn}\sum_{\vv\in A(v)} q(\vv)\frac{p(\vv|v)}{q(\vv)}
=2^{-Cn}\sum_{\vv\in A(v)} p(\vv|v)\sim 2^{-Cn},
\endalign
$$
ahol $q(\vv)=\prodd_{k=1}^n q(\vv_{j_k})$, \'es
$p(\vv|v)=\prodd_{k=1}^n\frac{p(\vv_{j_k}|v_{i_k})}{q(\vv_{j_k}}$.
Ha egy olyan $B(v)\subset\VV^n$ halmazt keres\"unk egy $v\in V^n$
ponthoz, amelyre
$P((\eeta_1,\dots,\eeta_n)\in B(v)|(\eta_1,\dots,\eta_n)=v)
\ge1-\lambda$
valamely kis $\lambda>0$ sz\'amra, akkor a $B(v)$ halmaz az
el\H{o}bb defini\'alt $A(v)$ halmaz kis m\'odos\'{\i}t\'asa a
$P(\cdot|(\eta_1,\dots,\eta_n)=v)$ m\'ert\'ek szerint. S\H{o}t,
n\'eh\'any sz\'amunkra nem l\'enyeges felt\'etel teljes\"ul\'ese
eset\'en az is igaz, hogy az $A(v)$ halmazhoz hasonl\'oan a $B(v)$
halmaz  teljes\'{\i}ti a
$P((\eeta_1,\dots,\eeta_n))\in B(v))\sim 2^{-nC}$ rel\'aci\'ot.
Ez\'ert, ha olyan $(v^{(1)},B^{(1)})$,\dots, $(v^{(N)},B^{(N)})$,
$v^{(k)}\in V^n$, $B^{(k)}\subset\VV^n$, minden $1\le k\le N$ indexre,
p\'arokat keres\"unk, amelyekre
$P((\eeta_1,\dots,\eeta_n)\in B^{(k)}|(\eta_1,\dots,\eta_n)=v^{(k)})>
1-\lambda$
minden $k$ indexre, \'es a $B^{(k)}$ halmazok diszjunktak, akkor
legfeljebb $N=2^{Cn(1+o(1)})$ ilyen p\'art v\'alaszthatunk, \'es ezt
mondja ki a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'asa. A
csatorna k\'odol\'asi t\'etel viszont az \'all\'{\i}tja, hogy ennyi
$(v^{(k)},B^{(k)})$ p\'art ki is lehet v\'alasztani.

Term\'eszetesen, az el\H{o}bb v\'azolt gondolatmenetek pontos
kidolgoz\'asa az \'ervel\'es finom\'{\i}t\'as\'at ig\'enyli
t\"obb ponton. Ezek r\'eszleteit azonban itt nem t\'argyalom,
mert a m\'ar le\'{\i}rt bizony\'{\i}t\'as tartalmazza azokat.
Csak egy figyelemre m\'elt\'o r\'eszletet eml\'{\i}tek. A
csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'aban az $A(v)$
halmazokra fel\'{\i}rt aszimptotikus rel\'aci\'ot nem elegend\H{o}
csak `tipikus' $v\in V^n$ pontokra bel\'atni, azokat minden
$v\in V^n$ pontra igazolni kell. Ez okozza a f\H{o} neh\'ezs\'eget
e t\'etel bizony\'{\i}t\'as\'aban. E probl\'ema lek\"uzd\'es\'eben
a {\it v\'eges \'allapotter\H{u} csatorna optim\'alis bemenet\'enek
a jellemz\'es\'er\H{o}l} sz\'ol\'o t\'etel eredm\'enye seg\'{\i}t.
Ez teszi lehet\H{o}v\'e a vizsg\'aland\'o felt\'eteles
val\'osz\'{\i}n\H{u}s\'eg becsl\'es\'et minden $v\in V^n$
vektorra.

\medskip\noindent
{\bf 4. Kis hib\'aj\'u \'es viszonylag gyors inform\'aci\'o
tov\'abb\'{\i}t\'as a forr\'as \'es csatorna k\'o\-do\-l\'a\-si
t\'etel se\-g\'{\i}t\-s\'e\-g\'e\-vel.}

\medskip\noindent
E fejezetben a k\"ovetkez\H{o} probl\'em\'aval fogunk foglalkozni.
Legyen adva egy inform\'aci\'o forr\'as, azaz legyen adva egy
\'ert\'ekeit egy v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen $X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o}
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, \'es legyen
$\xi_1,\xi_2,\dots$ f\"uggetlen, \'es a $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
sorozata, amit inform\'aci\'o forr\'asnak fogunk nevezni.
Legyen ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan
csatorna hat\'aroz meg, amely valamely $V=\{v_1,v_2,\dots\}$
bemeneti jelek halmaz\'at \'atviszi kimeneti jelek valamely
$\VV=\{\vv_1,\vv_2,\dots\}$ halmaz\'aba, \'es $p(\vv_j|v_i)$
annak a felt\'eteles val\'osz\'{\i}n\H{u}s\'ege, hogy a csatorna
$\vv_j$ kimeneti jelet k\"ozli, felt\'eve, hogy a $v_i$ bemeneti 
jelet adtuk le. A
forr\'as jeleit akarjuk k\"oz\"olni a felhaszn\'al\'oval \'ugy,
hogy az (eml\'ekezet n\'elk\"uli) csatorn\'an leadjuk bemeneti
jelek egy sorozat\'at, aminek hat\'as\'ara a felhaszn\'al\'o
kimeneti jelek valamilyen sorozat\'at kapja, \'es ennek
alapj\'an pr\'ob\'alja rekonstru\'alni az inform\'aci\'o
forr\'as $\xi_1,\xi_2,\dots$ \'ert\'ekeit.

Tegy\"uk fel, hogy az inform\'aci\'o forr\'as $\xi_1,\xi_2,\dots$
jelei egys\'egnyi sebess\'eggel \'erkeznek, \'es mi is egys\'egnyi
sebess\'eggel tudjuk tov\'abb\'{\i}tani a $v_i$ jeleket a
csatorn\'an kereszt\"ul. Olyan m\'odszert
sze\-ret\-n\'enk kidolgozni, amely lehet\H{o}v\'e teszi, hogy
a felhaszn\'al\'o a forr\'as minden jel\'et $\e$-n\'al kisebb
hib\'aval rekonstru\'alni tudja, ahol $\e>0$ egy el\H{o}re
r\"ogz\'{\i}tett nagyon kicsi sz\'am. Emellett azt szeretn\'enk,
hogy a felhaszn\'al\'o minden jelet annak meg\'erkez\'ese ut\'an
v\'eges id\H{o}n bel\"ul megismerjen. Pontosabban megfogalmazva
azt k\"o\-ve\-tel\-j\"uk meg, hogy b\'armilyen nagy $n$ sz\'amra
a felhaszn\'al\'o az $n$-ik id\H{o}pontban ismerje az \"osszes
$1\le j\le n-K$ id\H{o}intervallumban leadott $\xi_j$ jelet, ahol
$K$ egy r\"ogz\'{\i}tett sz\'am, amely f\"ugghet az $\e$
hibakorl\'att\'ol, de nem f\"ugg az $n$ id\H{o}pontt\'ol.

A k\"ovetkez\H{o} k\'et a forr\'as \'es csatorna k\'odol\'asr\'ol
sz\'ol\'o  eredm\'enyeken alapul\'o t\'etelben azt mutatom meg,
hogy ilyen inform\'aci\'o tov\'abb\'{\i}t\'as
lehets\'eges akkor, ha a csatorna kapacit\'asa nagyobb, mint a
forr\'as entr\'opi\'aja, de nem lehets\'eges akkor, ha
a forr\'as entr\'opi\'aja nagyobb, mint a csatorna kapacit\'asa.

\medskip\noindent
{\bf T\'etel a j\'o inform\'aci\'o tov\'abb\'{\i}t\'as
lehet\H{o}s\'eg\'er\H{o}l, ha a csatorna kapacit\'asa na\-gyobb,
mint a forr\'as entr\'opi\'aja.} {\it Legyen adva egy \'ert\'ekeit
egy v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen
$X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es e $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u, f\"uggetlen $\xi_1,\xi_2,\dots$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata. Legyen
ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan csatorna hat\'aroz meg, amely valamely
$V=\{v_1,v_2,\dots\}$ bemeneti jelek halmaz\'at \'atviszi kimeneti
jelek valamely $\VV=\{\vv_1,\vv_2,\dots\}$ halmaz\'aba, \'es
$p(\vv_j|v_i)$ annak a felt\'eteles val\'osz\'{\i}n\H{u}s\'ege, hogy a 
csatorna a kimeneti oldalon a $\vv_j$ jelet k\"ozli, felt\'eve, hogy
$v_i$ volt a bemeneti jel.
Tegy\"uk fel, hogy a csatorna $C$ csatorna kapacit\'asa
nagyobb, mint a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o $H(\xi)$ entr\'opi\'aja. Egy r\"ogz\'{\i}tett $\e>0$
sz\'amra alkalmazzuk a k\"ovetkez\H{o} m\'odszert annak
\'erdek\'eben, hogy megismertess\"uk a $\xi_1,\xi_2,\dots$
sorozat jeleit a felhaszn\'al\'oval.

Az $\e>0$ sz\'amhoz v\'alasszunk el\H{o}sz\"or egy $n_0=n_0(\e)$
k\"usz\"obindexet, majd defini\'aljuk az eml\'ekezet n\'elk\"uli
csatorna $n_0$ hossz\'us\'ag\'u bemeneti jeleib\H{o}l \'all\'o
$V^{n_0}$ halmaznak egy $A=A(n_0)=\{v^{(n_0)}(l)
=(v_1(l),\dots,v_{n_0}(l)),\;1\le l\le N(n_0)\}\subset
V^{n_0}$ r\'eszhalmaz\'at valamely $N=N(n_0)$ elemsz\'ammal,
\'es minden $v^{(n_0)}(l)\in A(n_0)$ vektorhoz adjunk meg
az $n_0$ hossz\'us\'ag\'u kimeneti jelek egy egy alkalmas
$B_l\subset \VV^{n_0}$ r\'eszhalmaz\'at \'ugy, hogy ezek a $B_l$,
$1\le l\le N(n_0)$, halmazok a $\VV^{n_0}$ halmaz egy partici\'oj\'at
adj\'ak. Defini\'aljunk ezenk\'{\i}v\"ul egy
$f\colon X^{n_0}\to A(n_0)$ f\"uggv\'enyt, amelyet k\'odol\'o,
\'es egy $g\colon A(n_0)\to X^{n_0}$ f\"uggv\'enyt, amelyet
dek\'odol\'o f\"uggv\'enynek fogunk nevezni.

Tekints\"uk a $\xi_1,\xi_2,\dots$ sorozat egym\'ast k\"ovet\H{o}
diszjunkt $n_0$ hossz\'us\'ag\'u
$\xi_{ln_0+1}$,\dots, $\xi_{(l+1)n_0}$ blokkjait minden $l=0,1,2,\dots$
sz\'amra. Helyettes\'{\i}ts\"uk be az $l$-ik blokk \'ert\'ekeit az
$f(\cdot)$ k\'odf\"uggv\'enybe, azaz tekints\"uk a (v\'eletlen)
$f(\xi_{ln_0+1},\dots,\xi_{(l+1)n_0})\in A(n_0)$ sorozatot minden
$l=1,2,\dots$ indexre, \'es k\"uldj\"uk a felhaszn\'al\'onak a
csatorn\'an kereszt\"ul ezt a sorozatot. \H{O} v\'egezze
a kapott (v\'eletlen) $(\vv_{j_1},\dots,\vv_{j_{n_0}})\in\VV^{n_0}$
sorozat dek\'odol\'as\'at a k\"ovetkez\H{o} m\'odon.
V\'alassza ki azt a $B_l\in\VV^{n_0}$ halmazt, amelyre
$(\vv_{j_1},\dots,\vv_{j_{n_0}})\in B_l$, \'es vegye a neki
megfelel\H{o}
$v^{(n_0)}_l=(v_{i_1}(l),\dots,v_{i_{n_0}}(l))\in A(n_0)$
sorozatot. Alkalmazza erre a sorozatra a $g(\cdot)$ dek\'odol\'o
f\"uggv\'enyt, azaz vegye a
$g(v_{i_1}(l),\dots,v_{i_{n_0}}(l))\in X^{n_0}$
sorozatot, \'es v\'alassza ezt a
$\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$ sorozatnak.

Az $n_0$ k\"usz\"obindexet, az $A=A(n_0)\subset V^{n_0}$
r\'eszhalmazt, a $\VV^{n_0}$ halmaznak a $v^{(n_0)}(l)\in A(n_0)$
vektoroknak megfelel\H{o} $B_l$, $1\le l\le N(n_0)$, partici\'oj\'at,
valamint az $f\colon X^{n_0}\to A(n_0)$ k\'odol\'o
\'es a $g\colon A(n_0)\to X^{n_0}$ dek\'odol\'o f\"uggv\'enyt
alkalmasan v\'alasztva el\'erhetj\"uk, hogy a felhaszn\'al\'o
ezen elj\'ar\'as seg\'{\i}ts\'eg\'evel legal\'abb $1-\e$
val\'osz\'{\i}n\H{u}s\'eggel a forr\'as \'altal leadott
$\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$ sorozatot v\'alassza a leadott
sorozat $l$-ik blokk\-j\'a\-nak, azaz az $l$-ik blokkot legal\'abb
$1-\e$ val\'osz\'{\i}n\H{u}s\'eggel j\'ol dek\'odolja.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/
Ha a csatorna kapacit\'asa nagyobb, mint a forr\'as
entr\'opi\'aja, akkor l\'etezik olyan $\delta>0$ sz\'am, amelyre
$C>H(\xi)+2\delta$. V\'alasszunk egy ilyen $\delta>0$ sz\'amot.
Ekkor a csatorna k\'odol\'asi t\'etel alapj\'an van olyan
$n_0=n_0(\e,\delta)$ k\"usz\"obindex, hogy minden $n\ge n_0$
indexre l\'etezik egy
$2^{(C-\delta)n}\ge N(n)\ge 2^{(H(\xi)+\delta)n}$
elemsz\'am\'u $A(n)\subset V^{n}$ halmaz, valamint a $\VV^{n}$
halmaznak egy olyan $B_1,\dots,B_{N(n)}$ partici\'oja, amely
teljes\'{\i}ti a
$P(B_l|v^{(n)}(l))=\summ_{\vv^{(n)}\in B_l}p(\vv^{(n)}|(v^{(n)}(l))
\ge1-\frac\e2$ egyenl\H{o}tlens\'eget a
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))\in A(n)$ vektorra
\'es a neki megfelel\H{o} $B_l\subset \VV^n$ halmazra minden
$1\le l\le N(n_0)$ indexre, ahol
$p(\vv^{(n)}|(v^{(n)}(l))$ az eml\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'ege, azaz
$p(\vv^{(n)}|(v^{(n)}(l))=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}(l))$
a $\vv^{(n)}=(\vv_{j_1},\dots,\vv_{j_n})$ \'es
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))$ jel\"ol\'essel.
Tov\'abb\'a, mivel $N(n)\ge 2^{(H(\xi)+\delta)n}$,
a m\'asodik fejezetben bizony\'{\i}tott {\it f\"ug\-get\-len,
egyforma eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o forr\'as kis hib\'aj\'u
k\'odol\'as\'ar\'ol \'es de\-k\'o\-do\-l\'a\-s\'a\-r\'ol}
sz\'ol\'o t\'etel alapj\'an van olyan
$f\colon X^n\to A(n)$, k\'o\-do\-l\'o \'es
$g\colon A(n)\to X^n$ dek\'odol\'o f\"uggv\'eny, amelyre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge 1-\frac\e2$,
ha $n\ge n_0(\e,\delta)$ egy eset\-leg nagyobb $n_0$
k\"usz\"obindexszel.

V\'alasszunk egy olyan $n_0$ indexet, amelyre l\'etezik a
k\'{\i}v\'ant tulajdons\'ag\'u $A(n_0)\subset V^{n_0}$ halmaz a
$\VV^{n_0}$ halmaz hozz\'atartoz\'o $B_1,\dots,B_{N(n_0)}$
partici\'oj\'aval egy\"utt, valamint l\'etezik a
meg\-fe\-le\-l\H{o} tulajdons\'ag\'u $f$ k\'odol\'o \'es $g$
dek\'odol\'o f\"uggv\'eny is. Ezzel a v\'alaszt\'assal
a t\'etelben le\'{\i}rt dek\'odol\'asi elj\'ar\'as hib\'aja
kisebb, mint $\e$. Val\'oban, tekints\"uk az inform\'aci\'o
forr\'as \'altal leadott $\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$
sorozat $f(\xi_{ln_0+1},\dots,\xi_{(l+1)n_0})=v^{n_0}_l\in A(n_0)$
k\'odj\'at. A felhaszn\'al\'o legal\'abb $1-\frac\e2$
 val\'osz\'{\i}n\H{u}s\'eggel azonos\'{\i}tani fogja ezt a jelet
a csatorn\'an kereszt\"ul kapott jel seg\'{\i}ts\'eg\'evel.
Ezut\'an a $g(\cdot)$ dek\'odol\'o f\"uggv\'eny
seg\'{\i}ts\'eg\'evel v\'egzett dek\'odol\'as is legfeljebb
$\frac\e2$ val\'osz\'{\i}n\H{u}s\'eggel fogja d\"ont\'ese
hib\'aj\'at n\"ovelni.

\medskip
A m\'asodik t\'etelt, amely azt \'all\'{\i}tja, hogy ha $C<H(\xi)$
akkor nem lehets\'eges az adott m\'odon kis hib\'aj\'u, gyors
adat\'atvitelt bizos\'{\i}tani csak abban az esetben
bizony\'{\i}tom, ha a tekintett csatorna v\'eges
\'allapotter\H{u}, mert csak ebben az esetben bizony\'{\i}tottam
a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'at, amely fontos
szerepet j\'atszik ezen \'all\'{\i}t\'as igazol\'as\'aban. Olyan
\'all\'{\i}t\'ast fogok bizony\'{\i}tani, amely szerint a $C<H(\xi)$
esetben minden $\e>0$ sz\'amhoz megadhat\'o egy olyan $n_0=n_0(\e)$
k\"usz\"obindex, hogy egy $n\ge n_0$ hossz\'us\'ag\'u blokknak
tetsz\H{o}leges a csatorn\'an keresz\"ul t\"ort\'en\H{o}
tov\'abb\'{\i}t\'as\'anak a hib\'aja legal\'abb $1-\e$. Azut\'an
egy k\"ovetkezm\'enyben
megmutatom, hogy a viszonylag r\"ovid blokkoknak is b\'armely a
csatorn\'an kereszt\"ul t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'anak a
hib\'aja alulr\'ol becs\"ulhet\H{o} egy a forr\'ast\'ol \'es a
csatorn\'at\'ol f\"ugg\H{o} pozit\'{\i}v sz\'ammal.

A t\'etel pontos megfogalmaz\'asa \'erdek\'eben el\H{o}sz\"or azt
defini\'alom, hogy mit jelent egy $n$ hossz\'u\-s\'a\-g\'u sorozat
tov\'abb\'{\i}t\'asa a csatorn\'an kereszt\"ul. Az egyszer\H{u}bb
jel\"ol\'es \'er\-de\-k\'e\-ben csak a $\xi_1,\dots,\xi_n$ sorozat
csatorn\'an kereszt\"ul t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'ar\'ol
fogok besz\'elni, b\'ar a fogalmat hasonl\'oan defini\'alhatn\'ank
\'es a megfelel\H{o} eredm\'enyt hasonl\'oan
bi\-zo\-ny\'{\i}t\-hat\-n\'ank tetsz\H{o}leges
$\xi_{l+1},\dots,\xi_{l+n}$, $l=0,1,2,\dots$, sorozatra is.

Az $\xi_1,\dots,\xi_n$ sorozat egy a csatorn\'an kereszt\"ul
t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'at a k\"ovetkez\H{o}
mennyis\'egek seg\'{\i}ts\'eg\'evel fogjuk defini\'alni.
Vezess\"unk be egy $f\colon\; X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt,
amely az $n$ hossz\'us\'ag\'u $(x_1,\dots,x_n)\in X^n$ sorozatokat
k\'epezi a csatorna bemeneti je\-lei\-nek $(v_1,\dots,v_n)\in V^n$
sorozataiba. Defini\'aljuk a csatorna $\VV$ kimeneti jeleinek $n$
hossz\'us\'ag\'u so\-ro\-za\-tai\-b\'ol \'all\'o $\VV^n$
halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$ partici\'oj\'at.
Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e partici\'o mindegyik
$B_l$, $1\le l\le N$, elem\'ehez az $X^n$ halmaz valamely
$x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$ elem\'et
\'ugy, hogy a partici\'o k\"ul\"onb\"oz\H{o} elemeihez
k\"ul\"onb\"oz\H{o} sorozatot rendel\"unk hozz\'a, azaz
$x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Al\-kal\-maz\-zuk a k\"ovetkez\H{o} inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast. Ha
meg\'erkezik a forr\'asb\'ol a $\xi_1,\dots,\xi_n$ sorozat,
akkor al\-kal\-maz\-zuk r\'a az $f$ k\'odf\"uggv\'enyt. \'Igy
egy $f(\xi_1,\dots,\xi_n)=(v_{i_1},\dots,v_{i_n})\in V^n$
sorozatot kapunk. Ezt \'atengedj\"uk az eml\'ekezet n\'elk\"uli
csatorn\'an \'es kapunk egy $(\vv_{j_1},\dots,\vv_{j_n})\in\VV^n$
sorozatot, amelyet tartalmaz a $B_1,\dots,B_N$ partici\'o egyik
eleme. Ha $(\vv_{j_1},\dots,\vv_{j_n})\in B_l$, $1\le l\le N$,
akkor legyen a dek\'odolt sorozat a $B_l$ halmaznak megfeleltetett
$x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))$ sorozat.
Jel\"olj\"uk ezt az $x^{(n)}(l)$ `dek\'odol\'o' (v\'eletlen) sorozatot
$(\zeta_1,\dots,\zeta_n)$-nel. Akkor tekintj\"uk az inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast j\'onak, ha
$(\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)$.

A k\"ovetkez\H{o} t\'etelt fogom bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel a j\'o inform\'aci\'o tov\'abb\'{\i}t\'as
lehet\H{o}s\'egeinek a korl\'atair\'ol, ha a csatorna
kapacit\'asa ki\-sebb, mint a forr\'as entr\'opi\'aja.}
{\it Legyen adva egy \'ert\'ekeit
egy v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen
$X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es e $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u, f\"uggetlen $\xi_1,\xi_2,\dots$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata. Legyen
ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan csatorna hat\'aroz meg, amely valamely
$V=\{v_1,v_2,\dots\}$ bemeneti jelek v\'eges halmaz\'at \'atviszi
kimeneti jelek valamely $\VV=\{\vv_1,\vv_2,\dots\}$ v\'eges
halmaz\'aba, \'es $p(\vv_j|v_i)$ annak a felt\'eteles
val\'osz\'{\i}n\H{u}s\'ege, hogy a csatorna kimeneti jele a $\vv_j$
pont, felt\'eve, hogy a bemeneti jele $v_i$ volt.
Tegy\"uk fel, hogy a csatorna $C$ csatorna kapacit\'asa
kisebb, mint a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o $H(\xi)$ entr\'opi\'aja. Ekkor minden
r\"ogz\'{\i}tett $\e>0$ sz\'amhoz l\'etezik olyan $n_0=n_0(\e)$
k\"usz\"obindex, amelyre igaz a k\"ovetkez\H{o} \'all\'{\i}t\'as.

Adva egy $n\ge n_0$ sz\'am, tekints\"unk egy
$f\colon\; X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt, \'es vegy\"uk
a $\VV^n$ halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$
partici\'oj\'at. Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e
partici\'o mindegyik $B_l$, $1\le l\le N$, elem\'ehez az
$X^n$ halmaz egyik
$x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$ elem\'et
\'ugy, hogy $x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Alkalmazzuk az ezen $f$ k\'odf\"uggv\'eny, $B_1,\dots,B_N$
partici\'o \'es $B_l\to X^{(n)}$ megfeleltet\'es \'altal
meghat\'arozott az e t\'etel el\H{o}tt le\'{\i}rt inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast.
Ezen inform\'aci\'o tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi
elj\'ar\'as hib\'aja legal\'abb $1-\e$, ha $n\ge n_0=n_0(\e)$,
ami azt jelenti, hogy
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le\e$.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Azt \'all\'{\i}tom, hogy ha
$H(\xi)>C$, akkor minden $\e>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e)$ k\"usz\"obindex, hogy ha az el\H{o}bb le\'{\i}rt
elj\'ar\'ast alkalmazzuk $n\ge n_0$ hossz\'us\'ag\'u sorozatokra,
akkor b\'arhogy is v\'alasztjuk az $f(\cdot)$ k\'odol\'o
f\"uggv\'enyt, a $\VV^n$ halmaz $B_1,\dots,B_N$ partici\'oj\'at
\'es b\'arhogy is adjuk meg a $B_l$ halmaz elemeinek a
$B_l\to x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))$
hozz\'arendel\'es\'et az $X^n$ halmaz valamely elem\'ehez, a
dek\'odol\'as legfeljebb $\e$ val\'osz\'{\i}n\H{u}s\'eggel ad
helyes eredm\'enyt, azaz
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le\e$.

A bizony\'{\i}t\'ast indirekt m\'odon v\'egzem el. Felt\'etelezem,
hogy nagy $n$ indexekre is l\'etezik olyan $f(\cdot)$
k\'odf\"uggv\'eny, a $\VV^n$ halmaz olyan $B_1,\dots,B_N$
partici\'oja, illetve e partici\'oknak olyan
$B_l\to x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))$
megfeleltet\'ese, amelyre a t\'etel megfogalmaz\'asa el\H{o}tt
le\'{\i}rt m\'odon konstru\'alt $(\zeta_1,\dots,\zeta_n)$
sorozatra $P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\ge\e$.
Mivel $H(\xi)>C$, v\'alaszthatunk olyan $\delta>0$ sz\'amot,
amelyre $H(\xi)(1-\delta)^4>C$. El\H{o}sz\"or azt mutatom meg,
hogy feltev\'es\"unkb\H{o}l k\"ovetkezik, hogy ha
$n\ge n_0= n_0(\e,\delta)$ valamely $n_0$ k\"usz\"obindexszel
akkor l\'etezik $N_1=N_1(n)\ge 2^{(1-\delta)^2H(\xi)n}$ darab
olyan $x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$
sorozat, amelyekre
$$
P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)
|(\xi_1,\dots,\xi_n)=x^{(n)}(l))\ge\frac\e2
\quad \text{minden $1\le l\le N_1$ indexre.}
$$
Ezt igazoland\'o, vegy\"uk \'eszre, hogy ha defini\'aljuk a
$$
\aligned
B=B(n)&=\{(x_{i_1},\dots,x_{i_n})\colon\;
(x_{i_1},\dots,x_{i_n})\in X^n,\\
&\qquad P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)
|(\xi_1,\dots,\xi_n)=(x_{i_1},\dots,x_{i_n}))\ge\tfrac\e2\}
\endaligned \tag4.1
$$
halmazt, akkor $P((\xi_1,\dots,\xi_n)\in B)\ge\frac\e2$.
Ugyanis feltev\'es\"unk szerint
$$
\e\le P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))
\le P((\xi_1,\dots,\xi_n)\in B)+\frac\e2
(1-P((\xi_1,\dots,\xi_n)\in B)),
$$
ahonnan k\"ovetkezik ez az \'all\'{\i}t\'as. Viszont innen az is
k\"ovetkezik, hogy ha $n\ge n_0$ egy el\'eg nagy $n_0$ sz\'ammal,
akkor a $B(n)$ halmaz elemsz\'ama nagyobb, mint
$2^{(1-\delta)^2H(\xi)n}$. Val\'oban, vezess\"uk be a
$$
\align
B_1=B_1(n)&=\{(x_{i_1},\dots,x_{i_n})\colon\;
(x_{i_1},\dots,x_{i_n})\in X^n, \\
&\qquad P((\xi_1,\dots,\xi_n)=(x_{i_1},\dots,x_{i_n}))
<2^{-(1-\delta)H(\xi)n}\}
\endalign
$$
halmazt. L\'attuk kor\'abban, hogy
$P((\xi_1,\dots,\xi_n)\in B_1)\ge 1-\frac\e4$.
Ez\'ert $P(\xi_1,\dots,\xi_n)\in B\cap B_1)\ge\frac\e4$, ahonnan
a $B\cap B_1$, k\"ovetkez\'esk\'eppen a $B=B(n)$ halmaz elemsz\'ama
nagyobb, mint
$\frac\e42^{(1-\delta)H(\xi)n}\ge 2^{(1-\delta)^2H(\xi)n}$,
\'es val\'oj\'aban a $B$ halmaz elemsz\'am\'ara  ilyen als\'o
becsl\'est k\'{\i}v\'antunk adni.

Tekints\"uk a (4.1) formul\'aban defini\'alt $B(n)$ halmazt, \'es
soroljuk fel az elemeit
$B(n)=\{x^{(n)}(l),\;1\le l\le N(n)\}$
alakban. L\'attuk, hogy $N(n)\ge 2^{(1-\delta)^2H(\xi)n}$.
Fe\-lel\-tes\-s\"unk meg mindegyik $x^{(n)}(l)\in B(n)$ vektornak
azt a $(v^{(n)}(l),B_{u(l)})$ p\'art, amely\-re
$v^{(n)}(l)=f(x^{(n)}(l))\in V^n$ a tekintett modellben
szerepl\H{o} $f(\cdot)$ k\'odf\"uggv\'ennyel, \'es
$B_{u(l)}\subset\VV^{(n)}$ a $\VV^{(n)}$ halmaz $B_1,\dots,B_N$
partici\'oj\'anak az a $B_r$ eleme, amelyre a te\-kin\-tett
modellben adott megfeleltet\'esben a $B_r\to x^{(n)}(l)$ 
rel\'aci\'o teljes\"ul. (L\'etezik egy ilyen $B_r$ halmaz a
$P((\zeta_1,\dots,\zeta_n)=x^{(n)}(l)
|(\xi_1,\dots,\xi_n)=x^{(n)}(l))>0$ tulajdons\'ag
miatt.) Vegy\"uk \'eszre, hogy
$$
p(B_{u(l)}|v^{(n)}(l))
=\summ_{\vv^{(n)}\in B_{u(l)}}p(\vv^{(n)}|v^{(n)}(l))\ge\frac\e2,
$$
ahol $p(\vv^{(n)}|v^{(n)}(l))$ az eml\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'ege, azaz
$$
p(\vv^{(n)}|v^{(n)}(l))=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}(l)),
$$
ha $\vv^{(n)}=(\vv_{j_1},\dots,\vv_{j_n})$, \'es
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))$. A fel\'{\i}rt
egyenl\H{o}tlens\'eg az\'ert igaz, mert annak a
val\'osz\'{\i}n\H{u}s\'eg\'et tekintett\"uk, hogy ha egy
$x^{(n)}(l)\in B(n)$ sorozatot vesz\"unk, tekintj\"uk annak 
az $f(\cdot)$ lek\'epez\'es szerinti $v^{(n)}(l)=f(x^{(n)}(l))$ 
k\'ep\'et, azt \'atengedj\"uk a csatorn\'an,
majd a kapott jelet az \'altalunk le\'{\i}rt m\'odon dek\'odoljuk,
akkor a kapott $(\zeta_1,\dots,\zeta_n)$ sorozat teljes\'{\i}ti 
a $(\zeta_1,\dots,\zeta_n)=x^{(n)}(l)$ azonoss\'agot.
Ennek va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge pedig legal\'abb $\frac\e2$.
Vegy\"uk \'eszre azt is, hogy b\'ar lehets\'eges, hogy
$v^{(n)}(l)=v^{(n)}(l')$ akkor is, ha $l\neq l'$, azaz lehet k\'et
k\"ul\"onb\"oz\H{o} $x^{(n)}(l)\in A(n)$ \'es $x^{(n)}(l')\in A(n)$
vektor, amelyekre $l\neq l'$, \'es $f(x^{(n)}(l))=f(x^{(n)}(l'))$,
viszont b\'armely $v^{(n)}\in V^n$ vektorra az
$f(x^{(n)}(l))=v^{(n)}$ rel\'aci\'o legfeljebb $\frac2\e$
k\"ul\"onb\"oz\H{o} $l$ indexre \'allhat fenn. Val\'oban, mivel
a $B_{u(l)}$ halmazok diszjunktak k\"ul\"onb\"oz\H{o} $l$ indexekre,
ez\'ert
$$
\summ_{l\colon f(x^{(n)}(l))=v^{(n)}}p(B_{u(l)}|v^{(n)}(l))=
p\(\left.
\bigcupp_{l\colon f(x^{(n)}(l))=v^{(n)}} B_{u(l)}\right|v^{(n)}\)
\le 1,
$$
\'es az \"osszeg mindegyik tagj\'anak az \'ert\'eke
legal\'abb $\frac\e2$. Ez\'ert igaz ez az \'all\'{\i}t\'as.

Tekints\"uk a
$C=C(n)=\{v^{(n)}(l)=f(x^{(n)}(l))\colon\; x^{(n)}(l)\in B(n)\}$
halmazt, ahol $v^{(n)}(l)=v^{(n)}(l')$ eset\'en e k\'et vektor k\"oz\"ul
csak az egyiket soroljuk fel a $C=C(n)$ halmaz definici\'oj\'aban.
T\'ars\'{\i}tsuk mindegyik $v^{(n)}(l)\in C$ vektorhoz
a neki megfelel\H{o} $B_{u(l)}$ halmazt a $\VV^n$ halmaz
$B_1,\dots,B_N$ partici\'oj\'ab\'ol. L\'attuk, hogy
$p(B_{u(l)}|v^{(n)}(l))\ge\frac\e2$, ami azt jelenti, hogy a $C$
halmaz elemei a csatorn\'ara n\'ezve $1-\frac\e2$
megk\"ul\"onb\"oztethet\H{o} elemek. M\'asr\'eszt azt is l\'attuk,
hogy a $C$ halmaz elemsz\'ama na\-gyobb, mint
$\frac\e22^{(1-\delta)^2H(\xi)n}\ge 2^{(1-\delta)^3H(\xi)n}
\ge2^{Cn/(1-\delta)}$, ha $n\ge n_0$. Ez viszont ellentmond a
a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak.
Ez\'ert ilyen tulajdons\'ag\'u legal\'abb $\e$ pontoss\'ag\'u
inform\'aci\'o tov\'abb\'{\i}t\'as \'es dek\'odol\'as nem
l\'etezhet, ha $n\ge n_0(\e)$ egy el\'eg nagy $n_0$ sz\'ammal.

\medskip\noindent
{\bf K\"ovetkezm\'eny.} {\it Tekints\"uk azt az esetet, amikor
teljes\"uljenek a j\'o  inform\'aci\'o to\-v\'ab\-b\'{\i}\-t\'as
lehet\H{o}s\'egeinek a korl\'atair\'ol sz\'ol\'o t\'etel
felt\'etelei, speci\'alisan $H(\xi)>C$. R\"ogz\'{\i}ts\"unk egy
tetsz\H{o}leges $n\ge 1$ sz\'amot, defini\'aljunk egy
$f\colon X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt, \'es vegy\"uk a
$\VV^n$ halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$
partici\'oj\'at. Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e
partici\'o mindegyik $B_l$, $1\le l\le N$, elem\'ehez az $X^n$
halmaz egyik $x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$
elem\'et \'ugy, hogy $x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Alkalmazzuk azt az ezen $f$ k\'odf\"uggv\'eny, $B_1,\dots,B_N$
partici\'o \'es $B_l\to X^{(n)}$ megfeleltet\'es \'altal
meghat\'arozott inform\'aci\'o tov\'abb\'{\i}t\'asi \'es
de\-k\'o\-do\-l\'a\-si elj\'ar\'ast, amelyet az el\H{o}bbi t\'etel
megfogalmaz\'asa el\H{o}tt vezettem be. L\'etezik olyan a
forr\'ast\'ol \'es csatorn\'at\'ol f\"ugg\H{o}, de az $n$
sz\'amt\'ol f\"uggetlen $\alpha>0$ sz\'am, hogy ezen inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'as hib\'aja
legal\'abb $\alpha$, azaz
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le1-\alpha$.}

\medskip\noindent
{\it A k\"ovetkezm\'eny indokl\'asa.}\/ Azt kell megindokolni,
hogy a $H(\xi)>C$ esetben kis $n$ sz\'amokra sem lehet $n$
hossz\'us\'ag\'u blokkok seg\'{\i}ts\'eg\'evel nagyon j\'o
inform\'aci\'o tov\'abb\'{\i}t\'ast el\'erni.
Be\-l\'at\-tuk, hogy ha $H(\xi)>C$, akkor minden $\e>0$ sz\'amhoz
l\'etezik olyan $n_0=n_0(\e)$ k\"usz\"obindex, hogy az $n\ge n_0$
sz\'amokra minden $n$ hossz\'us\'ag\'u blokkokon alapul\'o
inform\'aci\'o tov\'abb\'{\i}t\'as \'es dek\'odol\'as
hib\'aja legal\'abb $\e$. Ezt az eredm\'enyt fogjuk alkalmazni
$\e=\frac12$ v\'alaszt\'assal. Tekints\"uk az $n_0=n_0(\frac12)$
k\"usz\"obindexet. Azt \'all\'{\i}tom, hogy az $n<n_0$
hossz\'us\'ag\'u blokkokon alapul\'o inform\'aci\'o
tov\'abb\'{\i}t\'as \'es dek\'odol\'as hib\'aja nagyobb vagy
egyenl\H{o}, mint $\frac1{2n_0}$. Innen ad\'odik a
K\"ovetkezm\'eny \'all\'{\i}t\'asa.

A bizony\'{\i}t\'as alapgondolata az, hogy ha l\'etezne olyan
m\'odszer, amely $\frac1{2n_0}$-n\'el kisebb dek\'odol\'asi hib\'at
biztos\'{\i}t, akkor ezt alkalmazva $n_0$ egym\'as ut\'ani blokkra
olyan inform\'aci\'o tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi
elj\'ar\'ast kapn\'ank valamely $n_0$-n\'al hosszabb blokkra, 
amelynek a hib\'aja kisebb, mint $\frac12$. Vi\-szont tudjuk, 
hogy ez nem lehets\'eges.

Val\'oban, r\"ogz\'{\i}ts\"unk egy $n<n_0$ sz\'amot. Egy $n$
hossz\'us\'ag\'u blokkokon alapul\'o inform\'aci\'o
tov\'abb\'{\i}t\'ast \'es dek\'odol\'ast egy $f\colon X^n\to V^n$
k\'odol\'o f\"ugg\-v\'eny, a $\VV^n$ halmaz egy $B_1,\dots,B_N$
partici\'oja valamint e partici\'o elemeinek egy $B_l\to x^{(n)}(l)$,
$1\le l\le N$, lek\'epez\'ese az $X^n$ t\'erbe hat\'aroz meg.
Defini\'aljunk e mennyis\'egeknek megfelel\H{o} objektumokat az
$n_0 n$ hossz\'us\'ag\'u sorozatok ter\'en a k\"ovetkez\H{o}
m\'odon. Defini\'aljuk az $\bar f$ k\'odol\'asi f\"uggv\'enyt,
amely az $X^{n_0n}$ teret a $V^{n_0n}$ t\'erbe k\'epezi az 
$\bar f(x_1,\dots,x_{n_0n})
=(f(x_{kn+1},\dots,x_{(k+1)n},\;k=0,\dots,n_0-1)$ k\'eplet
seg\'{\i}ts\'eg\'evel, a $\VV^{n_0n}$ halmaz $N^{n_0}$ elem\H{u}
partici\'oj\'at pedig a k\"ovetkez\H{o} m\'odon:
E partici\'o elemei a $B(l_{i(1)},\dots,l_{i(n_0)})
=B_{l_{i(1)}}\times \cdots\times B_{l_{i(n_0)}}$
halmazok, ahol $1\le i(j)\le N$ minden $1\le j\le n_0$ indexre.
V\'eg\"ul e partici\'o $B(l_{i(1)},\dots,l_{i(n_0)})$
elem\'enek a
$x^{(n)}(l_{i(1)})\times\cdots\times x^{(n)}(l_{i(n_0)})\in X^{n_0n}$
vektort feleltetj\"uk meg.

Nem neh\'ez bel\'atni, hogy ha az eredeti $n$ hossz\'us\'ag\'u
blokkokon alapul\'o inform\'aci\'o tov\'abb\'{\i}t\'asban \'es
dek\'odol\'as\'aban a $\xi_{ln+1},\dots,\xi_{(l+1)n}$,
$0\le l<n_0$, blokkok hib\'as de\-k\'o\-do\-l\'a\-s\'a\-nak a
val\'osz\'{\i}n\H{u}s\'ege kisebb, mint $\frac1{2n_0}$, (a
dek\'odol\'as hib\'aja nem f\"ugg az $l$ sz\'amt\'ol), akkor az
$n_0n$ hossz\'us\'ag\'u sorozatok `szorzatter\'eben' az \'uj
objektumok \'altal meg\-ha\-t\'a\-ro\-zott inform\'aci\'o
tov\'abb\'{\i}t\'as \'es dek\'odol\'as hib\'aj\'anak a
val\'osz\'{\i}n\H{u}s\'ege kisebb, mint $n_0\frac1{2n_0}=\frac12$.
Ugyan\-is a `szorzatt\'erben' az \'uj dek\'odol\'as val\'oj\'aban
\'ugy m\H{u}k\"odik, hogy az egyes $kn+1\le\bar n\le (k+1)n$
blokkokat, $k=0,\dots,n_0-1$, egym\'ast\'ol f\"uggetlen\"ul az $n$
hossz\'us\'agi blokkokon \'erv\'enyes szab\'aly szerint
tov\'abb\'{\i}tjuk a csatorn\'an kereszt\"ul, majd dek\'odoljuk
\H{o}ket. Ha ezen $n_0$ blokk dek\'odol\'asa mindegyik $k$-ra
kevesebb, mint $\frac1{2n_0}$ val\'osz\'{\i}n\H{u}s\'eggel hib\'as,
akkor igaz az eml\'{\i}tett becsl\'es. De mivel az $n_0n$ hossz\'u
sorozatokkal v\'egzett dek\'odol\'asok hib\'aja legal\'abb
$\frac12$, innen k\"ovetkezik az $n<n_0$ hossz\'u sorozatok
hib\'aj\'ar\'ol megfogalmazott \'all\'{\i}t\'as.

\medskip\noindent
{\bf 5. Az entr\'opia fogalm\'anak Kolmogorov-f\'ele
\'altal\'anos\'{\i}t\'asa \'es e fogalom alkalmaz\'asa
egy probl\'ema vizsg\'alat\'aban.}

\medskip\noindent
Ebben a fejezetben  egy olyan probl\'em\'at fogok t\'argyalni,
amelynek l\'atsz\'olag nincs k\"oze az inform\'aci\'oelm\'elethez.
M\'egis, meglep\H{o} m\'odon, e probl\'ema megold\'as\'aban
kulcs\-sze\-re\-pet j\'atszik az entr\'opia, pontosabban e fogalom
egy alkalmas \'altal\'anos\'{\i}t\'asa. A vizsg\'aland\'o k\'erd\'es
megfogalmaz\'as\'anak \'erdek\'eben el\H{o}sz\"or felid\'ezem a
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-sz\'a\-m\'{\i}\-t\'as\-ban
gyakran haszn\'alt Bernoulli rendszer definici\'oj\'at.

A Bernoulli rendszer definici\'oj\'anak megad\'asa el\H{o}tt 
ismertetem annak inform\'alis le\'{\i}r\'as\'at. Vesz\"unk egy 
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t, \'es 
azon egy v\'eges sok, mondjuk az $1,2,\dots,r$ \'ert\'ekeket 
felvev\H{o} $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot.  
Minden eg\'esz $l$ sz\'amra tekintj\"uk ennek a rendszernek 
egy ezzel az  $l$ sz\'ammal indexelt p\'eld\'any\'at, \'es 
vessz\"uk ezek direkt szorzat\'at. Ezut\'an defini\'aljuk azt 
az eltol\'ast ezen a szorzatt\'eren, amelynek hat\'as\'ara a 
$\xi_l$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o a $\xi_{l+1}$
v\'altoz\'oba megy \'at. Al\'abb egy olyan rendszert 
defini\'alunk, ahol ilyen val\'osz\'{\i}n\H{u}s\'egi 
v\'altoz\'okat \'es azok eltoltjait term\'eszetes m\'odon be 
lehet vezetni.

\medskip\noindent
{\bf Bernoulli rendszer definici\'oja.} {\it Legyen adva egy $r\ge2$
eg\'esz sz\'am, \'es olyan $p_j\ge0$, $1\le j\le r$, sz\'amok,
amelyekre $\summ_{j=1}^rp_j=1$. Az $r\ge2$, \'es $p_j$,
$1\le j\le r$, sz\'amok \'altal meghat\'arozott Bernoulli
rendszeren az al\'abbi $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t \'es az $\Omega$ halmazon
defini\'alt $T$ \'ugynevezett shift (eltol\'as)
transzform\'aci\'ot \'ertj\"uk. Az $\Omega$ halmaz elemei azon
$\oo=(\dots,x_{-1},x_0,x_1,\dots)$ sorozatok, amelyekre
$x_j\in\{1,\dots,r\}$, minden $-\infty<j<\infty$ indexre. Az
$\Cal A$ $\sigma$-algebra az al\'abbi
$A(k,\,j_{-k},\dots,j_k)\subset\Omega$ \'ugynevezett
hengerhalmazok \'altal gener\'alt legsz\H{u}kebb
$\sigma$-algebra:
$$
A(k,\,j_{-k},\dots,j_k)=\{\oo=(\dots,x_{-1},x_0,x_1,\dots)
\colon\; x_s=j_s,\,-k\le s\le k\},
$$
ahol $k$ tetsz\H{o}leges pozit\'{\i}v eg\'esz sz\'am, \'es
$j_s\in\{1,\dots,r\}$ minden $-k\le s\le k$ indexre.
A hengerhalmazok $P$ val\'osz\'{\i}n\H{u}s\'eg\'et a
$P(A(k,\,j_{-k},\dots,j_k)=\prodd_{s=-k}^k p_{j_s}$
k\'eplet adja meg, \'es a $P$ m\'ert\'ek e
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg kiterjeszt\'ese a
$\Cal A$ $\sigma$-algebr\'ara. V\'eg\"ul egy
$$
\oo=(\dots,x_{-2},x_{-1},x_0,x_1,\dots)\in\Omega
$$
elemi esem\'eny $T\oo$ shiftje (eltoltja) a
$$
T\oo=(\dots,x_{-1},x_0,x_1,x_2\dots)\in\Omega
$$
sorozat, azaz az $\oo$-t defini\'al\'o sorozat $x_s$, $s$-ik
koordin\'at\'aj\'at eggyel eltoljuk balra. Ez azt jelenti az
$x_s$ sz\'am a $T\oo$-t defini\'al\'o sorozat $s-1$-ik
koordin\'at\'aj\'aban jelenik meg.}

\medskip\noindent
{\it Megjegyz\'es.}\/ A Bernoulli rendszerek definici\'oj\'aban
nem jelentek meg az e fogalom inform\'alis ismertet\'es\'eben
eml\'{\i}tett $\xi_l$, $l=0,\pm1,\dots$, f\"uggetlen \'es
egyforma eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok. De ilyen   
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okat egyszer\H{u} 
\'es term\'eszetes m\'odon de\-fi\-ni\-\'al\-ha\-tunk egy 
Bernoulli rendszerben. Nevezetesen, legyen $\xi_l(\oo)=x_l$, 
$l=0,\pm1,\dots$, ha
$\oo=(\dots,x_{-1},x_0,x_1,\dots)$.

\medskip
Azzal a k\'erd\'essel fogunk foglalkozni, hogy k\'et
k\"ul\"onb\"oz\H{o} Bernoulli rendszer mikor izomorf egy al\'abb
ismertetend\H{o} term\'eszetes izomorfia fogalom szerint, mely
izomorfia szeml\'eletesen a k\'et dinamikus rendszer
hasonl\'os\'ag\'at fejezi ki. \'Erdemes ezt a k\'erd\'est
\'altal\'anosabban megfogalmazni. Bevezetem az (invert\'alhat\'o
shift transzform\'aci\'oval rendelkez\H{o}) dinamikus rendszerek
fogalm\'at, \'es defini\'alom ezek izomorfi\'aj\'at. A minket
\'erdekl\H{o} k\'erd\'es arr\'ol sz\'ol, hogy bizonyos speci\'alis
dinamikus rendszerek mikor izomorfak.

\medskip\noindent
{\bf (Invert\'alhat\'o) dinamikus rendszerek definici\'oja.} {\it Egy
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi me\-z\H{o}t, \'es egy
az $\Omega$ halmazt \"onmag\'aba k\'epez\H{o}, m\'erhet\H{o} $T$
lek\'epez\'est dinamikus rendszernek nevez\"unk, ha $T$
m\'ert\'ektart\'o transzform\'aci\'o, azaz $P(T^{-1}(A))=P(A)$
minden $A\in\Cal A$ halmazra. Egy dinamikus rendszert
invert\'alhat\'onak nevez\"unk, ha a $T$~transzform\'aci\'o
automorfizmus, azaz minden $\oo\in\Omega$ pontra pontosan egy
olyan $\tilde\oo\in\Omega$ pont van, amelyre $T\tilde\oo=\oo$.}

\medskip
Nem neh\'ez bel\'atni, hogy egy Bernoulli rendszer (az ott
defini\'alt) shift transzform\'aci\'oval invert\'alhat\'o dinamikus
rendszer. A jobb \'erthet\H{o}s\'eg kedv\'e\'ert mutatok egy a
Bernoulli rendszerhez hasonl\'o nem invert\'alhat\'o dinamikus
rendszert, amelyet f\'eloldali Bernoulli rendszernek fogok nevezni.

\medskip\noindent
{\bf F\'eloldali Bernoulli rendszer definici\'oja.} {\it Legyen
adva egy $r\ge2$ eg\'esz sz\'am, \'es olyan $p_j\ge0$,
$1\le j\le r$, sz\'amok, amelyekre $\summ_{j=1}^rp_j=1$. Az $r\ge2$,
\'es $p_j$, $1\le j\le r$, sz\'amok \'altal meghat\'arozott
f\'eloldali Bernoulli rendszeren az al\'abbi $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t \'es az $\Omega$ halmazon
defini\'alt $T$ \'ugynevezett shift (eltol\'as) transzform\'aci\'ot
\'ertj\"uk. Az $\Omega$ halmaz elemei azon $\oo=(x_0,x_1,\dots)$
sorozatok, amelyekre $1\le x_j\le r$, \'es $x_j$ eg\'esz sz\'am
minden $0\le j<\infty$  indexre. Az $\Cal A$ $\sigma$-algebra
az $\Omega$ halmaz az  al\'abbi $A(k,\,j_{0},\dots,j_k)$
\'ugynevezett hengerhalmazok \'altal gener\'alt $\sigma$-algebra:
$A(k,\,j_{0},\dots,j_k)=
\{\oo=(x_0,x_1,x_2,\dots)\colon\; x_s=j_s,\,0\le s\le k\}$,
$k=1,2,\dots$, $1\le j_s\le r$ minden $0\le s\le k$ indexre.
A hengerhalmazok $P$ val\'osz\'{\i}n\H{u}s\'eg\'et a
$P(A(k,\,j_0,\dots,j_k)=\prodd_{s=0}^k p_{j_s}$ k\'eplet
adja meg, \'es a $P$ m\'ert\'ek e val\'osz\'{\i}n\H{u}s\'eg
kiterjeszt\'ese a $\Cal A$ $\sigma$-algebr\'ara. V\'eg\"ul egy
$\oo=(x_0,x_1,x_2,\dots)\in\Omega$ elemi esem\'eny $T\oo$ shiftje
a $T\oo=(x_1,x_2,x_3,\dots)\in\Omega$ sorozat, azaz az $\oo$-t
defini\'al\'o sorozat $x_s$, $s$-ik koordin\'at\'aj\'at eggyel
eltoljuk balra, \'es az $x_0$ koordin\'ata `elveszik'.}

\medskip
Legyen adva k\'et $(\Omega,\Cal A,P,T)$ \'es
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ dinamikus
rendszer. Term\'eszetesnek l\'atszana ezek valamely $\varphi$
izomorfi\'aj\'at \'ugy defini\'alni, mint az $\Omega$ halmaznak
olyan k\"ol\-cs\"o\-n\"o\-sen egy\'ertelm\H{u}, m\'ert\'ektart\'o
$\varphi$ lek\'epez\'es\'et az $\tilde\Omega$ halmazba, amely a
$T$ shift transz\-for\-m\'a\-ci\'ot a $\tilde T$ shift
transz\-for\-m\'a\-ci\'o\-ba viszi, azaz
$\varphi(T\oo)=\tilde T(\varphi(\oo)$ minden $\oo\in\Omega$
pontban. Mint a k\"ovetkez\H{o} p\'elda mutatja, \'erdemes ezt a
definici\'ot kiss\'e finom\'{\i}tani. Lehets\'eges ugyanis, hogy
valamelyik dinamikus rendszernek van egy olyan rossz null
m\'ert\'ek\H{u} r\'eszhalmaza, amely kiz\'arja az ilyen
\'ertelemben vett izomorfi\'at, de ha ezt a null m\'ert\'ek\H{u}
halmazt elhagyjuk akkor minden rendben lesz.

Tekints\"uk a k\"ovetkez\H{o} p\'eld\'at. Vegy\"uk azt az
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t, amely\-re
$\Omega=\{1\}$, $\Cal A$ az $\Omega$ halmaz \"osszes r\'eszhalmaza,
(ez val\'oj\'aban az $\{1\}$ halmaz \'es az \"ures halmaz),
\'es $P(\{1\})=1$. Defini\'aljuk a $T$ shift transzform\'aci\'ot
az $\Omega$ halmazon, mint az identit\'as transzform\'aci\'ot.
Vezess\"uk be az $(\tilde\Omega,\tilde{\Cal A},\tilde P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t, amely\-re
$\tilde\Omega=\{0,1\}$, $\tilde{\Cal A}$ az $\tilde\Omega$
halmaz \"osszes r\'eszhalmaza, $\tilde P(\{1\})=1$, \'es
$\tilde P(\{0\})=0$. Defini\'aljuk a $\tilde T$ shift
transzform\'aci\'ot az $\tilde\Omega$ halmazon, mint az
identit\'as transzform\'aci\'ot. Ekkor, mind $(\Omega,\Cal A, P,T)$
mind $(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ dinamikus
rendszer egy invert\'alhat\'o shift transzform\'aci\'oval. A k\'et
rendszer nem izomorf az el\H{o}bb v\'azolt \'ertelemben, mert
$\Omega$ egy, $\tilde\Omega$ pedig k\'et elemb\H{o}l \'all.
Viszont a $\tilde\Omega$ halmazb\'ol kihagyva a null m\'ert\'ek\H{u}
$\{0\}$ halmazt m\'ar k\'et izomorf dinamikus rendszert kapunk.
Ez\'ert \'erdemes dinamikus rendszerek izomorfi\'aj\'at az
al\'abb megadand\'o m\'odon defini\'alni, mert az jobban kifejezi
k\'et dinamikus rendszer hasonl\'os\'ag\'at. A definici\'o
szeml\'eletes tartalma az, hogy k\'et dinamikus rendszert akkor
tekint\"unk izomorfnak, ha egy rossz null m\'ert\'ek\H{u} halmazt
kihagyva mind a k\'et dinamikus rendszerb\H{o}l olyan rendszereket
kapunk, amelyek az el\H{o}bb jelzett er\H{o}sebb \'ertelemben is
izomorfak.

\medskip\noindent
{\bf Dinamikus rendszerek izomorfi\'aj\'anak a definici\'oja.}
{\it Legyen adva k\'et $(\Omega,\Cal A,P,T)$ \'es
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$
dinamikus rendszer. A k\'et rendszer izomorf, ha l\'etezik
k\'et olyan $\Omega_0\in\Cal A$ \'es $\tilde\Omega_0\in\tilde{\Cal A}$
halmaz \'es egy (m\'erhet\H{o}) k\"olcs\"on\"osen egy\'ertelm\H{u}
$\varphi\colon \Omega_0\to\tilde\Omega_0$ lek\'epez\'es, amelyekre

\medskip
\item{1.)} $P(\Omega_0)=1$, $\tilde P(\tilde\Omega_0)=1$, az
$\Omega_0$, \'es $\tilde\Omega_0$ halmazok invari\'ansak a $T$
illetve $\tilde T$ shift transzform\'aci\'ora, azaz
$\Omega_0\subset T^{-1}\Omega_0$, \'es
$\tilde\Omega_0\subset\tilde T^{-1}\tilde\Omega_0$. Ez ekvivalensen
\'ugy is megfogalmazhat\'o, hogy $T\Omega_0\subset\Omega_0$, \'es
$T\tilde\Omega_0\subset\tilde\Omega_0$.
\item{2.)} A $\varphi\colon\;\Omega_0\to\tilde\Omega_0$
lek\'epez\'es m\'ert\'ektart\'o, azaz ha $A\subset\Omega_0$,
$\tilde A\subset\tilde\Omega_0$, \'es $\tilde A=\varphi(A)$,
akkor $A\in\Cal A$ akkor \'es csak akkor, ha $\tilde A\in\Cal{\tilde A}$,
\'es ebben az esetben $P(A)=\tilde P(\tilde A)$.
\item{3.)} A $\varphi$ lek\'epez\'es felcser\'elhet\H{o} a $T$,
$\tilde T$ shift p\'arral, azaz $\varphi(T\oo)=\tilde T\varphi(\oo)$
tetsz\H{o}leges $\oo\in\Omega_0$ pontra.

\medskip\noindent
Ha a fenti tulajdons\'agok teljes\"ulnek valamely $\Omega_0$,
$\tilde\Omega_0$ p\'arral \'es $\varphi$ lek\'epez\'essel, akkor azt
mondjuk, hogy az
$(\Omega,\Cal A,P,T)$ \'es
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$
dinamikus rendszerek izomorfak az
$(\Omega_0,\tilde\Omega_0,\varphi)$ h\'armason kereszt\"ul.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Tetsz\H{o}leges dinamikus rendszerek
izomorfi\'aj\'at defini\'altuk, de a f\H{o} ered\-m\'e\-nyek\-ben
csak invert\'alhat\'o dinamikus rendszerek izomorfi\'aj\'at
fogjuk vizsg\'alni. A minket \'erdekl\H{o} Bernoulli rendszerek
invert\'alhat\'o dinamikus rendszerek, \'es vizsg\'alataink
bizonyos r\'e\-szei\-ben ezt ki fogjuk haszn\'alni.

\medskip
Ha k\'et rendszer izomorfi\'aj\'at akarjuk vizsg\'alni valamilyen
izomorfia fogalom sze\-rint, akkor term\'eszetes az izomorfia
invari\'ansait, azaz olyan tulajdons\'agokat \'es meny\-nyis\'egeket
keresni, amelyek nem v\'altoznak akkor, ha egy rendszerb\H{o}l egy
m\'asik vele izomorf rendszerbe t\'er\"unk \'at. Min\'el t\"obb
invari\'anst ismer\"unk ann\'al jobban tudjuk az izomorfi\'at
vizsg\'alni.

Tekints\"unk invert\'alhat\'o dinamikus rendszereket, \'es
vizsg\'aljuk ezek el\H{o}bb bevezetett izomorfi\'aj\'at. 
El\H{o}sz\"or a k\"ovetkez\H{o} nem trivi\'alis az izomorfi\'ara 
invari\'ans tulajdons\'agot tal\'alt\'ak. Adva egy 
$(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus rendszer, 
term\'eszetes m\'odon defini\'alhatjuk a k\"ovetkez\H{o} Hilbert 
teret \'es rajta defini\'alt unit\'er oper\'atort. \'Alljon a 
Hilbert t\'er az $(\Omega,\Cal A,P)$ t\'eren \'ertelmezett 
n\'egyzetesen integr\'alhat\'o f\"uggv\'enyekb\H{o}l a szok\'asos 
$L_2$ norm\'aval, \'es vezess\"uk be e t\'eren az al\'abbi $U$
oper\'atort. Ha $\int f^2(\oo)P(\,d\oo)<\infty$, akkor
defini\'aljuk az $f$ f\"uggv\'eny $Uf$ k\'ep\'et az 
$Uf(\oo)=f(T\oo)$ k\'eplettel. Nem neh\'ez bel\'atni, hogy (a $T$ 
shift transzform\'aci\'o m\'ert\'ektart\'o tulajdons\'aga \'es
invert\'alhat\'os\'aga miatt) az el\H{o}bb defini\'alt $U$ oper\'ator 
unit\'er. Tov\'abb\'a, ha k\'et invert\'alhat\'o dinamikus rendszer 
izomorf, akkor a nekik megfelel\H{o} Hilbert t\'er a raj\-tuk 
defini\'alt $U$ unit\'er oper\'atorral izomorf. Felmer\"ult a 
k\'erd\'es, hogy ez a t\'eny milyen inform\'aci\'ot ad k\'et 
Bernoulli rendszer izomorfi\'aj\'ar\'ol.

Kider\"ult, hogy b\'armely k\'et Bernoulli rendszerhez tartoz\'o
az el\H{o}bbi m\'odon be\-ve\-ze\-tett Hilbert t\'er a rajta
defini\'alt unit\'er oper\'atorral egy\"utt izomorf. Ezen
eredm\'eny bizony\'{\i}t\'as\'at  ismertetem e fejezet
kieg\'esz\'{\i}t\'es\'eben. Sok\'aig azt  hitt\'ek, hogy ez az
a l\'enyeges izomorfi\'ara invari\'ans  tulajdon\'ag, amely
eld\"onti, hogy k\'et Bernoulli rendszer  izomorf-e. Ez\'ert
t\"obben azt sejtett\'ek, hogy b\'armely  k\'et Bernoulli
rendszer izomorf. S\H{o}t, Paul Halmos  bebizony\'{\i}totta, hogy
ezen sejt\'es igazol\'as\'ahoz elegend\H{o} lenne azt bel\'atni,
hogy az $r=3$, $p_1=p_2=p_3=\frac13$  illetve $r=4$,
$p_1=p_2=p_3=p_4=\frac14$ param\'eterekkel meghat\'arozott
Bernoulli rendszerek izomorfak. K\'es\H{o}bb Kolmogorov
bebizony\'{\i}totta, hogy ez a sejt\'es hamis, mert l\'etezik
olyan tov\'abbi a dinamikus rendszerek izomorfi\'aj\'ara
invari\'ans mennyis\'eg, amelynek l\'etez\'es\'eb\H{o}l
k\"ovetkezik p\'eld\'aul, hogy a fent eml\'{\i}tett
Bernoulli rend\-sze\-rek nem izomorfak.

Kolmogorov bevezette a Shannon-f\'ele entr\'opia egy term\'eszetes
\'altal\'anos\'{\i}t\'as\'at. Defini\'alta dinamikus rendszerek
entr\'opi\'aj\'at, \'es megmutatta, hogy egym\'assal izomorf
dinamikus rendszerek entr\'opi\'aja egyenl\H{o}. Ezenk\'{\i}v\"ul
olyan eredm\'enyt bizony\'{\i}tott, amely seg\'{\i}tett az
entr\'opia kisz\'amol\'as\'aban bizonyos esetekben. Speci\'alisan
megmutatta, hogy egy $r$, $p_1,\dots,p_r$, param\'eterekkel
meghat\'arozott Bernoulli rendszer entr\'opi\'aja
$H=-\summ_{j=1}^r p_j\log p_j$, \'es az \'altala bevezetett
entr\'opia tekinthet\H{o} \'ugy, mint a Shannon-f\'ele entr\'opia
\'altal\'anos\'{\i}t\'asa. K\'es\H{o}bb David Ornstein egy m\'ely
eredm\'enyben bebizony\'{\i}totta, hogy k\'et Bernoulli rendszer,
amelyeknek megegyezik az entr\'opi\'aja, izomorf.

Ebben a fejezetben Kolmogorov eredm\'eny\'et \'es annak
bizony\'{\i}t\'as\'at ismertetem. Nem fogom t\'argyalni Ornstein
eredm\'eny\'enek a bizony\'{\i}t\'as\'at. Term\'eszetesen Bernoulli
rendszerek izomorfi\'aj\'anak a probl\'em\'aja csak egy
speci\'alis, b\'ar fontos r\'esze annak a k\'erd\'esk\"ornek, hogy
k\'et dinamikus rendszer mikor izomorf. \'Altal\'anos dinamikus
rendszerek izomorfi\'aj\'anak a k\'erd\'es\'evel
azonban ebben a jegyzetben nem foglalkozom. 

Kolmogorov eredm\'enyeinek t\'argyal\'asa el\H{o}tt ismertetek
n\'eh\'any a dinamikus rendszerek izomorfi\'aj\'aval kapcsolatos
t\'enyt.

\medskip\noindent
{\bf \'Eszrev\'etel.} {\it Dinamikus rendszerek izomorfi\'aja
ekvivalencia rel\'aci\'o.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Nyilv\'anval\'o, hogy egy dinamikus
rendszer \"onmag\'aval izomorf, azaz az izomorfia reflexiv.
Ugyancsak k\"onnyen l\'athat\'o, hogy az izomorfia szimmetrikus
tulajdons\'ag. Ha $(\Omega,\Cal A,P,T)$ izomorf egy
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ dinamikus
rendszerrel egy $(\Omega_0,\tilde\Omega_0,\varphi)$ h\'armason
kereszt\"ul, akkor $(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$
izomorf az $(\Omega,\Cal A,P,T)$ dinamikus rendszerrel az
$(\tilde\Omega_0,\Omega_0,\varphi^{-1})$ h\'armason kereszt\"ul.
Be kell m\'eg l\'atni, hogy az izomorfia tranzit\'{\i}v
tulajdons\'ag.

Azt kell megmutatni, hogy ha $(\Omega,\Cal A,P,T)$ izomorf
egy $(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ dinamikus
rend\-szer\-rel egy $(\Omega_0,\tilde\Omega_0,\varphi)$, \'es
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ izomorf egy
$(\Omega',\Cal A',P',T')$ dinamikus rend\-szer\-rel egy
$(\tilde\Omega_1,\Omega_1',\psi)$ h\'armason kereszt\"ul, akkor
az $(\Omega,\Cal A,P,T)$ \'es $(\Omega',\Cal A',P',T')$ dinamikus
rendszerek is izomorfak. Ennek \'erdek\'eben el\H{o}sz\"or
megmutatom azt, hogy az izomorfi\'akat biztos\'{\i}t\'o h\'armasok
v\'alaszthat\'oak $(\Omega_2,\tilde\Omega_2,\varphi_2)$ \'es
$(\tilde\Omega_2,\Omega_2',\psi_2)$ alakban alkalmas
$\Omega_2$, $\tilde\Omega_2$, $\Omega_2'$, $\varphi_2$
\'es $\psi_2$ mennyis\'egekkel. A l\'enyeges pont ebben az
\'all\'{\i}t\'asban az, hogy a k\'et h\'armasban ugyanaz az
$\tilde\Omega_2$ halmaz szerepel.

Legyen $\tilde\Omega_2=\tilde\Omega_0\cap\tilde\Omega_1$.
Ha $\Omega_2=\varphi^{-1}\tilde\Omega_2$, $\varphi_2$ a $\varphi$
f\"uggv\'eny megszor\'{\i}t\'asa az $\Omega_2$ halmazra, akkor
$(\Omega,\Cal A,P,T)$ izomorf
az $(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ dinamikus
rendszerrel az $(\Omega_2,\tilde\Omega_2,\varphi_2)$ h\'armason
kereszt\"ul is. Hasonl\'oan, legyen $\Omega_2'=\psi\tilde\Omega_2$,
\'es $\psi_2$ a $\psi$ f\"uggv\'eny megszor\'{\i}t\'asa az
$\tilde\Omega_2$ halmazra. Ekkor
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ izomorf az
$(\Omega',\Cal A',P',T')$ dinamikus rendszerrel az
$(\tilde\Omega_2,\Omega_2',\psi_2)$ h\'armason kereszt\"ul.
Ezt felhaszn\'alva kapjuk, hogy az
$(\Omega,\Cal A,P,T)$ \'es $(\Omega',\Cal A',P',T')$ dinamikus
rendszrek izomorfak az $(\Omega_2,\Omega_2',\rho)$ h\'armason
kereszt\"ul, ahol $\rho(\oo)=\psi_2(\varphi_2(\oo))$ minden
$\oo\in\Omega_2$ pontban. (A $\rho$ f\"uggv\'eny definici\'oj\'aban
haszn\'altuk ki az $\tilde\Omega_2$ halmaz fent eml\'{\i}tett
tulajdons\'ag\'at.)

\medskip
Sz\"uks\'eg\"unk van m\'eg a k\"ovetkez\H{o} eredm\'enyre is.

\vfill\eject

\medskip\noindent
{\bf Lemma izomorf dinamikus rendszerek tulajdons\'agair\'ol.}
{\it Legyen $(\Omega,\Cal A,P,T)$ \'es
$(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ k\'et
izomorf dinamikus rendszer egy $(\Omega_0,\tilde\Omega_0,\varphi)$
h\'armason kereszt\"ul. Ekkor
$$
\varphi (T^n\oo)=\tilde T^n\varphi(\oo) \quad \text{minden }
n=1,2,\dots \text{sz\'amra, \'es minden }
\oo\in\Omega_0 \text{ pontban.} \tag5.1
$$
Legyen adva $k$ darab $\tilde A_j$ halmaz, amelyekre 
$\tilde A_j\subset\tilde\Omega_0$, \'es
$\tilde A_j\in\tilde{\Cal A}$, $1\le j\le k$, \'es
$n_j\ge0$, $1\le j\le k$, nem negat\'{\i}v eg\'esz sz\'amok egy
sorozata. Ekkor
$$
P(T^{-n_1}\varphi^{-1}(\tilde A_1)\cap\cdots\cap
T^{-n_k}\varphi^{-1}(\tilde A_k))=
\tilde P(\tilde T^{-n_1}\tilde A_1\cap\cdots\cap
\tilde T^{-n_k}\tilde A_k). \tag5.2
$$
}

\medskip
A fenti lemma azt mondja ki, hogy b\'ar dinamikus rendszerek
izomorfi\'aj\'anak a definici\'oj\'aban megengedt\"uk bizonyos null
m\'ert\'ek\H{u} halmazok kihagy\'as\'at, a $T$ illetve $\tilde T$
shift oper\'atorok hatv\'anyai \'ugy viselkednek, mint abban az
egyszer\H{u}bb esetben, amikor a null m\'ert\'ek\H{u} halmazok ezen
kihagy\'as\'at nem engedj\"uk meg, azaz, ha $\Omega_0=\Omega$, \'es
$\tilde\Omega_0=\tilde\Omega$.

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Az (5.1) formul\'at $n$ szerinti
teljes indukci\'oval l\'athatjuk be. $n=1$-re a formula igaz, \'es
ha igaz $n$-re, akkor $\varphi (T^{n+1}\oo)=\varphi( T^n(T\oo))
=\tilde T^n\varphi(T\oo)=\tilde T^n(\tilde T(\varphi(\oo))=
\tilde T^{n+1}\varphi(\oo)$.

Az (5.2) rel\'aci\'o igazol\'asa \'erdek\'eben el\H{o}sz\"or
mutassuk meg, hogy amennyiben $\tilde A\in\tilde\Omega_0$,
akkor minden $n\ge0$ sz\'amra
$T^{-n}\varphi^{-1}(\tilde A)\cap\Omega_0
=\varphi^{-1}(\tilde T^{-n}(\tilde A)\cap\tilde\Omega_0)$.
Val\'oban,
$\oo\in T^{-n}\varphi^{-1}(\tilde A)\cap\Omega_0$ akkor \'es csak
akkor, ha
$\oo\in T^{-n}\varphi^{-1}(\tilde A)$ \'es $\oo\in\Omega_0$, azaz
$\varphi(T^n\oo)\in\tilde A$, \'es $\oo\in\Omega_0$.

M\'asr\'eszt
$\oo\in\varphi^{-1}(\tilde T^{-n}(\tilde A)\cap\tilde\Omega_0)$
azzal ekvivalens, hogy
$\varphi(\oo)\in\tilde T^{-n}(\tilde A)\cap\tilde\Omega_0$, azaz
$\tilde T^n\varphi(\oo)\in\tilde A$ \'es
$\varphi(\oo)\in\tilde\Omega_0$. Ez viszont az (5.1) rel\'aci\'o
szerint azzal ekvivalens, hogy
$\varphi(T^n\oo)\in\tilde A$ \'es $\oo\in\Omega_0$. A fel\'{\i}rt
azonoss\'ag teh\'at \'erv\'enyes.

Alkalmazva ezt az azonoss\'agot mindegyik $\tilde A_j$, $1\le j\le k$,
halmazra $n_j$ param\'eterrel, \'es v\'eve az azonoss\'ag k\'et
oldal\'an l\'ev\H{o} halmazok metszet\'et azt kapjuk, hogy
$$
T^{-n_1}\varphi^{-1}(\tilde A_1)\cap\cdots\cap
T^{-n_k}\varphi^{-1}(\tilde A_k)\cap\Omega_0=
\varphi^{-1}(\tilde T^{-n_1}\tilde A_1\cap\cdots\cap
\tilde T^{-n_k}\tilde A_k\cap\tilde\Omega_0).
$$
Ez\'ert a fenti azonoss\'ag k\'et oldal\'an lev\H{o} halmaz $P$
val\'osz\'{\i}n\H{u}s\'ege egyenl\H{o}. Az (5.2) azonoss\'ag
k\"ovetkezik ebb\H{o}l az azonoss\'agb\'ol \'es a k\"ovetkez\H{o}
k\'et \'eszrev\'etelb\H{o}l.
$$
P(T^{-n_1}\varphi^{-1}(\tilde A_1)\cap\cdots\cap
T^{-n_k}\varphi^{-1}(\tilde A_k)\cap\Omega_0)=
P(T^{-n_1}\varphi^{-1}(\tilde A_1)\cap\cdots\cap
T^{-n_k}\varphi^{-1}(\tilde A_k)),
$$
mert $P(\Omega_0)=1$. M\'asr\'eszt
$$
\align
&P(\varphi^{-1}(\tilde T^{-n_1}\tilde A_1\cap\cdots\cap
\tilde T^{-n_k}\tilde A_k\cap\tilde\Omega_0)) \\
&\qquad =\tilde P(\tilde T^{-n_1}\tilde A_1\cap\cdots\cap
\tilde T^{-n_k}\tilde A_k\cap\tilde\Omega_0)
=\tilde P(\tilde T^{-n_1}\tilde A_1\cap\cdots\cap
\tilde T^{-n_k}\tilde A_k)
\endalign
$$
a $\varphi$ transzform\'aci\'o m\'ert\'ektart\'o tulajdons\'aga
\'es a $\tilde P(\tilde\Omega_0)=1$ rel\'aci\'o miatt.

\medskip
Bevezetem egy invert\'alhat\'o dinamikus rendszer
entr\'opi\'aj\'aj\'anak a fogalm\'at. De ezt csak
{\it invert\'alhat\'o}\/ dinamikus rendszerek eset\'eben
fogom megtenni. A definici\'o bevezet\'ese \'erdek\'eben
el\H{o}sz\"or bebizony\'{\i}tok egy egyszer\H{u} lemm\'at. A
lemma megfogalmaz\'as\'aban hasz\-n\'al\-ni fogom a k\"ovetkez\H{o}
jel\"ol\'est. Legyen $(\Omega,\Cal A,P,T)$ egy invert\'alhat\'o
dinamikus rendszer. Egy e dinamikus rendszerben defini\'alt $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $T^n\xi$ eltoltj\'an
a $T^n\xi(\oo)=\xi(T^n\oo)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot
\'ertj\"uk minden $n=\dots,-1,0,1,\dots$ indexre. (Speci\'alisan
$T^0\xi(\oo)=\xi(\oo)$.)

\medskip\noindent
{\bf Lemma az entr\'opia egy tulajdons\'ag\'ar\'ol.}
{\it Legyen $(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus
rendszer, \'es legyen $\xi(\oo)$ egy $\Cal A$ m\'erhet\H{o}
v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen \'ert\'eket
felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o.
Ekkor l\'etezik az
$$
\lim_{n\to\infty}H(\xi|T^{-1}\xi,\dots,T^{-n}\xi). \tag5.3
$$
hat\'ar\'ert\'ek. Ha $H(\xi)<\infty$ akkor ez a hat\'ar\'ert\'ek 
v\'eges, \'es
$$
\aligned
&\lim_{n\to\infty}H(\xi|T^{-1}\xi,\dots,T^{-n}\xi)
=\lim_{n\to\infty}\frac1n H(\xi,T\xi,\dots,T^{n-1}\xi)\\
&\qquad =\lim_{n\to\infty}\frac1{2n-1} H(T^{-n+1}\xi,\dots,T^{-1}\xi,
\xi,T\xi,\dots,T^{n-1}\xi). 
\endaligned\tag5.4
$$
}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}  
Az els\H{o} fejezet eredm\'enyeib\H{o}l k\"ovetkezik, hogy
a $H(\xi|T^{-1}\xi,\dots,T^{-k}\xi)$ fel\-t\'e\-te\-les entr\'opia
sorozat a $k$ param\'eter monoton cs\"okken\H{o} f\"uggv\'enye.
Ez\'ert l\'etezik a 
$$
\lim_{n\to\infty}H(\xi|T^{-1}\xi,\dots,T^{-n}\xi)
$$
hat\'ar\'ert\'ek, \'es az v\'eges, ha $H(\xi)<\infty$.
Ebben az esetben fel\'{\i}rhatjuk a
$$
\align
\frac1n H(\xi,T\xi,\dots,T^{n-1}\xi)&=
\frac1n\sum_{k=1}^{n-1}H(T^k\xi|T^{k-1}\xi,\dots,T^0\xi)+\frac{H(\xi)}n\\
&=\frac1n\sum_{k=1}^{n-1}H(\xi|T^{-1}\xi,\dots,T^{-k}\xi)+\frac{H(\xi)}n
\endalign
$$
azonoss\'agot. E formula els\H{o} azonoss\'ag\'aban felhaszn\'altuk
az entr\'opia \'es felt\'eteles ent\-r\'o\-pia els\H{o} fejezetben
bizony\'{\i}tott tulajdons\'agait, a m\'asodik azonoss\'agban pedig
azt a t\'enyt, hogy a $(T^k\xi,T^{k-1}\xi,\dots,\xi)$, illetve
$(\xi,T^{-1}\xi,\dots,T^{-k}\xi)$ vektorok azonos eloszl\'as\'uak,
ez\'ert $ H(T^k\xi|T^{k-1}\xi,\dots,T^0\xi)=
H(\xi|T^{-1}\xi,\dots,T^{-k}\xi)$ minden $k=0,1,\dots$ indexre.
Innen azt kapjuk, hogy
$$
\align
\lim_{n\to\infty}\frac1n H(\xi,T\xi,\dots,T^{n-1}\xi)&=
\lim_{n\to\infty}\(\frac1n\sum_{k=1}^{n-1}
H(\xi|T^{-1}\xi,\dots,T^{-k}\xi)+\frac{H(\xi)}n\)\\
&=\lim_{n\to\infty}
H(\xi|T^{-1}\xi,\dots,T^{-1}\xi,\dots,T^{-n}\xi)
\endalign
$$
azaz igaz az (5.4) formula els\H{o} azonoss\'aga.

Mivel
$$
H(T^{-n+1}\xi,\dots,T^{-1}\xi,\xi,T\xi,\dots,T^{n-1}\xi)
=H(\xi,T\xi,\dots,T^{2n-2}\xi)
$$
igaz az (5.4) formula m\'asodik azonoss\'aga is.

\medskip\noindent
{\bf Invert\'alhat\'o dinamikus rendszer entr\'opi\'aj\'anak a
definici\'oja.} {\it Legyen adva egy $(\Omega,\Cal A,P,T)$
invert\'alhat\'o dinamikus rendszer, \'es tekints\"unk ezen egy
olyan $\Cal A$ m\'erhet\H{o} v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen \'ert\'eket felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot. A $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $T$ shift transzform\'aci\'o
szerinti entr\'opi\'aja a
$$
H(T,\xi)=\lim_{n\to\infty} H(\xi|T^{-1}\xi,\dots,T^{-n}\xi) \tag5.5
$$
hat\'ar\'ert\'ek. (Az el\H{o}z\H{o} lemma szerint ez a 
hat\'ar\'ert\'ek l\'etezik, \'es v\'eges, ha $H(\xi)<\infty$.) A $T$ 
shift transzform\'aci\'o entr\'opi\'aja a
$$
H(T)=\sup_{\xi} H(T,\xi) \tag5.6
$$
kifejez\'essel egyenl\H{o}, ahol a szupr\'emumot az \"osszes
$\Cal A$ m\'erhet\H{o} \'es v\'eges sok \'ert\'eket felvev\H{o}
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora vessz\"uk.}

\medskip\noindent
{\it Megjegyz\'es.}\/ L\'attuk, hogy a $H(\xi)<\infty$ esetben
a $H(T,\xi)$ mennyis\'eget a
$$
H(T,\xi)=\lim_{n\to\infty}\frac1n H(T^0\xi,\dots,T^{n-1}\xi)
$$
k\'eplet seg\'{\i}ts\'eg\'evel is kifejezhetj\"uk.

\medskip
Egy invert\'alhat\'o dinamikus rendszer shift
transzform\'aci\'oj\'anak az entr\'opi\'aj\'at az irodalomban
gyakran kiss\'e m\'as, de ekvivalens m\'odon \'{\i}rj\'ak le.
Ismertetem ezt a definici\'ot is. El\H{o}tte eml\'ekeztetek arra,
hogy egy (v\'eges vagy megsz\'aml\'alhat\'o \'ert\'eket felvev\H{o})
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o term\'eszetes m\'odon
meghat\'arozza a val\'osz\'{\i}n\H{u}s\'egi mez\H{o} egy
partici\'oj\'at. Nevezetesen, e partici\'o elemei a
val\'osz\'{\i}n\H{u}s\'egi mez\H{o} azon (n\'{\i}v\'o)halmazai,
ahol a val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o egy el\H{o}\'{\i}rt
\'ert\'eket vesz fel. Tov\'abb\'a a val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o entr\'opi\'aja csak ezen partici\'ot\'ol f\"ugg.
M\'asr\'eszt egy $(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi
mez\H{o} minden $\Cal A$ m\'erhet\H{o} halmazokb\'ol \'all\'o
partici\'oj\'ahoz l\'etezik olyan $\Cal A$ m\'erhet\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amely ezt a partici\'ot
hat\'arozza meg. Ez lehet\H{o}v\'e teszi, hogy egy dinamikus
rendszer shift transzform\'aci\'oj\'anak az entr\'opi\'aj\'at ne
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, hanem partici\'ok
seg\'{\i}ts\'eg\'evel defini\'aljuk, \'es az irodalomban gyakran
ezt teszik. Megadom ezt a definici\'ot is, illetve ismertetem
kapcsolat\'at az el\H{o}bb le\'{\i}rt definici\'oval. Az 
egyszer\H{u}s\'eg kedv\'e\'ert csak olyan $\xi$ 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okkal, illetve nekik
megfelel\H{o} $\Cal B$ partici\'okkal fogok foglalkozni, amelyekre
$H(\xi)<\infty$.

Legyen adva egy $(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus
rendszer. Vegy\"uk \'eszre, hogy amennyiben egy $\Cal A$
m\'erhet\H{o} $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'onak az
$\Omega$ halmaz egy $\Cal B$ partici\'oja felel meg, akkor a
$T^n\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'onak a $\Cal B$
partici\'onak az e partici\'o $B_j$ halmazainak a $T^n$
transzform\'aci\'o szerinti $T^{-n}B_j$ \H{o}sk\'epeib\H{o}l
\'all\'o $T^{-n}\Cal B$ particici\'o felel meg. Ha adva vannak az
$\Omega$ halmaz valamely $\Cal C_1$,\dots, $\Cal C_k$ partici\'oi,
akkor jel\"olje $\Cal C_1\wedge\cdots\wedge\Cal C_k$ e partici\'ok
k\"oz\"os finom\'{\i}t\'as\'at. Ez az \"osszes
$C_{j_1}(1)\cap\cdots\cap C_{j_k}(k)$ alak\'u halmazb\'ol \'all,
ahol $C_{j_s}(s)\in\Cal C_s$, $1\le s\le k$. Ha a $\xi$, 
$H(\xi)<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o a $\Cal B$ 
partici\'ot hat\'arozza meg, akkor ezzel a jel\"ol\'essel a
$(T^{n_1}\xi,\dots,T^{n_k}\xi)$ vektornak a
$T^{-n_1}\Cal B\wedge\cdots\wedge T^{-n_k}\Cal B$
partici\'o felel meg.

Ha adva van az $\Omega$ halmaz egy olyan
$\Cal B=\{B_1,B_2,\dots\}$ partici\'oja, amelyet egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o hat\'aroz meg, akkor
term\'eszetes a $\Cal B$ partici\'o $T$ shift szerinti
entr\'opi\'oj\'at a
$$
H(T,\Cal B)=\lim_{n\to\infty}\frac1n
H(\Cal B\wedge\cdots\wedge T^{-(n-1)}\Cal B)
$$
\'es
$$
H(\Cal B\wedge\cdots\wedge T^{-(n-1)}\Cal B)
=H(\xi,T\xi,\dots,T^{n-1}\xi)
=-\sum_{j_1,\dots,j_n}
g(P(B_{j_1}\cap\cdots\cap T^{-(n-1)}B_{j_n}))
$$
k\'epletek seg\'{\i}ts\'eg\'evel defini\'alni, ahol $g(x)=x\log x$.
Ekkor a
$$
H(T)=\sup_{\Cal B} H(T,\Cal B)
$$
k\'eplet, ahol a szupr\'emumot az $\Omega$ halmaz \"osszes v\'eges
\'es $\Cal A$ m\'erhet\H{o} partici\'oj\'ara vessz\"uk a $T$ shift
transzform\'aci\'o el\H{o}bb bevezetett entr\'opi\'aj\'at adja.

Megfogalmazom az entr\'opia invari\'ans tulajdons\'ag\'ar\'ol
sz\'ol\'o eredm\'enyt.

\medskip\noindent
{\bf T\'etel izomorf dinamikus rendszerek entr\'opi\'aj\'anak
egyenl\H{o}s\'eg\'er\H{o}l.} {\it Legyen $(\Omega,\Cal A,P,T)$
\'es $(\tilde\Omega,\tilde{\Cal A},\tilde P,\tilde T)$ k\'et izomorf
invert\'alhat\'o dinamikus rendszer. Ekkor a $T$ \'es $\tilde T$
shift transzform\'aci\'ok entr\'opi\'aja egyenl\H{o}, azaz
$H(T)=H(\tilde T)$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ A jobb meg\'ert\'es \'erdek\'eben
tekints\"uk el\H{o}sz\"or azt a speci\'alis esetet, amikor a k\'et
dinamikus rendszer az $(\Omega,\tilde\Omega,\varphi)$ h\'armason
kereszt\"ul izomorf, ahol $\varphi$ az $\Omega$ halmaz egy alkalmas
k\"olcs\"on\"osen egy\'ertelm\H{u} lek\'epez\'ese a $\tilde\Omega$
halmazba. Azaz azt az esetet tekintj\"uk, amikor az izomorfia
definici\'oj\'at biztos\'{\i}t\'o $(\Omega_0,\tilde\Omega_0,\varphi)$ 
h\'armasban $\Omega_0=\Omega$ \'es
$\tilde\Omega_0=\tilde\Omega$ halmazokat v\'alaszthatunk.

Ebben az esetben az $\Omega$ halmaz egy  $\Cal A$ m\'erhet\H{o}
$\Cal B=\{B_1,\dots,B_r\}$ v\'eges partici\'oj\'anak feleltess\"uk
meg az $\tilde\Omega$ halmaz $\tilde{\Cal A}$ m\'erhet\H{o}
$\tilde{\Cal B}=\{\varphi(B_1),\dots,\varphi(B_r)\}$ m\'erhet\H{o}
partici\'oj\'at. Az izomorfia tulajdons\'agai miatt ekkor
tetsz\H{o}leges $n$ sz\'amra \'es $1\le j_s\le r$, $1\le s\le n$
indexekre
$P(T^{-0}B_{j_0}\cap T^{-1}B_{j_1}\cap\cdots\cap T^{-n}B_{j_n})
=\tilde P(\tilde T^{-0}\tilde B_{j_0}\cap
\tilde T^{-1}\tilde B_{j_1}\cap\cdots\cap\tilde T^{-n}\tilde B_{j_n})$.
Innen k\"ovetkezik, hogy tetsz\H{o}leges $\Cal A$ m\'erhet\H{o}
(v\'eges sok \'ert\'eket felvev\H{o}) $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ohoz l\'etezik olyan
$\tilde{\Cal A}$ m\'erhet\H{o} (v\'eges sok \'ert\'eket felvev\H{o})
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$H(\xi,T\xi,\dots,T^n\xi)
=H(\eta,\tilde T\eta,\dots,\tilde T^n\eta)$ minden $n$-re,
ez\'ert $H(T,\xi)=H(\tilde T,\eta)$. Hasonl\'o \'all\'{\i}t\'as
\'erv\'enyes akkor is, ha az $\Omega$ halmaz \'es $\Cal A$
m\'erhet\H{o} partici\'ok illetve a $\tilde\Omega$ halmaz \'es
$\tilde{\Cal A}$ m\'erhet\H{o} partici\'ok szerep\'et
felcser\'elj\"uk. Ez\'ert $H(T)=H(\tilde T)$.

Az \'altal\'anos esetben a fenti \'ervel\'est kiss\'e
finom\'{\i}tani kell. Szimmetria okokb\'ol el\'eg azt bel\'atni,
hogy $H(\tilde T)\le H(T)$, \'es ehhez el\'eg azt
bebizony\'{\i}tani, hogy ha $\eta$ egy az $\tilde\Omega$
halmazon defini\'alt v\'eges sok \'ert\'eket felvev\H{o}
$\tilde{\Cal A}$ m\'erhet\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, akkor l\'etezik olyan az $\Omega$ halmazon defini\'alt
v\'eges sok \'ert\'eket felvev\H{o} $\Cal A$ m\'erhet\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$H(T,\xi)=H(\tilde T,\eta)$. S\H{o}t azt is feltehetj\"uk, hogy az
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o n\'{\i}v\'ohalmazai
az $\tilde\Omega$ halmaznak egy olyan
$\{\tilde B_1,\dots,\tilde B_r,\tilde B_{r+1}\}$ partici\'oj\'at
adj\'ak, amelyre $\bigcupp_{j=1}^r \tilde B_j=\tilde\Omega_0$,
\'es $\tilde B_{r+1}=\tilde\Omega\setminus\tilde\Omega_0$.
Vezess\"uk be az $\Omega$ halmaznak azt a
$\{B_1,\dots,B_r,B_{r+1}\}$ partici\'oj\'at, amelyre
$B_s=\varphi^{-1}(\tilde B_s)$, ha $1\le s\le r$, \'es
$B_{r+1}=\Omega\setminus\Omega_0$. Legyen $\xi$ egy olyan
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelynek
n\'{\i}v\'ohalmazai ezek a $B_s$, $1\le s\le r+1$, halmazok. Azt
\'all\'{\i}tom, hogy $H(T,\xi)=H(\tilde T,\eta)$. S\H{o}t, az is
igaz, hogy tetsz\H{o}leges $n$ sz\'amra
$H(\xi,T\xi,\dots,T^n\xi)=H(\eta,\tilde T\eta,\dots,\tilde T^n\eta)$.
Ehhez azt kell \'eszrevenni, hogy az (5.2) azonoss\'ag miatt
$$
P(\varphi^{-1}(\tilde C_{j_0})\cap
T^{-1}\varphi^{-1}(\tilde C_{j_1})\cap\cdots\cap
T^{-n}\varphi^{-1}(\tilde C_{j_n}))=
\tilde P(\tilde C_{j_0}\cap\tilde T^{-1}\tilde C_{j_1}\cap\cdots\cap
\tilde T^{-n}\tilde C_{j_n}),
$$
ha $1\le j_s\le r$ minden $1\le s\le n$ indexre, \'es a
bizony\'{\i}tand\'o azonoss\'agban szerepl\H{o} k\'et entr\'opia
ezen val\'osz\'{\i}n\H{u}s\'egek f\"uggv\'enye. (Azokat a tagokat,
amelyekben a $\tilde C_{r+1}$ vagy $C_{r+1}$ esem\'enyek szerepelnek
elhagyhatjuk a megfelel\H{o} entr\'opi\'ak kisz\'amol\'as\'aban,
mert ez\'altal nulla val\'osz\'{\i}n\H{u}s\'eg\H{u} esem\'enyek
f\"uggv\'enyeit hagyjuk ki  a megfelel\H{o} entr\'opi\'akat
kifejez\H{o} \"osszegekb\H{o}l. A t\'etelt bel\'attuk.

\medskip
Annak \'erdek\'eben, hogy a fenti t\'etelt alkalmazni tudjuk
sz\"uks\'eg\"unk van olyan eredm\'enyre, amely lehet\H{o}v\'e
teszi azt, hogy egy invert\'alhat\'o dinamikus rendszer shift
transzform\'aci\'oj\'anak az  entr\'opi\'aj\'at kisz\'amoljuk.
Egy ilyen eredm\'eny meg\-fo\-gal\-ma\-z\'a\-s\'a\-nak az
\'erdek\'eben bevezetem a k\"ovetkez\H{o} definici\'ot.

\medskip\noindent
{\bf Egy val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eltoltjai \'altal
gener\'alt $\sigma$-algebra definici\'oja.} {\it Legyen
$(\Omega,\Cal A,P,T)$ egy invert\'alhat\'o dinamikus rendszer,
\'es $\xi$ egy $\Cal A$ m\'erhet\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o. A $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \
\'es a $T$ shift \'altal gener\'alt $\sigma$-algebr\'an a $T^j\xi$,
$-\infty<j<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'altal
gener\'alt $\sigma(T,\xi)=\sigma(T^j\xi,\,-\infty<j<\infty)$,
$\sigma$-algebr\'at \'ertj\"uk.}

\medskip\noindent
{\bf T\'etel egy dinamikus rendszerben defini\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
ent\-r\'o\-pi\'a\-j\'a\-nak az \"osszehasonl\'{\i}t\'as\'ar\'ol.}
{\it Legyen $(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus
rendszer, $\xi$ \'es $\eta$ pedig k\'et olyan $\Cal A$ m\'erhet\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyek k\"oz\"ul $\xi$
v\'eges sok, $\eta$ v\'eges sok vagy megsz\'aml\'alhat\'oan
v\'egtelen  sok \'ert\'eket vesz fel, $H(\eta)<\infty$, \'es $\xi$
$\sigma(T,\eta)$ m\'erhet\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o. Ekkor $H(T,\xi)\le H(T,\eta)$.}

\medskip\noindent
{\bf K\"ovetkezm\'eny.} {\it Legyen adva egy $(\Omega,\Cal A,P,T)$
invert\'alhat\'o dinamikus rendszer, \'es legyen $\eta$ olyan az
$\Omega$ halmazon defini\'alt v\'eges sok \'ert\'eket felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$\sigma(T,\eta)=\Cal A$. Ekkor $H(T)=H(T,\eta)$. Speci\'alisan, ha
$(\Omega,\Cal A,P,T)$ egy $r\ge2$ eg\'esz sz\'ammal \'es $p_j\ge0$,
$1\le j\le r$, $\summ_{j=1}^rp_j=1$, param\'eterekkel meghat\'arozott
 Bernoulli rendszer, akkor $H(T)=-\summ_{j=1}^rp_j\log p_j$.}

\medskip\noindent
{\it A k\"ovetkezm\'eny bizony\'{\i}t\'asa.}\/ A t\'etel
felt\'eteleinek teljes\"ul\'ese eset\'en $H(T,\xi)\le H(T,\eta)$
minden v\'eges sok \'ert\'eket felvev\H{o} \'es $\Cal A$
m\'erhet\H{o} $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora.
Ez\'ert a $H(T)$ entr\'opi\'anak az (5.6) formul\'aban megadott
definici\'oja szerint $H(T,\eta)=H(T)$. Egy Bernoulli rendszer
eset\'eben defini\'aljuk az $\eta(\oo)=x_0$, ha
$\oo=(\dots,x_{-1},x_0,x_1,\dots)$ k\'eplettel megadott
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot. Ekkor
$\sigma(T,\eta)=\Cal A$, ez\'ert $H(T)=H(T,\eta)$. Tov\'abb\'a a
Bernoulli rendszer definici\'oja miatt a $T^{-n}\eta$,
$n=0,\pm1,\dots$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
f\"uggetlenek (\'es egyforma eloszl\'as\'uak),
ez\'ert $H(\eta|T^{_1}\eta,\dots,T^{-n}\eta)=H(\eta)$, \'es
$H(T)=h(T,\eta)=H(\eta)=-\summ_{j=1}^r p_j\log p_j$.

\medskip
A fent megfogalmazott eredm\'enyekb\H{o}l k\"ovetkezik, hogy
k\'et $r$, \'es $p_1,\dots,p_r$ illetve $\bar r$ \'es
$\bar p_1,\dots,\bar p_r$ param\'eterekkel defini\'alt Bernoulli
rendszer csak akkor lehet izomorf, ha az entr\'opi\'ajuk
egyenl\H{o}, azaz, ha
$\summ_{j=1}^rp_j\log p_j=\summ_{j=1}^{\bar r}\bar p_j\log \bar p_j$.
K\'es\H{o}bb be fogom bizony\'{\i}tani a k\"ovetkezm\'eny egy
olyan \'altal\'anos\'{\i}t\'as\'at, amely lehet\H{o}v\'e teszi a
Bernoulli rendszerek izomorfi\'aj\'ar\'ol sz\'ol\'o eredm\'eny
\'altal\'anos\'{\i}t\'as\'at olyan dinamikus rendszerekre is,
amelyeket a Bernoulli rendszerekhez hasonl\'oan defini\'alunk, de
megengedj\"uk azt is, hogy a benne szerepl\H{o} $r$ param\'eter
$r=\infty$ legyen. Ezel\H{o}tt azonban a shift transzform\'aci\'o
\'altal gener\'alt $\sigma$-algebr\'ar\'ol sz\'ol\'o t\'etel
bizony\'{\i}t\'as\'at ismertetem.

El\H{o}sz\"or \'erts\"uk meg e t\'etel szeml\'eletes tartalm\'at.
Az entr\'opia szeml\'eletesen azt adja meg, hogy egy
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o megismer\'es\'ehez mennyi
inform\'aci\'o sz\"uks\'eges. Els\H{o} r\'an\'ez\'esre azt
v\'arn\'ank, hogy ha adva van egy $(\Omega,\Cal A,P,T)$
invert\'alhat\'o dinamikus rendszer \'es egy $\xi$ $\Cal A$
m\'erhet\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, akkor a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o megismer\'es\'ehez sokkal
kevesebb inform\'aci\'o kell, mint p\'eld\'aul az
$\eta=(\xi,T\xi,\dots,T^{1000}\xi)$ v\'eletlen vektor
megismer\'es\'ehez. Ez az elk\'epzel\'es azonban t\'eves, mert nem
a $H(\xi)$ \'es $H(\eta)$, hanem a $H(T,\xi)$ \'es $H(T,\eta)$
entr\'opi\'akat kell \"osszehasonl\'{\i}tanunk. Az
ut\'obbi entr\'opi\'akat k\"ozel\'{\i}t\H{o}
$\frac1nH(\xi,\dots,T^n\xi)$ \'es
$\frac1nH(\xi,\dots,T^{n+1000}\xi)$ entr\'opi\'ak pedig nagy $n$
pa\-ra\-m\'e\-ter\-re m\'ar nagyon k\"ozel vannak egym\'ashoz. A
bizony\'{\i}tand\'o t\'etel az e p\'elda \'altal sugallt k\'epnek
felel meg. Azt \'all\'{\i}tja, hogy ahhoz, hogy egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ohoz tartoz\'o $\xi,T\xi,\dots$
sorozat tagjainak megismer\'es\'ehez sz\"uks\'eges $H(T,\xi)$
inform\'aci\'o ne legyen t\"obb, mint egy $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ohoz tartoz\'o
$\eta,T\eta,\dots$ sorozat tagjainak megismer\'es\'ehez
sz\"uks\'eges $H(T,\eta)$ inform\'aci\'o el\'egs\'eges azt feltenni,
hogy $\xi\in\sigma(T,\eta)$, azaz szeml\'eletesen azt
el\H{o}\'{\i}rni, hogy a $\dots,T^{-1}\eta,\eta,T\eta,\dots$
v\'eletlen sorozat  ismeret\'eben ismerj\"uk a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot is. A bizony\'{\i}t\'asban
sz\"uks\'eg\"unk van egy olyan eredm\'enyre, amely azt
biztos\'{\i}tja, hogy a $\xi\in\sigma(T,\eta)$ esetben a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o n\'{\i}v\'ohalmazait j\'ol
tudjuk approxim\'alni a $\sigma(T,\eta)$ $\sigma$-algebra
bizonyos speci\'alis \'es k\'e\-nyel\-me\-sen
hasz\-n\'al\-ha\-t\'o halmazaival. Ez\'ert hasznos lesz
sz\'amunkra a k\"ovetkez\H{o} lemma.

\medskip\noindent
{\bf Lemma $\sigma$-algebra elemeinek j\'o
approxim\'aci\'oj\'ar\'ol.} {\it Legyen adva egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}, \'es jel\"olje
$A\Delta B=(A\setminus B)\cup(B\setminus A)$
k\'et $A\in\Cal A$ \'es $B\in\Cal A$ halmaz szim\-met\-ri\-kus
differenci\'aj\'at. Vezess\"uk be a $\rho(A,B)=P(A\Delta B)$,
$A\in\Cal A$, $B\in\Cal A$, f\"uggv\'enyt. Ekkor $\rho(A,B)$
pszeudo metrika, ($\rho(A,B)\ge0$, de lehets\'eges, hogy
$\rho(A,B)=0$, noha $A\neq B$). Tov\'abb\'a
$\rho(A_1\cup A_2,B_1\cup B_2)\le\rho(A_1,B_1)+\rho(A_2,B_2)$.
Ha $\Cal B\subset \Cal A$ egy halmaz algebra, \'es
$\Cal C=\sigma(\Cal B)$ a $\Cal B$ halmaz algebra \'altal gener\'alt
$\sigma$-algebra, akkor minden $\e>0$ sz\'amhoz \'es $C\in\Cal C$
halmazhoz l\'etezik olyan $B=B(\e,C)\in \Cal B$ halmaz, amelyre
$\rho(B,C)\le\e$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ A $\rho(\cdot)$ f\"uggv\'eny
pszeudo metrika, mert nyilv\'an $\rho(A,B)\ge0$, $\rho(A,B)=\rho(B,A)$,
\'es a $\rho(A,C)\le \rho(A,B)+\rho(B,C)$ rel\'aci\'o is teljes\"ul,
mert mint k\"onny\H{u} ellen\-\H{o}riz\-ni,
$P(A\setminus C)\le P(A\setminus B)+P(B\setminus C)$, \'es
$P(C\setminus A)\le P(B \setminus A)+P(C\setminus B)$.
Hasonl\'oan,
$\rho(A_1\cup A_2,B_1\cup B_2)\le\rho(A_1,B_1)+\rho(A_2,B_2)$,
mert
$P((A_1\cup A_2)\setminus(B_1\cup B_2))\le
P(A_1\setminus B_1)+P(A_2\setminus B_2)$, \'es
$P((B_1\cup B_2)\setminus(A_1\cup A_2))\le
P(B_1\setminus A_1)+P(B_2\setminus A_2)$.
A lemma utols\'o \'all\'{\i}t\'as\'anak igazol\'as\'ahoz egy
$C\in\Cal C$ halmaznak egy $B\in\Cal B$ halmazzal val\'o j\'o
approxim\'alhat\'os\'ag\'ar\'ol vezess\"uk be az $\Omega$ halmaz
r\'eszhalmazainak a k\"ovetkez\H{o} $\Cal D$ oszt\'aly\'at.
$$
\align
\Cal D=\{D\colon\; D\in \Cal A, \quad& \text{minden $\e>0$ sz\'amhoz
l\'etezik olyan $B\in\Cal B$ halmaz,} \\
&\qquad \text{amelyre } P(B\Delta D)\le\e\}.
\endalign
$$
Azt kell megmutatni, hogy $\Cal C\subset\Cal D$. Mivel
$\Cal B\subset\Cal D$, el\'eg igazolni, hogy $\Cal D$ $\sigma$-algebra,
mert ez azt jelenti, hogy tartalmazza a $\Cal B$ \'altal gener\'alt
$\sigma$-algebr\'at.

Nyilv\'anval\'o, hogy $D\in\Cal D$ eset\'en
$\Omega\setminus D\in\Cal D$, mert ha $A\in\Cal A$ a $D$ halmaznak
j\'o k\"ozel\'{\i}t\'ese a $\rho$ t\'avols\'ag szerint, akkor a
$P((\Omega\setminus D)\Delta(\Omega\setminus A))=P(D\Delta A)$
azonoss\'ag miatt az $\Omega\setminus A\in\Cal A$ halmaz
j\'o k\"ozel\'{\i}t\'ese az $\Omega\setminus D$ halmaznak a $\rho$
t\'avols\'ag szerint. Azt kell m\'eg bel\'atni, hogy amennyiben
$D_n\in\Cal D$, minden $n=1,2,\dots$ indexre akkor
$D=\bigcupp_{n=1}^\infty D_n\in\Cal D$.

Ennek bizony\'{\i}t\'asa \'erdek\'eben tekints\"unk egy
r\"ogz\'{\i}tett $\e>0$ sz\'amra egy olyan $N=N(\e)$ indexet,
amelyre a $D^{(N)}=\bigcupp_{n=1}^N D_n$ halmazra
$P(D\setminus D^{(N)})\le\frac\e2$. Ezenk\'{\i}v\"ul v\'alasszunk
minden $D_n$ halmazhoz egy olyan $B_n\in\Cal B$ halmazt, amelyre
$P(D_n\Delta B_n)\le \frac\e{2^{n+1}}$. Ekkor a
$B=\bigcupp_{n=1}^N B_n$ halmazra $B\in\Cal B$.
Ezenk\'{\i}v\"ul azt \'all\'{\i}tom, hogy $P(B\Delta D)\le\e$.
Val\'oban,
$$
P(B\Delta D)\le P(B\Delta D^{(N)})+P(D\setminus D^{(N)})
\le\sum_{n=1}^N P(B_n\Delta D_n)+P(D\setminus D^{(N)})\le \e.
$$
Mivel ilyen konstrukci\'o minden $\e>0$-ra elv\'egezhet\H{o}, innen
k\"ovetkezik, hogy $D\in\Cal D$. A lemm\'at bel\'attuk.

\medskip
A most bizony\'{\i}tott lemma seg\'{\i}ts\'eg\'evel bel\'atjuk a
k\"ovetkez\H{o} eredm\'enyt.

\medskip\noindent
{\bf T\'etel v\'eges sok \'ert\'eket felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o j\'o
app\-ro\-xi\-m\'al\-ha\-t\'o\-s\'a\-g\'a\-r\'ol.} {\it Legyen adva
egy $(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}, egy
$\Cal B\subset\Cal A$ halmaz algebra, \'es az $\Omega$ halmaznak egy
olyan $\Cal D$ v\'eges sok elemb\H{o}l \'all\'o partici\'oja, amely
partici\'o elemei benne vannak a $\Cal B$ algebra \'altal gener\'alt
$\Cal C=\sigma(\Cal B)$ $\sigma$-algebr\'aban. Ekkor minden
$\e>0$ sz\'amhoz l\'etezik az $\Omega$ halmaznak egy olyan
a $\Cal B$ algebra v\'eges sok elem\'eb\H{o}l \'all\'o $\Cal E$
partici\'oja, amely j\'ol k\"ozel{\i}ti a $\Cal D$ partici\'ot a 
k\"ovetkez\H{o} \'ertelemben. Ha $\xi$ olyan 
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelynek adott
\'ert\'eket felvev\H{o} n\'{\i}v\'ohalmazai a $\Cal D$ partici\'o
elemei, $\zeta$ olyan val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelynek adott \'ert\'eket felvev\H{o} n\'{\i}v\'ohalmazai a
$\Cal E$ partici\'o elemei, akkor a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'onak a $\zeta$  val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
szerinti $H(\xi|\zeta)$ felt\'eteles entr\'opi\'aja teljes\'{\i}ti
a $H(\xi|\zeta)\le\e$ egyenl\H{o}tlens\'eget.}

\medskip
A t\'etel \'all\'{\i}t\'as\'anak jobb meg\'ert\'ese \'erdek\'eben
tekints\"uk a k\"ovetkez\H{o} p\'eld\'at. Legyen az
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o} a $[0,1)$
intervallum, rajta a Borel $\sigma$-algebr\'aval \'es a Lebesgue
m\'ert\'ekkel, mint val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ekkel.
Tekints\"uk ezen a t\'eren azt a $\Cal B$ algebr\'at, amelynek
elemei olyan halmazok, amelyek v\'eges sok balr\'ol z\'art,
jobbr\'ol ny\'{\i}lt, racion\'alis v\'egpont\'u intervallum
uni\'ojak\'ent \'all\'{\i}that\'oak el\H{o}. Vegy\"uk
ezenk\'{\i}v\"ul $[0,1)$ intervallum $D_1=[0,\frac{\sqrt2}2)$,
$D_2=[\frac{\sqrt2}2,1)$ intervallumokb\'ol \'all\'o $\Cal D$
partici\'oj\'at. Ezen partici\'o elemei nincsenek benne a
$\Cal B$ algebr\'aban, csak az \'altala gener\'alt $\Cal C$
$\sigma$-algebr\'aban. Ez\'ert egy olyan $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelynek n\'{\i}v\'ohalmazai
a $D_1$ \'es $D_2$ halmaz nem tekinthet\H{o} \'ugy, mint egy olyan
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelynek n\'{\i}v\'ohalmazai
a $\Cal B$ algebr\'aban vannak. De az j\'ol megk\"ozel\'{\i}thet\H{o}
egy ilyen val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval a
k\"o\-vet\-ke\-z\H{o} \'ertelemben. Minden $\e>0$ sz\'amhoz
l\'etezik az $\Omega$ halmaznak olyan $\Cal B$-beli halmazokb\'ol
\'all\'o v\'eges (ak\'ar k\'et elem\H{u}) partici\'oja \'ugy, hogy
egy olyan $\zeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora, amelynek
a n\'{\i}v\'ohalmazai ezen partici\'o elemei $H(\xi|\zeta)<\e$. A
t\'etel azt \'all\'{\i}tja, hogy hasonl\'o eredm\'eny \'erv\'enyes
\'altal\'anosabb esetben is.

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ \'Alljon a $\Cal D$ partici\'o
valamely $D_1,\dots,D_r$ elemekb\H{o}l. Feltehetj\"uk, hogy
$P(D_i)>0$ minden $1\le i\le r$ indexre.  El\H{o}sz\"or azt
bizony\'{\i}tom be, hogy minden (az $\e>0$, $r$ \'es $P(D_i)>0$,
$1\le i\le r$, sz\'amokt\'ol f\"ugg\H{o}en) el\'eg kicsi $\delta>0$
sz\'amra igaz a k\"ovetkez\H{o} \'all\'{\i}t\'as. Ha
$E_1,\dots,E_r$ az $\Omega$ halmaz egy olyan partici\'oja, amelyre
$P(D_i\Delta E_i)\le\delta$ minden $1\le i\le r$ sz\'amra, akkor egy
olyan $\xi$, $\zeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'arra,
amelyek k\"oz\"ul a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
n\'{\i}v\'ohalmazai a $D_i$, a $\zeta$
val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'o n\'{\i}v\'ohalmazai
pedig az $E_i$ halmazok, $1\le i\le r$, teljes\"ul a
$H(\xi|\zeta)<\e$ egyenl\H{o}tlens\'eg.

Ezen \'all\'{\i}t\'as igazol\'asa \'erdek\'eben vezess\"uk be a
$g(x)=x\log x$, ha $x>0$, $g(0)=0$, f\"uggv\'enyt. Mivel
$g(0)=g(1)=0$, $g(x)$ folytonos f\"uggv\'eny, $g(x)\le0$, ha
$0\le x\le 1$, ez\'ert l\'etezik olyan $\delta_0>0$ sz\'am,
amelyre $-\frac\e r<g(x)\le0$, ha $0\le x\le\delta_0$ vagy
$1-\delta_0\le x\le1$. A bizony\'{\i}tand\'o \'all\'{\i}t\'as
indokl\'asa azon az \'eszrev\'etelen fog alapulni, hogy ha a 
$P(D_i\Delta E_i)$ val\'osz\'{\i}n\H{u}s\'egek nagyon kicsik 
minden $i$ indexre,
akkor a $P(D_i|E_i)$ felt\'eteles val\'osz\'{\i}n\H{u}s\'egek
majdnem eggyel, \'es a $P(D_i|E_j)$, $i\neq j$, felt\'eteles
val\'osz\'{\i}n\H{u}s\'egek majdnem null\'aval egyenl\H{o}ek.
Ez\'ert a $g(P(D_i|E_j))$ mennyis\'egek nagyon kicsik minden 
$(i,j)$ p\'arra. Mivel a minket \'erdekl\H{o} felt\'eteles 
entr\'opia fel\'{\i}rhat\'o ilyen kifejez\'esek v\'eges sok
tagb\'ol \'all\'o line\'aris kombin\'aci\'ojak\'ent, innen 
k\"onnyen levezethet\H{o} a k\'{\i}v\'ant egyenl\H{o}tlens\'eg.

A r\'eszletes bizony\'{\i}t\'asban tekints\"uk az $\Omega$ halmaz
egy olyan $E_1,\dots,E_r$ partici\'oj\'at, amelyre
$P(D_i\Delta E_i)\le\delta$ a
$\delta=\frac{\delta_0}2\min\limits_{0\le i\le r}P(D_i)$
sz\'ammal minden $1\le i\le r$ indexre. Ekkor, mivel
$P(D_i)\le P(E_i)+P(D_i\Delta E_i)\le P(E_i)+\delta
\le P(E_i)+\frac{P(D_i)}2$, ez\'ert
$P(D_i)\le\frac12P(E_i)$ minden $1\le i\le r$ indexre. Innen
$P(E_i)-P(D_i\cap E_i)\le P(D_i\Delta E_i)\le\delta\le\delta_0P(E_i)$,
teh\'at $P(D_i|E_i)\ge1-\delta_0$ minden $1\le i\le r$ indexre, \'es
$P(D_j|E_i)\le1-P(D_i|E_i)\le\delta_0$, ha $i\neq j$. Ez\'ert
$-\frac{\e}r\le g(D_i|E_j)\le0$ minden $1\le i,j\le r$ indexre, \'es
k\'et olyan $\xi$ \'es $\zeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ora, amelyeknek a $D_i$ illetve $E_i$, $1\le i\le r$,
halmazok a n\'{\i}v\'ohalmazai
$$
H(\xi|\zeta)=-\sum_{i=1}^r\sum_{j=1}^r P(E_j)g(P(D_i|E_j)
\le -\sum_{i=1}^r\sum_{j=1}^r P(E_j)\frac\e r=\e.
$$

Ez\'ert el\'eg bel\'atni, hogy az $\Omega$ halmaznak l\'etezik
olyan $E_1,\dots,E_r$ a $\Cal B$ algebra ele\-mei\-b\H{o}l \'all\'o
partici\'oja, amelyre $P(D_i\Delta E_i)\le\delta$
minden $1\le i\le r$ indexre. Ezt igazoland\'o v\'alasszunk
el\H{o}sz\"or olyan $\bar E_i\in\Cal B$, $1\le i\le r$, halmazokat,
amelyekre $P(D_i\Delta\bar E_i)\le\lambda$ minden $1\le i\le r$
indexre egy k\'es\H{o}bb megv\'alasztand\'o el\'eg kis $\lambda>0$
sz\'ammal. Ez lehets\'eges az el\H{o}z\H{o} lemma szerint.
Defini\'aljuk az
$N=\bigcupp_{1\le i,j\le r,\,i\neq j} (\bar E_i\cap \bar E_j)$
halmazt, \'es legyen $E_i=\bar E_i\setminus N$, ha $1\le i\le r-1$,
\'es $E_r=\Omega\setminus(\bigcupp_{1\le i\le r-1}E_i)$. Ekkor
$E_1,\dots,E_r$ az $\Omega$ halmaz egy partici\'oja a $\Cal B$
algebra elemeivel. Tov\'abb\'a, mivel
$P(\bar E_i\cap \bar E_j)\le
P(\bar E_i\Delta D_i)+P(\bar E_j\Delta D_j))\le2\lambda$,
$P(N)\le r(r-1)\lambda$, ez\'ert
$P(E_i\Delta\bar E_i)\le P(N)\le r(r-1)\lambda$ minden
$1\le i\le r-1$ indexre, ahonnan
$P(E_i\Delta D_i)\le P(E_i\Delta\bar E_i)
+P(\bar E_i\Delta D_i)\le r(r-1)\lambda+\lambda$, ha
$1\le i\le r-1$, \'es
$P(E_r\Delta D_r)=P((\Omega\setminus E_r)\Delta(\Omega\setminus D_r))
\le \summ_{i=1}^rP(E_i\Delta D_i)\le r[r(r-1)+1]\lambda$.
Innen k\"ovetkezik, hogy ha a $\lambda>0$ sz\'amot el\'eg kicsinek
v\'alasztjuk, akkor $E_1,\dots,E_r$ az $\Omega$ halmaz k\'{\i}v\'ant
tulajdons\'ag\'u partici\'oj\'at adja. A t\'etelt bel\'attuk.

\medskip\noindent
{\bf K\"ovetkezm\'eny.}\/ {\it Legyen adva egy $(\Omega,\Cal A,P,T)$
invert\'alhat\'o dinamikus rendszer, azon k\'et $\xi$ \'es $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyek k\"oz\"ul $\xi$
v\'eges sok $\eta$ pedig vagy v\'eges sok vagy megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket vesz fel. Legyen ezenk\'{\i}v\"ul a
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o m\'erhet\H{o} az
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es $T$ shift
oper\'ator \'altal gener\'alt $\sigma(T,\eta)$ $\sigma$-algebr\'ara
n\'ezve. Ekkor minden $\e>0$ sz\'amhoz l\'etezik olyan
$M=M(\e,\xi,\eta)$ pozit\'{\i}v eg\'esz sz\'am, amelyre
$H(\xi|T^{-M}\eta,\dots,T^0\eta,\dots,T^{M}\eta)\le\e$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ A bizony\'{\i}t\'asban az el\H{o}z\H{o}
t\'etelt alkalmazzuk \'ugy, hogy az $\Omega$ halmaz $\Cal D$
partici\'oj\'anak a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$\{\oo\colon\;\xi(\oo)=x_j\}$ alak\'u n\'{\i}v\'ohalmazait
v\'alasztjuk, \'es az al\'abb defini\'alt $\Cal B$ halmaz
algebr\'aval dolgozunk.

Jel\"olje $Y$ az $\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ekk\'eszlet\'et, \'es adva k\'et $m\ge1$ \'es $n\ge1$ sz\'am
defini\'aljuk az $Y^{(m,n)}=\{(y_{j_{-m}},\dots,y_{j_n})\colon\;
y_{j_s}\in Y,\; -m\le s\le n\}$
halmazt. Adva egy $U\subset Y^{(m,n)}$ halmaz, defini\'aljuk az $U$
halmaznak az $\eta(\oo)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'es a $T$ shift oper\'ator hatv\'anyai \'altal meghat\'arozott
\H{o}sk\'ep\'et a 
$$
\bold T_{m,n}U=\{\oo\colon\;
(T^{-m}\eta(\oo),\dots,T^n\eta(\oo))\in U\}
$$
k\'eplet seg\'{\i}ts\'eg\'evel, \'es legyen
$\Cal U_{m,n}=\{\bold T_{m,n} U\colon\; U\subset Y^{(m,n)}\}$.
A $\Cal B$ halmazrendszert a
$\Cal B=\bigcupp_{1\le m,n<\infty}\Cal U_{m,n}$ k\'eplettel
defini\'aljuk. Nem neh\'ez bel\'atni, hogy $\Cal B$ halmaz algebra,
\'es az \'altala gener\'alt $\sigma(\Cal B)$ $\sigma$-algebra
megegyezik a $\sigma(T,\eta)$ $\sigma$-algebr\'aval. Mivel
felt\'eteleink szerint $\xi$ $\sigma(T,\eta)$ m\'erhet\H{o},
ez\'ert az el\H{o}z\H{o} t\'etel alapj\'an minden $\e>0$ sz\'amra
l\'etezik az $\Omega$ halmaznak olyan a $\Cal B$ algebra
elemeib\H{o}l \'all\'o $\Cal E$ v\'eges partici\'oja,
amelyre igaz, hogy egy olyan $\zeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ora, amelynek a a n\'{\i}v\'ohalmazai az $\Cal E$
partici\'o elemei $H(\xi|\zeta)\le\e$.

Mivel $\zeta$ v\'eges sok \'ert\'eket vesz fel, \'es minden
\'ert\'ek\'et egy olyan halmazon veszi fel, amely eleme a
$\Cal U_{m,n}$ halmazoszt\'alynak, ha $m\ge m_0$ \'es $n\ge n_0$
alkalmas $m_0$ \'es $n_0$ sz\'amokkal, ez\'ert l\'etezik olyan $M$
sz\'am, \'es olyan $g(u_{-M},\dots,u_0,\dots,u_{M})$
f\"uggv\'eny, amelyekre
$$
\zeta=g(T^{-M}\eta,\dots,T^0\eta,\dots,T^M\eta).
$$
Ez\'ert, illetve a felt\'eteles entr\'opia tulajdons\'agai alapj\'an
$$
\align
\e\ge H(\xi|\zeta)
&\ge H(\xi|\zeta,T^{-M}\eta,\dots,T^0\eta,\dots,T^M\eta)\\
&=H(\xi|T^{-M}\eta,\dots,T^0\eta,\dots,T^M\eta).
\endalign
$$
Mivel ilyen konstrukci\'ot minden $\e>0$ sz\'amra tudunk csin\'alni
a k\"ovetkezm\'enyt be\-l\'at\-tuk.

\medskip\noindent
A most igazolt k\"ovetkezm\'eny seg\'{\i}t az al\'abbi
bizony\'{\i}t\'asban.

\medskip\noindent
{\it Az egy dinamikus rendszerben defini\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok entr\'opi\'aj\'anak
\"ossze\-ha\-son\-l\'{\i}\-t\'a\-s\'a\-r\'ol sz\'ol\'o t\'etel
bizony\'{\i}t\'asa.} R\"ogz\'{\i}ts\"unk egy $\e>0$ sz\'amot, \'es
v\'alasszunk egy olyan $M>0$ eg\'esz sz\'amot, amelyre
$H(\xi|T^{-M}\eta,\dots,T^0\eta,\dots,T^M\eta)\le\e$. Az el\H{o}bb
megfogalmazott {\it K\"ovetkezm\'eny}\/ eredm\'enye szerint ilyen
$M$ sz\'am l\'etezik. Ilyen v\'a\-lasz\-t\'as\-sal
\'erv\'enyesek a k\"ovetkez\H{o} becsl\'esek.
$$
\align
&H(T^0\xi,\dots,T^{n-1}\xi)
\le H(T^0\xi,\dots,T^{n-1}\xi,T^{-M}\eta,\dots,T^{n-1+M}\eta)\\
&\qquad =H(T^0\xi,\dots,T^{n-1}\xi|T^{-M}\eta,\dots,T^{n-1+M}\eta)
+H(T^{-M}\eta,\dots,T^{n-1+M}\eta),
\endalign
 $$
\'es
$$
\align
&H(T^0\xi,\dots,T^{n-1}\xi|T^{-M}\eta,\dots,T^{n-1+M}\eta)\le
\sum_{j=0}^{n-1}H(T^j\xi|T^{-M}\eta,\dots,T^{n-1+M}\eta) \\
&\qquad =\sum_{j=0}^{n-1}H(\xi|T^{-M-j}\eta,\dots,T^{n-1+M-j}\eta)
\le nH(\xi|T^{-M}\eta,\dots,T^{M}\eta)\le n\e.
\endalign
$$
Innen
$$
\frac 1n H(T^0\xi,\dots,T^{n-1}\xi)
\le \frac1n H(T^{-M}\eta,\dots,T^{n-1+M}\eta)+\e
$$
minden $n\ge0$ sz\'amra, ahonnan $n\to\infty$ hat\'ar\'atmenettel
kapjuk, hogy $H(T,\xi)\le H(T,\eta)+\e$. Mivel ez az
egyenl\H{o}tlens\'eg minden $\e>0$ sz\'amra igaz, innen
k\"ovetkezik a t\'etel \'all\'{\i}t\'asa.

\medskip
Bebizony\'{\i}tottuk  egy dinamikus rendszerben defini\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok ent\-r\'o\-pi\'a\-j\'a\-nak
\"osszehasonl\'{\i}t\'as\'ar\'ol sz\'ol\'o t\'etel egy
k\"ovetkezm\'eny\'et, amely lehet\H{o}v\'e tette bizonyos dinamikus
rendszerek entr\'opi\'aj\'anak a kisz\'amol\'as\'at. Ismertetem
ennek az eredm\'enynek egy enyhe \'altal\'anos\'{\i}t\'as\'at,
amely hasonl\'o eredm\'enyt fogalmaz meg nem felt\'etlen\"ul
v\'eges sok \'ert\'eket felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok eset\'eben. A bizony\'{\i}t\'asban sz\"uks\'eg\"unk
van az al\'abbi lemm\'ara, amely egy dinamikus rendszer
entr\'opi\'aj\'anak egy az eredeti definici\'ot\'ol kiss\'e
elt\'er\H{o} jellemz\'es\'et adja.

\medskip\noindent
{\bf Lemma az entr\'opia jellemz\'es\'er\H{o}l.} {\it Egy
$(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus rendszer $T$
shift transzform\'aci\'oj\'anak az entr\'opi\'aj\'at ki lehet fejezni
az (5.6) kifejez\'eshez hasonl\'o m\'odon, \'ugy mint
$$
H(T)=\sup_{\xi} H(T,\xi),
$$
ahol a szupr\'emumot az \"osszes olyan $\Cal A$ m\'erhet\H{o} \'es
v\'eges sok vagy megsz\'aml\'alhat\'oan v\'egtelen sok \'ert\'eket
felvev\H{o} $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora
vessz\"uk, amelyekre $H(\xi)<\infty$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Legyen $\xi$ olyan v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sok \'ert\'eket felvev\H{o}
$\Cal A$ m\'erhet\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelyre $H(\xi)<\infty$. A lemma bizony\'{\i}t\'as\'ahoz
elegend\H{o} bel\'atni, hogy minden $\e>0$ sz\'amhoz l\'etezik
olyan v\'eges sok \'ert\'eket felvev\H{o} $\eta=\eta(\e)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$H(T,\xi)\le H(T,\eta)+\e$. Azt mutatom meg, hogy l\'etezik olyan
v\'eges sok \'ert\'eket felvev\H{o} $\Cal A$ m\'erhet\H{o}
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$$
H(\xi|T\xi,\dots,T^n\xi)\le H(\eta|T\eta,\dots,T^n\eta)+\e
$$
minden $n$ sz\'amra, mert innen $n\to\infty$ hat\'ar\'atmenettel
megkapjuk a k\'{\i}v\'ant egyen\-l\H{o}t\-len\-s\'e\-get.

Ezen \'all\'{\i}t\'as igazol\'asa \'erdek\'eben jegyezz\"uk meg,
hogy mint az els\H{o} fejezetben l\'attuk l\'etezik olyan v\'eges
sok \'ert\'eket felvev\H{o} $g(x)$ f\"uggv\'eny, amelyre az
$\eta=g(\xi)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
teljes\'{\i}ti a $H(\xi)\le H(\eta)+\e$ egyenl\H{o}tlens\'eget.
Ebb\H{o}l az egyenl\H{o}tlens\'egb\H{o}l az is k\"ovetkezik, hogy
$H(\xi|\eta)=H(\xi,\eta)-H(\eta)=H(\xi)-H(\eta)\le\e$, \'es
$$
\align
H(\xi|T\xi,\dots,T^n\xi)&=
H(\xi,\eta|T\xi,\dots,T^n\xi)=
H(\xi|\eta,T\xi,\dots,T^n\xi)+H(\eta|T\xi,\dots,T^n\xi)\\
&\le H(\xi|\eta)+H(\eta|T\eta,\dots,T^n\eta)
\le H(\eta|T\eta,\dots,T^n\eta)+\e,
\endalign
$$
\'es ezt kellett bel\'atnunk. E sz\'amol\'asban kihaszn\'altuk,
hogy mivel a $(T\eta,\dots,T^n\eta)=(g(T\xi),\dots,g(T^n\xi))$
v\'eletlen vektor f\"uggv\'enye a $(T\xi,\dots,T^n\xi)$ v\'eletlen
vektornak, ez\'ert
$H(\eta|T\xi,\dots,T^n\xi)\le H(\eta|T\eta,\dots,T^n\eta)$.
Hasonl\'oan $H(\xi|\eta,T\xi,\dots,T^n\xi)\le H(\xi|\eta)$.
A lemm\'at bel\'attuk.

\medskip
Megfogalmazom az egy dinamikus rendszerben defini\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
ent\-r\'o\-pi\'a\-j\'a\-nak \"osszehasonl\'{\i}t\'as\'ar\'ol
sz\'ol\'o t\'etel k\"ovetkezm\'eny\'enek az al\'abbi, az
eredetin\'el kiss\'e \'elesebb v\'altozat\'at.

\medskip\noindent
{\bf T\'etel az entr\'opia egy tulajdons\'ag\'ar\'ol}\/ {\it
Legyen $\xi$ egy olyan v\'eges vagy
meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen sok \'ert\'eket
felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o egy
$(\Omega,\Cal A,P,T)$ invert\'alhat\'o di\-na\-mi\-kus
rendszerben, amelyre $H(\xi)<\infty$, \'es $\sigma(T,\xi)=\Cal A$.
Ekkor $H(T)=H(T,\xi)$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Az el\H{o}z\H{o} lemma alapj\'an
$H(T,\xi)\le H(T)$. M\'asr\'eszt azt is l\'attuk, hogy mivel
$\sigma(T,\xi)=\Cal A$, ez\'ert $H(T,\eta)\le H(T,\xi)$
tetsz\H{o}leges v\'eges sok \'ert\'eket felvev\H{o} $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora. Ez\'ert $H(T,\xi)=H(T)$.

\medskip\noindent
{\it Megjegyz\'es.}\/ Az el\H{o}z\H{o} t\'etelben megengedt\"uk
azt, hogy $\xi$ v\'egtelen sok \'ert\'eket vegyen fel, de
megk\"ovetelt\"uk a $H(\xi)<\infty$ rel\'aci\'o teljes\"ul\'es\'et.
E n\'elk\"ul a felt\'etel n\'elk\"ul az \'all\'{\i}t\'as nem igaz,
amint a k\"ovetkez\H{o} egyszer\H{u} p\'elda mutatja. Legyen $X$
egy megsz\'aml\'alhat\'o halmaz, jel\"olje $\Cal X$ az $X$ halmaz
r\'eszhalmazaib\'ol \'all\'o $\sigma$-algebr\'at, \'es vezess\"unk
be az $(X,\Cal X)$ t\'eren egy olyan $P$ val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'eket, amelyre a $\xi(x)=x$, $x\in X$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o entr\'opi\'aja
$H(\xi)=\infty$. Ekkor tekinthetj\"uk az $(X,\Cal X,P,T)$
invert\'alhat\'o dinamikus rendszert, ahol $T$ az identit\'as
oper\'ator. Nem neh\'ez bel\'atni, hogy ebben a dinamikus
rendszerben $H(T,\xi)=\infty$, m\'{\i}g $H(T)=0$.

\medskip
A fenti vizsg\'alatokban csak invert\'alhat\'o dinamikus
rendszerekkel foglalkoztunk. Nem neh\'ez a most 
bizony\'{\i}tott t\'etelhez hasonl\'o eredm\'enyt 
bizony\'{\i}tani \'altal\'anos, nem felt\'etlen\"ul 
invert\'alhat\'o dinamikus rendszerekre is, de ezek 
jelent\H{o}s\'ege kisebb. 

\'Altal\'anos esetben az {\it Egy dinamikus rendszerben 
defini\'alt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok 
entr\'opi\'aj\'anak \"osszehasonl\'{\i}t\'as\'ar\'ol}\/
sz\'ol\'o t\'etelnek azt a felt\'etel\'et, amely szerint 
a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o
$\sigma(T,\eta)$ m\'erhet\H{o} \'ujra kell \'ertelmezni. Az 
\'altal\'anos esetben a $\sigma(T,\eta)$ 
$\sigma$-al\-geb\-r\'at \'ugy defini\'aljuk, mint a 
$T^n\xi$, $n=0,1,2\,\dots$, val\'osz\'{\i}n\H{u}s\'egi 
v\'altoz\'ok \'altal gener\'alt $\sigma$-algebr\'at, hiszen a
$T^{-n}$, $n=1,2,\dots$ oper\'atorokat nem mindig tudjuk
de\-fi\-ni\-\'al\-ni. Ez er\H{o}sebb megszor\'{\i}t\'ast jelent,
mint az invert\'alhat\'o dinamikus rendszerek eset\'eben 
megfogalmazott felt\'etel.

M\'asr\'eszt minden dinamikus rendszernek l\'etezik 
\'ugynevezett term\'eszetes ki\-ter\-jesz\-t\'e\-se, amely 
invert\'alhat\'o dinamikus rend\-szer. Az, hogy k\'et 
kiterjesztett dinamikus rend\-szer term\'eszetes 
kiterjeszt\'ese izomorf legyen egym\'assal az eredeti 
dinamikus rend\-sze\-rek izomorfi\'aj\'anak sz\"uks\'eges, 
de  nem el\'egs\'eges felt\'etele. \'Igy p\'eld\'aul, ha 
vesz\"unk k\'et f\'eloldali Bernoulli rend\-szert, akkor 
ezek term\'eszetes kiterjeszt\'ese k\'et Bernoulli 
rend\-szer ugyanazokkal a param\'eterekkel. A f\'eloldali 
Bernoulli rend\-sze\-rek izomorfi\'aj\'ab\'ol azonnal 
k\"ovetkezik azok term\'eszetes kiterjeszt\'es\'enek az 
izomorfi\'aja, de ennek az \'all\'{\i}t\'asnak a 
megford\'{\i}t\'asa nem igaz.

\medskip\noindent
{\bf Kieg\'esz\'{\i}t\'es.} {\it Bernoulli rendszerek
vizsg\'alat\'aban felmer\"ult unit\'er oper\'atorok
izo\-mor\-fi\'a\-j\'a\-nak a vizsg\'alata.}

\medskip\noindent
Invert\'alhat\'o dinamikus rendszerek izomorfi\'aj\'anak
vizsg\'alat\'aban felmer\"ult a k\"ovetkez\H{o} gondolat. Ha
adva van egy $(\Omega,\Cal A,P,T)$ invert\'alhat\'o dinamikus
rendszer, akkor ter\-m\'e\-sze\-tes m\'odon defini\'alhatjuk az
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n
defini\'alt n\'egyzetesen in\-teg\-r\'al\-ha\-t\'o f\"ugg\-v\'e\-nyek
\'altal meghat\'arozott $L_2(\Omega,\Cal A,P)$ Hilbert t\'eren a
k\"ovetkez\H{o} $U$ unit\'er ope\-r\'a\-tort: $Uf(x)=f(Tx)$ minden
$f\in L_2(\Omega,\Cal A,P)$ f\"uggv\'enyre. Nem neh\'ez bel\'atni,
hogy mivel $T$ m\'er\-t\'ek\-tar\-t\'o \'es invert\'alhat\'o,
ez\'ert $U$ val\'oban unit\'er oper\'ator. Tov\'abb\'a, ha k\'et
dinamikus rendszer izomorf, akkor az \'altaluk meghat\'arozott $U$
unit\'er oper\'atorok is izomorfak, azaz ha
$(\Omega_1,\Cal A_1,P_1,T_1)$ \'es $(\Omega_2,\Cal A_2,P_2,T_2)$
k\'et izomorf invert\'alhat\'o di\-na\-mi\-kus rendszer, \'es
$U_1$ \'es $U_2$ a nekik megfelel\H{o} unit\'er oper\'ator, akkor
az $L_2(\Omega_1,\Cal A_1,P_1)$ \'es $L_2(\Omega_2,\Cal A_2,P_2)$
Hilbert tereknek l\'etezik egy olyan $G$ izomorfi\'aja, amelyre
$G(U_1(f))=U_2(G(f))$ minden $f\in L_2(\Omega_1,\Cal A_1,P_1)$
f\"uggv\'enyre.

Be lehet bizony\'{\i}tani ezen eredm\'eny seg\'{\i}ts\'eg\'evel,
hogy bizonyos dinamikus rendszerek nem izomorfak. Felmer\"ult
az a k\'erd\'es, hogy ez az eredm\'eny seg\'{\i}ts\'eget ny\'ujt-e
Bernoulli rendszerek izomorfi\'aj\'anak a vizsg\'alat\'aban.
Kider\"ult, hogy a v\'alasz nemleges, mert b\'armely k\'et
Bernoulli rendszerre az \'altaluk a fenti m\'odon defini\'alt
$U$ unit\'er oper\'atorok izomorfak egym\'assal. Ismertetem ennek
az \'all\'{\i}t\'asnak a bizony\'{\i}t\'as\'at.

Az \'all\'{\i}t\'as pontos megfogalmaz\'asa \'erdek\'eben bevezetem
a k\"ovetkez\H{o} jel\"ol\'eseket. R\"ogz\'{\i}ts\"unk egy
pozit\'{\i}v eg\'esz $r$ sz\'amot \'es $r$ darab olyan $p_j>0$,
$1\le j\le r$, sz\'amot, amelyekre $\summ_{j=1}^r p_j=1$.
Defini\'aljuk seg\'{\i}ts\'eg\"ukkel azt az $(\bar X,\Cal A,\bar P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t, amelyre
$\bar X=\{1,\dots,r\}$, $\Cal A$ az $\bar X$ halmaz \"osszes
r\'eszhalmaz\'ab\'ol \'all, \'es $\bar P(\{j\})=p_j$, $1\le j\le r$.
Tekints\"uk ennek a val\'osz\'{\i}n\H{u}s\'egi mez\H{o}nek
$(\bar X_l,\Cal A_l,\bar P_l)$ p\'eld\'anyait minden
$l=0,\pm1,\pm2,\dots$ eg\'esz sz\'amra, \'es vegy\"uk ezek
$(X,\Cal A,P)$ direkt szorzat\'at. Azaz \'alljon az $X$
halmaz az \"osszes $x=(\dots,i_{-1},i_0,i_1,\dots)$, $i_j\in\{1,\dots,r\}$
minden $-\infty<j<\infty$ indexre,  sorozatb\'ol, legyen $\Cal A$ a
$\Cal A_l$ $\sigma$-algebr\'ak, $P$ a $\bar P_l$ m\'ert\'ekek direkt
szorzata az $X$ t\'eren, $l=\dots,-1,0,1,\dots$. Speci\'alisan minden
$m\ge0$, $n\ge0$ sz\'amp\'arra
$P(x\colon\;\{x=(\dots,i_{-1},i_0,i_1,\dots)\colon\; i_l=j_l,
\text{ ha }\,-m\le l\le n\})=\prodd_{l=-m}^n p(j_l)$, 
ha $1\le j_l\le r$ minden $-m\le l\le n$
indexre. Defini\'aljuk tov\'abb\'a egy
$x=(\dots,i_{-1},i_0,i_1,i_2,\dots)\in X$ pont $Tx$ eltoltj\'at a 
$Tx=(\dots,i_{-2},i_{-1},i_0,i_1,\dots)$ k\'eplettel, \'es adva 
egy $f(x)$ (m\'erhet\H{o}) f\"uggv\'eny az $(X,\Cal A,P)$ t\'eren 
legyen $Uf(x)=f(Tx)$. Nem neh\'ez bel\'atni, hogy ha az $U$
transzform\'aci\'o \'ertelmez\'esi tartom\'any\'at megszor\'{\i}tjuk
az $(X,\Cal A,P)$ t\'eren n\'egyzetesen integr\'alhat\'o
f\"uggv\'enyekre, akkor $U$ egy unit\'er transzform\'aci\'o az
$L_2(X,\Cal A,P)$ Hilbert t\'erben. Igaz tov\'abb\'a az al\'abbi
t\'etel.

\medskip\noindent
{\bf T\'etel unit\'er oper\'atorok izomorfi\'aj\'ar\'ol.}
{\it Tekints\"uk minden $r=1,2,\dots$ sz\'amra \'es $p_j>0$,
$\summ_{j=1}^rp_j=1$, $1\le j\le r$, vektorra az el\H{o}bb
bevezetett $L_2(X,\Cal A,P)$ Hilbert teret \'es a rajta defini\'alt
$U$ unit\'er oper\'atort. Ezek az oper\'atorok izomorfak az
$r$ \'es $p_j$, $1\le j\le r$, sz\'amok tetsz\H{o}leges
v\'alaszt\'asa eset\'en.}

\medskip
A bizony\'{\i}t\'as l\'enyeges r\'esze az $L_2(X,\Cal A,P)$ Hilbert
t\'er egy olyan ortonorm\'alt b\'a\-zi\-s\'a\-nak a megad\'asa,
amelyben az $U$ oper\'ator hat\'asa j\'ol l\'athat\'o. Ennek
\'erdek\'eben te\-kint\-s\"uk az $(X,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o} definici\'oja sor\'an
bevezetett $(\bar X,\Cal A,\bar P)$ teret, illetve az ezen t\'eren
\'ertelmezett f\"uggv\'enyek $r$-dimenzi\'os $K(r)$ Euklideszi
ter\'et a $(\varphi,\psi)=\summ_{j=1}^r p_jx_jy_j$, ha
$\varphi=(x_1,\dots,x_r)\in K(r)$,
$\psi=(y_1,\dots,y_r)\in K(r)$ skal\'ar szorzatttal.
V\'alasszunk a $K(r)$ Euklideszi t\'erben egy olyan
$(\varphi_1,\dots,\varphi_r)$ ortonorm\'alt b\'azist, amely\-nek
els\H{o} ele\-me $\varphi_1=(1,\dots,1)$, az $\{1,\dots,r\}$ halmazon
defini\'alt azonosan 1 f\"uggv\'eny. Jel\"olje $V$ az \"osszes olyan
$v=(v_l,\,-\infty< l<\infty)$ sorozat ter\'et, amelyre
$v_l\in\{1,\dots,r\}$ minden $-\infty<l<\infty$ indexre, \'es a $v$
sorozat elemei csak v\'eges sok 1-t\H{o}l k\"ul\"onb\"oz\H{o}
koordin\'at\'at tartalmaznak. Bevezetem a k\"ovetkez\H{o}
$u_v$ a $v\in V$ sorozatokkal indexelt az $(X,\Cal A,P)$
t\'eren defini\'alt f\"uggv\'enyeket:
$u_v(\dots,i_{-1},i_0,i_1,\dots)
=\prodd_{l=-\infty}^\infty\varphi_{v_l}(i_l)$. Ezek a szorzatok
j\'ol defini\'altak, mert csak v\'eges sok t\'enyez\H{o}b\H{o}l
\'allnak. Ugyanis $\varphi_{v_l}(i_l)=\varphi_1(i_l)=1$ v\'eges sok
$l$ index kiv\'etel\'evel. A k\"ovetkez\H{o} lemm\'at fogom
bebizony\'{\i}tani.

\medskip\noindent
{\bf Lemma ortonorm\'alt b\'azisok l\'etez\'es\'er\H{o}l.} {\it Az
el\H{o}bb defini\'alt $u_v(\cdot)$, $v\in V$, f\"ugg\-v\'e\-nyek
egy\"uttese teljes ortonorm\'alt rendszert alkot az
$L_2(X,\Cal A,P)$ t\'erben.}

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ K\"onnyen l\'athat\'o, hogy az
$u_v(\cdot)$, $v\in V$, f\"uggv\'enyek or\-to\-nor\-m\'al\-tak.
Ugyanis v\'eve k\'et $v=(\dots,v_{-1},v_0,v_1,\dots)\in V$ \'es
$\bar v=(\dots,\bar v_{-1},\bar v_0,\bar v_1,\dots)\in V$
vektort \'es egy $x\in X$ pontot, fel\'{\i}rhatjuk az
$u_v(x)u_{\bar v}(x)=\prodd_{l=-\infty}^\infty
\varphi_{v_l}(x(l))\varphi_{\bar v_l}(x(l))$ azonoss\'agot, ahol
$x(l)=i_l$, ha $x=(\dots,-i_1,i_0,i_0,\dots)$. Teh\'at az
$u_v(x)u_{\bar v}(x)$ kifejez\'es faktoriz\'al\'odik. S\H{o}t
ez a szorzat csak v\'eges sok tagb\'ol \'all, mert
$\varphi_{v_l}(x)=\varphi_1(x)\equiv1$, \'es
$\varphi_{\bar v_l}(x)=\varphi_1(x)\equiv1$ v\'eges sok $l$
index kiv\'etel\'evel. A $P$ val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'ek szint\'en faktoriz\'al\'odik, \'es innen azt kapjuk, hogy
$$ \allowdisplaybreaks
\align
(u_v,u_{\bar v})&=\int u_v(x)u_{\bar v}(x)P(\,dx)
=\prod_{l=-\infty}^\infty\int
\varphi_{v_l}(x(l))\varphi_{\bar v_l}(x(l))\bar P_l(\,dx(l)) \\
&=\prod_{l=-\infty}^\infty
\(\sum_{i=1}^rp_i \varphi_{v_l}(i)\varphi_{\bar v_l}(i)\)
=\prod_{l=-\infty}^\infty \delta(v_l,\bar v_l)=\delta(v,\bar v),
\endalign
$$
ahol $\delta(i,j)=0$, ha $i\neq j$, $\delta(i,j)=1$, ha $i=j$,
\'es hasonl\'oan $\delta(v,\bar v)=0$, ha $v\neq\bar v$, \'es
$\delta(v,\bar v)=1$, ha $v=\bar v$.

Adva k\'et $m>0$ \'es $n>0$ eg\'esz sz\'am jel\"olje $Q_{m,n}$ az
$L_2(X,\Cal A,P)$ Hilbert t\'er azon alter\'et, amely az olyan
$u(x)$, $x\in X$, f\"uggv\'enyekb\H{o}l \'all, amelyek az
$x=(\dots,i_1,i_0,i_1,\dots)$ argumentumnak csak az
$i_j$, $-m\le j\le n$, koordin\'at\'ait\'ol f\"uggnek, \'es
jel\"olje $V_{m,n}\subset V$ azon
$v=(v_l,\, -\infty<l<\infty)\in V$ sorozatok halmaz\'at,
ame\-lyek\-re $v_l=1$, ha $l<-m$ vagy $l>n$. Ekkor az
$u_v(\cdot)$, $v\in V_{m,n}$ f\"uggv\'enyek
($r^{n+m+1}$ elemb\H{o}l \'all\'o) rendszere egy teljes
ortonorm\'alt rendszert alkot a $Q_{m,n}$ ($r^{n+m+1}$ dimenzi\'os)
Euklideszi t\'erben. Ez\'ert annak bizony\'{\i}t\'as\'ahoz,hogy az
$u_v(\cdot)$, $v\in V$, f\"uggv\'enyek teljes ortonorm\'alt
rendszert alkotnak az $L_2(X,\Cal A,P)$ Hilbert t\'erben el\'eg azt
megmutatni, hogy a $Q_{m,n}$ alterek
$\bigcupp_{0<m,n<\infty}Q_{m,n}$ uni\'oja minden\"utt s\H{u}r\H{u}
halmaz az $L_2(X,\Cal A,P)$ Hilbert t\'erben. S\H{o}t, ezt arra az
\'all\'{\i}t\'asra lehet reduk\'alni, hogy a
$\Cal B=\bigcupp_{0<m,n<\infty}\Cal A_{m,n}$ halmaz, ahol
$\Cal A_{m,n}$ a $Q_{m,n}$ alt\'er f\"uggv\'enyeinek
n\'{\i}v\'ohalmazai \'altal gener\'alt $\sigma$-algebra,
s\H{u}r\H{u} az $\Cal A$ $\sigma$-algebr\'aban. Ez azt jelenti, hogy
minden $\e>0$ sz\'amhoz \'es $A\in\Cal A$ halmazhoz l\'etezik olyan
$B\in\Cal B$ halmaz, amelyre $P(A\Delta B)<\e$. (Itt $A\Delta B$ az
$A$ \'es $B$ halmaz szimmetrikus dif\-fe\-ren\-ci\'a\-j\'at jel\"oli.)
Ugyanis innen k\"ovetkezik, hogy v\'eges sok $A_i\in\Cal A$ halmaz
indik\'ator f\"uggv\'eny\'enek a line\'aris kombin\'aci\'oja benne
van a $\bigcupp_{0<m,n<\infty} Q_{m,n}$ f\"uggv\'enyhalmaznak
(az $L_2$ norma sze\-rin\-ti) lez\'artj\'aban. De akkor az ilyen
alak\'u f\"uggv\'enyek lez\'artja, ami egyenl\H{o}
$L_2(X,\Cal A,P)$ Hilbert t\'errel, szint\'en benne van ebben a
f\"uggv\'enyoszt\'alyban.

Viszont az, hogy a $\Cal B$  halmazoszt\'aly s\H{u}r\H{u} a
$\Cal A$ $\sigma$-algebr\'aban k\"ovetkezik a {\it Lemma
$\sigma$-algebra elemeinek j\'o approxim\'aci\'oj\'ar\'ol}\/
eredm\'eny\'eb\H{o}l. Ugyanis $\Cal B$ halmaz algebra, \'es
$\Cal A$ az \'altala gener\'alt $\sigma$-algebra. A lemm\'at
bel\'attuk.

\medskip
Bel\'atjuk a t\'etelt ezen lemma seg\'{\i}ts\'eg\'evel.

\medskip\noindent
{\it Az unit\'er oper\'atorok izomorfi\'aj\'ar\'ol sz\'ol\'o
t\'etel bizony\'{\i}t\'asa.} \'Alljon a $V_0\subset V$
halmaz azon $v=(v_l,\,-\infty<l<\infty)\in V$ sorozatokb\'ol, 
amelyekre $v_l=1$, ha $l<0$, \'es $v_0\neq1$. A $V_0$ halmaz
megsz\'aml\'alhat\'o, ez\'ert megadhat\'o
$V_0=\{v^{(1)},v^{(2)},\dots\}$ alakban. Defini\'aljuk az
$u_n=u_{v^{(n)}}\in L_2(X,\Cal A,P)$, $n=1,2,\dots$,
f\"uggv\'enyeket, \'es ezenk\'{\i}v\"ul az $u_0=u_{v^{(0)}}$
f\"uggv\'enyt, ahol $v^{(0)}=(v_l=1,\,-\infty<l<\infty)\in V$, 
azaz a csupa 1 koordin\'at\'ab\'ol \'all\'o $v^{(o)}\in V$ 
sorozat. Defini\'aljuk a $T^kv$ (shift) transzform\'aci\'ot 
minden $v\in V$ sorozatra \'es $-\infty<k<\infty$ sz\'amra a 
$T^kv=(v_{l-k},\,-\infty<l<\infty)$, ha 
$v=(v_l,\,-\infty<l<\infty)$ k\'eplet seg\'{\i}ts\'eg\'evel.
Tov\'abb\'a vezess\"uk be a k\"ovetkez\H{o} jel\"ol\'eseket.
Defini\'aljuk az $u_{n,k}=u_{T^kv^{(n)}}$ f\"uggv\'enyeket minden
$n=1,2,\dots$ \'es $-\infty<k<\infty$ sz\'amp\'arra. (Teh\'at
speci\'alisan $u_n=u_{n,0}$). Ekkor nem neh\'ez bel\'atni, hogy 
mivel $V\setminus\{v^{(0)}\}
=\bigcupp_{k=-\infty}^\infty\{T^kv,\;v\in V_0\}$, \'es ebben az
uni\'oban minden $v\in V\setminus\{v^{(0)}\}$ vektor pontosan 
egyszer van felsorolva. Ez\'ert az $u_0$, $u_{n,k}$, 
$1\le n<\infty$, $-\infty<k<\infty$, f\"uggv\'enyrendszer 
megegyezik az el\H{o}z\H{o} lemm\'aban tekintett $u_v(\cdot)$, 
$v\in V$, f\"ugg\-v\'e\-nyek rendszer\'evel, \'es
teljes ortonorm\'alt rendszert alkot. To\-v\'ab\-b\'a 
$Uu_0=u_0$, \'es $Uu_{n,k}=u_{n,k+1}$ minden $1\le n<\infty$ \'es
$-\infty<k<\infty$ indexekre. Az $U$ transzform\'aci\'o ezen
jellemz\'es\'enek seg\'{\i}ts\'eg\'evel k\"onnyen be tudjuk
l\'atni a t\'etelt.

Tekints\"unk egy $H$ szepar\'abilis Hilbert teret valamely
ortonorm\'alt b\'azissal, amely\-nek elemeit indexelj\"uk az
el\H{o}z\H{o}leg vizsg\'alt esethez hasonl\'oan \'ugy, hogy $g_0$,
$g_{n,k}$, $1\le n<\infty$, $-\infty<k<\infty$. Defini\'aljuk a
$H$ Hilbert t\'eren a k\"ovetkez\H{o} $\bar U$ oper\'atort:
$\bar Ug_0=g_0$, $\bar Ug_{n,k}=g_{n,k+1}$, ha $1\le n<\infty$,
$-\infty<k<\infty$. Nem neh\'ez bel\'atni, hogy $\bar U$ unit\'er
oper\'ator. ($\bar U^{-1}g_{n,k}=g_{n,k-1}$, \'es
$\bar U^{-1}g_0=g_0$.) Tov\'abb\'a a $G\colon\;u_{n,k}\to g_{n,k}$,
$1\le n<\infty$, $-\infty<k<\infty$ \'es $G\colon\;u_0\to g_0$
lek\'epez\'es az $L_2(X,\Cal A,P)$ t\'ernek \'es a $H$ Hilbert
t\'ernek egy olyan izomorfi\'aj\'at defini\'alja, amely az $U$ \'es
$\bar U$ unit\'er oper\'atorok izomorfi\'aj\'at is biztos\'{\i}tja.
Mivel az ebben az izomorfi\'aban szerepl\H{o} $H$ Hilbert t\'er
\'es $\bar U$ oper\'ator megv\'alaszt\'asa nem f\"ugg\"ott az
$(X,\Cal A,P,T)$ Bernoulli rendszer definici\'oj\'aban szerepl\H{o}
$r$ \'es $p_j$, $1\le j\le r$, param\'eterekt\H{o}l, innen
k\"ovetkezik a t\'etel \'all\'{\i}t\'asa.

\medskip\noindent
{\it Megjegyz\'es.}\/ Kidolgozt\'ak a Hilbert t\'eren
defini\'alt unit\'er (vagy \"onadjung\'alt, vagy 
\'al\-ta\-l\'a\-no\-sab\-ban \'ugynevezett norm\'alis) oper\'atorok 
spektr\'al elm\'elet\'et, amely j\'ol le\'{\i}rja az ilyen 
oper\'atorok szerkezet\'et. \'Erts\"uk meg, hogyan \'{\i}rja le 
ezen elm\'elet az egy Bernoulli rendszerben el\H{o}bb defini\'alt 
\'es vizsg\'alt $U$ unit\'er oper\'atort. Annak \'erdek\'eben, 
hogy jobban meg\'erts\"uk egy Hilbert t\'eren defini\'alt 
oper\'ator viselked\'es\'et, \'erdemes a Hilbert teret felbontani 
az oper\'ator invari\'ans altereinek direkt \"osszeg\'ere. Az 
el\H{o}z\H{o} t\'etelben tulajdonk\'eppen egy ilyen felbont\'ast 
konstru\'altunk. 

Az $L_2(X,\Cal A,P)$ teret felbontottuk $K_0,K_1,\dots$ 
ortogon\'alis $U$-invari\'ans alterek \"ossze\-g\'e\-re a
k\"ovetkez\H{o} m\'odon. $K_0$ az $u_0$ vektor \'altal 
gener\'alt (1 dimenzi\'os) alt\'er, $K_n$ pedig az $u_{n,k}$,
$k=0,\pm1,\pm2,\dots$, vektorok \'altal gener\'alt alt\'er minden
$n=1,2,\dots$ sz\'amra. Az $U$ oper\'ator megszor\'{\i}t\'as\'at 
a $K_n$ alt\'erre az $Uu_{n,k}=u_{n,k+1}$, $k=0,\pm1,\pm2\dots$,
k\'eplet defini\'alja. \'Erdemes megjegyezni, hogy az $U$
oper\'ator megszor\'{\i}t\'asa valamelyik $K_n$ alt\'erre izomorf
a k\"ovetkez\H{o} $\bar U$ oper\'atorral. Tekints\"uk a
$G=L_2([0,1),\Cal B,\lambda)$ Hilbert teret, ahol $\Cal B$ a Borel
$\sigma$-algebra, $\lambda$ pedig a Lebesgue m\'ert\'ek a $[0,1)$
intervallumon. Defini\'aljuk az $\bar U$ oper\'atort, mint az
$f(x)=e^{i2\pi x}$ f\"uggv\'ennyel val\'o szorz\'ast a $G$ Hilbert
t\'erben, azaz legyen $\bar Ug(x)=e^{i2\pi x}g(x)$, ha
$g(x)\in L_2([0,1),\Cal B,\lambda)$. Ekkor felhaszn\'alva, hogy
a $g_k(x)=e^{i2\pi kx}$, $k=0,\pm1,\dots$, f\"uggv\'enyek egy 
teljes ortonorm\'alt rendszert alkotnak az 
$L_2([0,1),\Cal B,\lambda)$ t\'erben, \'es $\bar Ug_k=g_{k+1}$ 
minden $k=0,\pm1,\pm2,\dots$ indexre, meg tudjuk mutatni, hogy 
az $u_{n,k}\to g_k$, $k=0,\pm1,\pm2,\dots$, lek\'epez\'es  
izomorfi\'at l\'etes\'{\i}t az $K_n$ \'es $G$ Hilbert terek 
\'es a rajtuk defini\'alt $U$ \'es $\bar U$ unit\'er 
oper\'atorok k\"oz\"ott. Ezt a t\'enyt felhaszn\'alva a 
k\"ovetkez\H{o} az $L_2(X,\Cal A,P)$ Hilbert t\'errel \'es 
$U$ unit\'er oper\'atorral izomorf rendszert tudjuk 
defini\'alni. Vegy\"uk az $L_2([0,\infty),\Cal B,\lambda^+)$ 
Hilbert teret, ahol $\Cal B$ a Borel $\sigma$-algebra 
$[0,\infty)$ f\'elegyenesen, $\lambda^+$ a Lebesgue m\'ert\'ek 
a $[0,\infty)$ f\'elegyenesen plusz a $\{0\}$ pontba 
koncentr\'alt egys\'eg m\'ert\'ek. Akkor az $f(x)=e^{i2\pi x}$ 
f\"uggv\'ennyel val\'o szorz\'as az 
$L_2([0,\infty),\Cal B,\lambda^+)$ t\'erben izomorf az $U$
oper\'atorral. Ez az \'all\'{\i}t\'as tekinthet\H{o} \'ugy is,
mint az $U$ oper\'ator implicit m\'odon megadott spektr\'al 
el\H{o}\'all\'{\i}t\'asa.

\medskip\noindent
\beginsection 6. A Shannon--McMillan--Breiman t\'etel.

Ebben a fejezetben a Shannon--McMil\-lan--Brei\-man t\'etelt,
az inform\'aci\'oelm\'elet egyik klasszikus eredm\'eny\'et
ismertetem. Ez az eredm\'eny nagy $n$ sz\'amokra hasznos
jellemz\'est ad egy v\'eges vagy megsz\'aml\'alhat\'o sok
\'ert\'eket felvev\H{o}, diszkr\'et idej\H{u} stacion\'arius
szto\-chasz\-ti\-kus folyamat $n$ hossz\'us\'ag\'u szeleteinek
tipikus \'ert\'ekeire. A t\'etel megfogalmaz\'asa \'erdek\'eben
felid\'ezek el\H{o}bb n\'eh\'any fontos fogalmat \'es eredm\'enyt.

\medskip\noindent
{\bf Diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamat
definici\'oja.} {\it Legyen adva $\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata egy
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi me\-z\H{o}n. Azt
mondjuk, hogy ez a sorozat diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamat, ha minden $-\infty< n_1<n_2<\dots<n_k<\infty$
\'es  $m\ge 1$ eg\'esz sz\'amokra a
$(\xi_{n_1},\xi_{n_2},\dots,\xi_{n_k})$ \'es
$(\xi_{n_1+m},\xi_{n_2},\dots,\xi_{n_k+m})$ v\'eletlen vektorok
eloszl\'asa megegyezik.}

\medskip
A diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamatok
\'es az invert\'alhat\'o di\-na\-mi\-kus rendszerek szoros
kapcsolatban \'allnak egym\'assal. Ha vesz\"unk egy dinamikus
rendszerben egy $\xi(\oo)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot 
\'es annak \"osszes $\xi_n(\oo)=T^n\xi(\oo)=\xi(T^n(\oo)$,
$n=0,\pm1,\pm2,\dots$, eltoltj\'at, akkor ezen eltoltak sorozata 
egy diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamat. 
Ennek igazol\'as\'ahoz azt kell meg\'erteni, hogy 
$$
\{\oo\colon (\xi(T^{n_1+m}(\oo),\dots,T^{n_k+m}(\oo))\in A\}
=T^{-m}\{\oo\colon (\xi(T^{n_1}(\oo),\dots,T^{n_k}(\oo))\in A\},
$$ 
\'es $T$ m\'ert\'ektart\'o lek\'epez\'es. Az\'ert, hogy az 
el\H{o}z\H{o} \'all\'{\i}t\'as megford\'{\i}t\'as\'at is 
megfogalmazzam, defini\'alni fogok \'ugynevezett speci\'alis 
dinamikus rend\-sze\-re\-ket, amelyek invert\'alhat\'o dinamikus 
rendszerek, \'es defini\'alni fogok minden speci\'alis dinamikus 
rendszerre $\bar\xi_n$, $\bar\xi_n=T^n\bar\xi_0$,
$-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oknak
egy sorozat\'at, amelyet e rendszer \'altal induk\'alt 
sorozatnak fogok nevezni. A fenti k\'epletben $T^n$ a tekintett 
speci\'alis dinamikus rendszer shift transzform\'aci\'oj\'anak 
az $n$-ik hatv\'anya. Meg fogom mutatni, hogy minden $\xi_n$, 
$-\infty<n<\infty$, diszkr\'et idej\H{u} stacion\'arius 
sztochasztikus folyamathoz tudunk
egy olyan speci\'alis dinamikus rendszert konstru\'alni, amelyre az
\'altala induk\'alt $\bar\xi_n$, $\bar\xi_n=T^n\bar\xi_0$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak \'es az
eredeti $\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozatnak az eloszl\'asa megegyezik. Az
\'all\'{\i}t\'as pontos megfogalmaz\'as\'anak az \'erdek\'eben
bevezetem a k\"ovetkez\H{o} definici\'ot.

\medskip\noindent
{\bf Speci\'alis dinamikus rendszerek \'es \'altaluk induk\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak a
definici\'oja.} {\it Jel\"olje $R^{\pm\infty}$ az $R$ sz\'amegyenes
(pozit\'{\i}v vagy negat\'{\i}v) eg\'esz sz\'amokkal indexelt
p\'eld\'anyainak a direkt szorzat\'at, azaz az
$x=(\dots,x_{-1},x_0,x_1,\dots)$ k\'et ir\'anyban v\'egtelen,
val\'os sz\'amokb\'ol \'all\'o sorozatok halmaz\'at, \'es
jel\"olje $\Cal B^{\pm\infty}$ a Borel $\sigma$-algebr\'at
az $R^{\pm\infty}$ halmazon. Vezess\"uk be a (baloldali eltol\'ast
jelent\H{o})
$$
Tx=T(\dots,x_{-1},x_0,x_1,\dots)=
(\dots,x_{-2},x_{-1},x_0,\dots), \quad x\in R^{\pm\infty}
$$
shift transzform\'aci\'ot az $R^{\pm\infty}$ t\'eren. Egy $\bar P$
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket az
$(R^{\pm\infty},\Cal B^{\pm\infty})$ t\'eren $T$ invari\'ansnak
nevez\"unk, ha $\bar P(T^{-1}(A))=\bar P(A)$ minden
$A\in\Cal B^{\pm\infty}$ halmazra. Egy
$(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ rendszert a fent
defini\'alt $R^{\pm\infty}$, $\Cal B^{\pm\infty}$, $\bar P$ \'es
$T$ menyis\'egekkel, ahol $\bar P$ $T$ invari\'ans
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az
$(R^{\pm\infty},\Cal B^{\pm\infty})$ t\'eren speci\'alis dinamikus
rendszernek nevez\"unk. Adva egy
$(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ speci\'alis dinamikus
rendszer, a $\bar\xi_n(x)=x_n$, $-\infty<n<\infty$,
$x=(\dots,x_{-1},x_0,x_1,\dots)$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok sorozat\'at a rendszer \'altal induk\'alt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak fogjuk
nevezni. (Nyilv\'an $\bar\xi_n(x)=\bar\xi_0(T^nx))$
minden $x\in R^{\pm\infty}$ pontra \'es $n=0,\pm1,\dots$ sz\'amra.)}

\medskip
Nem neh\'ez l\'atni, hogy egy speci\'alis dinamikus rendszer
invert\'alhat\'o dinamikus rendszer. Tov\'abb\'a igaz a
k\"ovetkez\H{o} lem\-ma.

\medskip\noindent
{\bf Lemma diszkr\'et idej\H{u} stacion\'arius sztochasztikus
folyamatok \'es invert\'alhat\'o dinamikus rendszerek
kapcsolat\'ar\'ol.} {\it Legyen $(\Omega,\Cal A,P,T)$
invert\'alhat\'o dinamikus rendszer, \'es $\xi$ egy az
$(\Omega,\Cal A,P)$ mez\H{o}n \'ertelmezett
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o. Ekkor a $\xi_n=T^n\xi$,
$n=\dots,-1,0,1,\dots$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok sorozata egy diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamat.

Megford\'{\i}tva, minden $\xi_n$, $-\infty<n<\infty$, diszkr\'et
idej\H{u} stacion\'arius sztochasztikus folyamathoz l\'etezik
olyan $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ speci\'alis
dinamikus rendszer, amelyre a speci\'alis dinamikus rendszer
\'altal induk\'alt $\bar\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak \'es a
$\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozatnak az eloszl\'asa meg\-egye\-zik.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ A lemma els\H{o} fele nyilv\'anval\'o.
A lemma m\'asodik fel\'enek a bizony\'{\i}t\'as\'aban defini\'alni
kell a lemma felt\'eteleit kiel\'eg\'{\i}t\H{o}
$(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ speci\'alis
dinamikus rend\-szert. Ebben a definici\'oban a $\bar P$
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket kell alkalmas m\'odon
megadni. Ennek \'erdek\'eben tekints\"uk azt az
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t, ahol a
$\xi_n(\oo)$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok
vannak defini\'alva, \'es defini\'aljuk a k\"ovetkez\H{o}
$U\colon\;\Omega\to R^{\pm\infty}$ (m\'erhet\H{o})
le\-k\'e\-pe\-z\'est:
$U(\oo)=(\dots,\xi_{-1}(\oo),\xi_0(\oo),\xi_1(\oo),\dots)$.
Legyen $\bar P$ a $P$ m\'ert\'ek ezen $U$
transz\-for\-m\'a\-ci\'o sze\-rin\-ti \H{o}sk\'epe az
$(R^{\pm\infty},\Cal B^{\pm\infty})$ t\'eren, azaz legyen
$\bar P(A)=P(\{\oo\colon\; U(\oo)\in A\})$ minden
$A\in\Cal B^{\pm\infty}$ halmazra. Meg fogjuk mutatni, hogy
a $\xi_n$, $-\infty<n<\infty$, sorozat
stacionarit\'as\'ab\'ol k\"ovetkezik, hogy a $\bar P$ m\'ert\'ek
$T$ invari\'ans, azaz $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
ezzel a $\bar P$ m\'ert\'ekkel val\'oban speci\'ais dinamikus
rendszer. Tov\'abb\'a a $\bar P$ m\'ert\'ek
de\-fi\-ni\-ci\'o\-j\'a\-b\'ol az
is k\"ovetkezik, hogy a $\bar\xi_n$, $-\infty<n<\infty$, \'es a
$\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
sorozatainak az egy\"ut\-tes eloszl\'asai megegyeznek.

Be kell m\'eg l\'atni, hogy a $\bar P$ m\'ert\'ek val\'oban $T$
invari\'ans, azaz defini\'alva a $Q(A)=\bar P(T^{-1}A)$, $A\in\Cal
B^{\pm\infty}$, m\'ert\'eket $\bar P(A)=Q(A)$ minden
$A\in\Cal B^{\pm\infty}$ halmazra. Ez az azonoss\'ag igaz
a $\xi_n$, $n=\dots,-1,0,1,\dots$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozat stacionarit\'asa miatt a k\"ovetkez\H{o}
speci\'alis alak\'u $A\in \Cal B^{\pm\infty}$ (henger)halmazokra.
$$
A=A(n_1,\dots,n_k,B)=\{x=(\dots,x_1,x_0,x_1,\dots)\colon\;
(x_{n_1},\dots,x_{n_k})\in B\},
$$
ahol $n_1,\dots,n_k$ tetsz\H{o}leges eg\'esz sz\'amok, \'es
$B$ tetsz\H{o}leges Borel m\'erhet\H{o} halmaz az $R^k$
$k$-dimenzi\'os Euklideszi t\'erben. Ugyanis
$\bar P(A)=P((\xi_{n_1},\dots,\xi_{n_k})\in B)$, \'es
$Q(A)=P((\xi_{n_1+1},\dots,\xi_{n_k+1})\in B)$ ebben az
esetben. Viszont az ilyen alak\'u halmazok egy olyan halmaz
algebr\'at alkotnak, amely gener\'alja a $\Cal B^{\pm\infty}$
$\sigma$-algebr\'at.
Mivel egy m\'ert\'ek kiterjeszt\'ese egy halmaz algebr\'ar\'ol az
\'altala gener\'alt $\sigma$-algebr\'ara egy\'ertelm\H{u}, innen
k\"ovetkezik, hogy $\bar P(A)=Q(A)$ minden $A\in\Cal B^{\pm\infty}$
halmazra, amint azt \'all\'{\i}tottuk.

\medskip
A fenti lemma lehet\H{o}v\'e teszi, hogy a dinamikus rendszerek
elm\'elet\'enek az ered\-m\'e\-nyeit alkalmazzuk diszkr\'et
idej\H{u} stacion\'arius sztochasztikus folyamatok
vizsg\'alat\'aban. A dinamikus rendszerek elm\'elet\'enek egyik
legfontosabb eredm\'enye az ergod t\'etel. Ezt k\'{\i}v\'anom
megfogalmazni. Ez el\H{o}tt be kell vezetni n\'eh\'any
definici\'ot.

\medskip\noindent
{\bf Dinamikus rendszer invari\'ans halmazainak a definici\'oja.}
{\it Egy $(\Omega,\Cal A,P,T)$ dinamikus rendszer valamely
$A\in\Cal A$ halmaz\'at e rendszer invari\'ans halmaz\'anak
nevez\"unk, ha $T^{-1}(A)=A$. Ezt az azonoss\'agot \'ugy \'ertj\"uk,
hogy a benne szerepl\H{o} k\'et halmaz szimmetrikus
differenci\'aj\'anak nulla a $P$ m\'ert\'ek szerinti
val\'osz\'{\i}n\H{u}s\'ege.}

\medskip
Sz\"uks\'eg\"unk lesz a k\"ovetkez\H{o} egyszer\H{u} lemm\'ara.

\medskip\noindent
{\bf Lemma az invari\'ans halmazok viselked\'es\'er\H{o}l.}
{\it Egy dinamikus rendszer invari\'ans halmazai $\sigma$-algebr\'at
alkotnak, azaz, ha $A$ invari\'ans halmaz akkor annak komplementere,
$\Omega\setminus A$ is az, \'es ha $A_1,A_2,\dots$ invari\'ans
halmazok, akkor a $\bigcupp_{n=1}^\infty A_n$ \'es
$\bigcapp_{n=1}^\infty A_n$ halmazok is invari\'ansak.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Az \'all\'{\i}t\'as egyszer\H{u}
k\"ovetkezm\'enye a $T^{-1}$ inverz transzform\'aci\'o
tulajdons\'againak.

\medskip
Adva egy $(\Omega,\Cal A,P,T)$ dinamikus rendszer
jel\"olje $\Cal I\subset\Cal A$ az invari\'ans halmazok
$\sigma$-algebr\'aj\'at, \'es vezess\"uk be a k\"ovetkez\H{o}
definici\'ot.

\medskip\noindent
{\bf Ergodikus dinamikus rendszerek definici\'oja.} {\it Egy
$(\Omega,\Cal A,P,T)$ dinamikus rend\-szert ergodikusnak nevez\"unk,
ha e rendszer invari\'ans halmazainak $\Cal I$ $\sigma$-algebr\'aja
trivi\'alis a k\"ovetkez\H{o} \'ertelemben. Minden $A\in\Cal I$
halmazra $P(A)=0$ vagy $P(A)=1$.}

\medskip\noindent
{\bf Ergod t\'etel.} {\it Legyen $(\Omega,\Cal A,P,T)$ egy dinamikus
rendszer, $U(\oo)$ egy $\Cal A$ m\'erhet\H{o} val\'os \'ert\'ek\H{u}
f\"uggv\'eny, amelyre $\int_\Omega |U(\oo)|P(\,d\oo)<\infty$. Ekkor
$$
\lim_{n\to\infty}\frac1n\sum_{j=0}^{n-1}U(T^j\oo)=E(U|\Cal I)(\oo)
\quad\text{a $P$ m\'ert\'ek szerint majdnem minden
$\oo\in \Omega$ pontra,}
$$
ahol $\Cal I$ az invari\'ans halmazok $\sigma$-algebr\'aja, \'es
$E(\cdot|\Cal I)$ az $\Cal I$ $\sigma$-algebra szerinti felt\'eteles
v\'arhat\'o \'ert\'eket jel\"oli. Ha az $(\Omega,\Cal A,P,T)$
dinamikus rendszer ergodikus, akkor a k\'eplet egyszer\H{u}s\"odik,
mert ebben az esetben $E(U|\Cal I)(\oo)=EU=\int U(\oo)P(\,d\oo)$.}

A fentiekben dinamikus rendszerek ergodicit\'as\'at
defini\'altuk. De diszkr\'et idej\H{u} stacion\'arius sztochasztikus
folyamatok ergodicit\'as\'at is term\'eszetes m\'odon lehet
defini\'alni. Annak \'erdek\'eben, hogy megadjuk azt, hogy  egy
$\xi_n$, $-\infty<n<\infty$, diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamat mikor ergodikus tekints\"uk azt az
$(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ speci\'alis
dinamikus rendszert, amelyre a speci\'alis dinamikus rendszer
\'altal induk\'alt $\bar\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak \'es a
$\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozatnak az eloszl\'asa meg\-egye\-zik. (L\'attuk,
hogy ilyen speci\'alis dinamikus rendszer l\'etezik.) Akkor
mondjuk, hogy a $\xi_n$, $-\infty<n<\infty$, diszkr\'et idej\H{u}
stacion\'arius sztochasztikus folyamat ergodikus, ha a fenti
tulajdons\'ag\'u $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
speci\'alis dinamikus rendszer ergodikus. Mivel a $\xi_n$,
$-\infty<n<\infty$, \'es a $\bar\xi_n$, $-\infty<n<\infty$,
sorozatok eloszl\'asa megegyezik, ez a k\'et sorozat ugyanolyan
val\'osz\'{\i}n\H{u}s\'egsz\'am\'{\i}t\'asi t\"orv\'enyeket
teljes\'{\i}t. Ez lehet\H{o}v\'e teszi, hogy diszkr\'et idej\H{u}
stacion\'arius sztochasztikus folyamatok vizsg\'alat\'at
visszavezess\"uk invert\'alhat\'o dinamikus rendszerek
vizsg\'alat\'ara, ahol al\-kal\-maz\-hat\-juk az ergod t\'etelt is.

Tekints\"unk egy olyan diszkr\'et idej\H{u} $\xi_n$,
$-\infty<n<\infty$, stacion\'arius sztochasztikus folyamatot,
amelyben a $\xi_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
\'ert\'ekeit egy v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an
v\'egtelen $X$ halmazban veszik fel, \'es defini\'aljuk ennek
entr\'opi\'aj\'at. Az egyszer\H{u}bb jel\"ol\'es \'erdek\'eben
feltehetj\"uk, hogy $X$ a val\'os sz\'amok egy
r\'eszhalmaza. Olyan definici\'ot fogunk adni, amely \"osszhangban
van a dinamikus rendszerek eset\'eben defini\'alt $H(T,\xi)$
entr\'opia definici\'oval valamint a diszkr\'et idej\H{u}
stacion\'arius sztochasztikus folyamatok \'es az invert\'alhat\'o
dinamikus rendszerek k\"oz\"otti kapcsolattal. Legyen
$$
H(\xi_n,-\infty<n<\infty)
=\lim_{n\to\infty}H(\xi_0|\xi_{-1},\dots,\xi_{-n}), \tag6.1
$$
ahol $H(\xi_0|\xi_{-1},\dots,\xi_{-n})$ az els\H{o} fejezetben
bevezetett fel\-t\'e\-te\-les entr\'opia. Az, hogy a (6.1)
formul\'aban szerepl\H{o} limeszek val\'oban l\'eteznek
hasonl\'oan mutathat\'o  meg, mint ahogy a
$H(T,\xi)$ entr\'opia definici\'oj\'anak a
jo\-gos\-s\'a\-g\'at indokoltuk az 5. fejezetben. Tov\'abb\'a
nem neh\'ez bel\'atni, hogy
$H(\xi_n,-\infty<n<\infty)
=\limm_{n\to\infty}\frac1nH(\xi_0,\xi_{-1},\dots,\xi_{-n+1})$,
ha $H(\xi_1)<\infty$. (Azt is \'all\'{\i}tjuk, hogy a $H(\xi_1)<\infty$
esetben ez a v\'eges hat\'ar\'ert\'ek l\'etezik.)

Egy\'ebk\'ent szoros kapcsolat van a diszkr\'et idej\H{u}
stacion\'arius sztochasztikus fo\-lya\-ma\-tok \'es invert\'alhat\'o
dinamikus rendszerek entr\'opi\'aja k\"oz\"ott. Legyen $\xi_n$,
$-\infty<n<\infty$, olyan diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamat, amelyben a $\xi_n$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok \'ert\'ekeiket
egy v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen $X$ halmazban
veszik fel.
Tekints\"uk azt a $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
speci\'alis dinamikus rendszert, amelyre a speci\'alis dinamikus
rendszer \'altal induk\'alt $\bar\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak \'es a
$\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozatnak az eloszl\'asa meg\-egye\-zik. Ekkor
$H(\xi_n,-\infty<n<\infty)=H(T,\bar\xi_0)$. Pontosabban egy
apr\'o technikai kellemetlens\'eg elker\"ul\'ese v\'egett
\'erdemes a $\bar\xi_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
definici\'oj\'at kiss\'e m\'odos\'{\i}tani. A $\bar\xi_n$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok ugyanis, ---
legal\'abbis form\'alisan, --- nem v\'eges vagy
meg\-sz\'am\-l\'al\-ha\-t\'o\-an sok \'ert\'eket vesznek fel.
E val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'ert\'ekk\'eszlete
az $R$ sz\'amegyenes. De mivel $P(\xi_n\in X)=1$, ett\H{o}l a
kellemetlens\'egt\H{o}l egyszer\H{u}en meg tudunk szabadulni.
Arra az $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
speci\'alis dinamikus rendszerre, amelyet most tekintett\"unk
$\bar P(X^{\pm\infty})=1$, ahol
$X^{\pm\infty}=\{(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)
\colon\; x_{j_n}\in X,\;-\infty<n<\infty\}$. Ez\'ert
a tekintett $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
speci\'alis dinamikus rend\-szert helyettes\'{\i}thetj\"uk az
$(X^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ (invert\'alhat\'o)
dinamikus rend\-szer\-rel, ahol $\Cal B^{\pm\infty}$ a kor\'abban
de\-fi\-ni\-\'alt $\Cal B^{\pm\infty}$ (Borel) $\sigma$-algebra,
\'es $\bar P$ a kor\'abban defini\'alt $\bar P$ m\'ert\'ek
megszor\'{\i}t\'asa az $X^{\pm\infty}$ halmazra.
Az e rendszer \'altal induk\'alt $\bar\xi_n=T^n\bar\xi_0$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okat a kor\'abbi esethez
hasonl\'oan defini\'aljuk. Ezzel a m\'odos\'{\i}t\'assal
k\"ozvetlen\"ul l\'athat\'o, hogy
$H(\xi_n,-\infty<n<\infty)=H(T,\bar\xi_0)$.

A Shannon--McMillan--Breiman t\'etel megfogalmaz\'asa el\H{o}tt
teszek egy r\"ovid kit\'er\H{o}t. Gyakran val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oknak olyan $\xi_n$, $n\ge0$ sorozataival kell
foglalkoznunk, amelyek hasonl\'oan viselkednek a diszkr\'et
idej\H{u} stacion\'arius sztochasztikus folyamatokhoz, de csak nem
negat\'{\i}v $n$ indexekre vannak defini\'alva. Az ilyen 
sorozatokat f\'eloldali diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamatoknak fogom nevezni. Megfogalmazom,
hogy ez pontosan mit jelent, \'es megmutatom, hogy az ilyan
sorozatok vizsg\'alata visszavezethet\H{o} a hagyom\'anyos
diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamatok
vizsg\'alat\'ahoz. El\H{o}sz\"or bevezetem a k\"ovetkez\H{o}
fogalmat.

\medskip\noindent
{\bf F\'eloldali diszkr\'et idej\H{u} stacion\'arius sztochasztikus
folyamat definici\'oja.} {\it Le\-gyen adva $\xi_n$, $n=0,1,2,\dots$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata egy
$(\Omega,\Cal A,P)$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
me\-z\H{o}n. Azt mondjuk, hogy ez a sorozat f\'eloldali
diszkr\'et idej\H{u} stacion\'arius szto\-chasz\-ti\-kus folyamat,
ha minden $0\le n_1<n_2<\dots<n_k<\infty$ \'es  $m\ge 1$ eg\'esz
sz\'amokra a $(\xi_{n_1},\xi_{n_2},\dots,\xi_{n_k})$ \'es
$(\xi_{n_1+m},\xi_{n_2},\dots,\xi_{n_k+m})$ v\'eletlen vektorok
eloszl\'asa megegyezik.}

\medskip
A k\"ovetkez\H{o} lemma kapcsolatot teremt f\'eloldali diszkr\'et
idej\H{u}  \'es diszkr\'et idej\H{u}  stacion\'arius sztochasztikus
folyamatok k\"oz\"ott.

\medskip\noindent
{\bf Lemma f\'eloldali diszkr\'et idej\H{u} \'es diszkr\'et idej\H{u}
stacion\'arius sztochasztikus folyamatok kapcsolat\'ar\'ol.}
{\it Legyen $\xi_n$, $n=0,1,2,\dots$, egy f\'eloldali diszkr\'et
idej\H{u} stacion\'arius sztochasztikus folyamat egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n. L\'etezik olyan diszkr\'et
idej\H{u} $\bar\xi_n$, $-\infty<n<\infty$, stacion\'arius
sztochasztikus folyamat egy al\-kal\-mas
$(\bar\Omega,{\bar\Cal A},\bar P)$ val\'osz\'{\i}n\H{u}s\'egi
mez\H{o}n, amelyre a $\xi_n$, $n=0,1,2,\dots$, \'es $\bar\xi_n$,
$n=0,1,2,\dots$, sorozatok eloszl\'asa megegyezik.}

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Legyen
$(\bar\Omega,{\bar\Cal A},\bar P)
=(R^{\pm\infty},\Cal B^{\pm\infty},\bar P)$
a kor\'abban defini\'alt $R^{\pm\infty}$ halmazzal \'es
$\Cal B^{\pm\infty}$ $\sigma$-algebr\'aval \'es egy alkalmasan
defini\'alt $\bar P$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ekkel.
Legyen tov\'abb\'a $\bar\xi_n(x)=x_n$, $-\infty<n<\infty$, ha
$x=(\dots,x_{-1},x_0,x_1,\dots)\in R^{\pm\infty}$. A $\bar P$
m\'ert\'ek defini\'al\'asa \'erdek\'eben vegy\"uk \'eszre, hogy
$P(\xi_{n_1}\in B_1,\dots,\xi_{n_k}\in B_k)
=P(\xi_{n_1+p}\in B_1,\dots,\xi_{n_k+p}\in B_k)$ nem negat\'{\i}v eg\'esz
sz\'amok minden monoton n\"ovekv\H{o} $0\le n_1<\cdots<n_k$ v\'eges
sorozat\'ara, tetsz\H{o}leges $p\ge -n_1$ eg\'esz sz\'amra \'es a
sz\'amegyenesen Borel m\'erhet\H{o} $B_1,\dots,B_k$ halmazokra.
Defini\'aljuk a $\bar P$ m\'ert\'eket el\H{o}sz\"or bizonyos
spe\-ci\-\'a\-lis halmazokra a
$$
\aligned
\bar P((\dots,x_1,x_0,x_1,\dots)\colon\;
x_{n_1}\in B_1,\dots,x_{n_k}\in B_k)&=
P(\xi_0\in B_1,\dots,x_{n_k-n_1}\in B_k)\\
&=P(\xi_{n_1+p}\in B_1,\dots,\xi_{n_k+p}\in B_k)
\endaligned \tag6.2
$$
k\'eplet seg\'{\i}ts\'eg\'evel. E k\'epletben
$-\infty<n_1<n_2<\cdots<n_k<\infty$ eg\'esz sz\'amok, $p\ge-n_1$, \'es
$B_1,\dots,B_k$ Borel m\'erhet\H{o} halmazok a sz\'amegyenesen.
(Megengedj\"uk, hogy $n_j<0$ legyen bizonyos $j$ indexekre.)
Ha a fenti k\'epletekben az $x_j$ koordin\'at\'akat
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oknak tekintj\"uk, akkor (6.2)
k\'epletben ezek v\'eges dimenzi\'os eloszl\'asait kon\-zisz\-tens
m\'odon defini\'altuk. Ez\'ert Kolmogorov t\'etele alapj\'an
l\'etezik (egyetlen) olyan $\bar P$ m\'ert\'ek az
$(R^{\pm\infty},\Cal B^{\pm\infty})$ t\'eren, amely teljes\'{\i}ti
a (6.2) formul\'at tetsz\H{o}leges
$-\infty<n_1<n_2<\cdots<n_k<\infty$, $p>-n_1$ eg\'esz sz\'amokra
\'es $B_1,\dots,B_k$ Borel m\'erhet\H{o} halmazokra a sz\'amegyenesen.
(A val\'osz\'{\i}n\H{u}s\'egsz\'am\'{\i}t\'as alapt\'etel\'enek egy
lehets\'eges megfogalmaz\'as\'at alkalmaztuk.) Nem neh\'ez
bel\'atni, hogy az \'{\i}gy konstru\'alt
$(R^{\pm\infty},\Cal B^{\pm\infty},\bar P)$ val\'osz\'{\i}n\H{u}s\'egi
mez\H{o} \'es $\bar\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok teljes\'{\i}tik a lemma
\'all\'{\i}t\'as\'at.

\medskip
R\'at\'erek a Shannon--McMillan--Breiman t\'etel ismertet\'es\'ere.
Ezen eredm\'eny k\'et ekvivalens verzi\'oj\'at fogom megfogalmazni.
Az els\H{o} verzi\'o invert\'alhat\'o dinamikus rend\-szerek, a
m\'asodik verzi\'o diszkr\'et idej\H{u} stacion\'arius
sztochasztikus folyamatok vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l fog sz\'olni.

\medskip\noindent
{\bf A Shannon--McMillan--Breiman t\'etel invert\'alhat\'o dinamikus
rendszerekre.} {\it Legyen $(\Omega,\Cal A,P,T)$ egy ergodikus
invert\'alhat\'o dinamikus rendszer, \'es legyen azon adva egy olyan
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amely \'ert\'ekeit
egy v\'eges vagy megsz\'aml\'alhat\'o $X=\{x_1,x_2,\dots\}$
halmazon veszi fel, \'es $H(\xi)<\infty$. Vezess\"uk be a
$\xi_n=T^n\xi$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat, \'es defini\'aljuk minden $n=1,2,\dots$ sz\'amra a
$$
p_n(x_{j_0},\dots,x_{j_{n-1}})=P(\xi_0=x_{j_0},\dots,\xi_{n-1}=x_{j_{n-1}})
$$
f\"uggv\'enyt, ahol $x_{j_s}\in X$ minden $1\le s\le n-1$ indexre.
Ekkor
$$
\lim_{n\to\infty}-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})=H(T,\xi) \quad
1 \text{ val\'osz\'{\i}n\H{u}s\'eggel}, \tag6.3
$$
ahol a $H(T,\xi)$ entr\'opi\'at az (5.5) k\'epletben defini\'altuk.}

\medskip\noindent
{\bf A Shannon--McMillan--Breiman t\'etel diszkr\'et idej\H{u}
stacion\'arius szto\-chasz\-ti\-kus folyamatokra.}
{\it Legyen $\xi_n$, $-\infty<n<\infty$, egy olyan diszkr\'et
idej\H{u}, ergodikus stacion\'arius sztochasztikus folyamat, amelyre a
$\xi_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'ert\'ekeiket
egy v\'eges vagy megsz\'aml\'alhat\'o $X=\{x_1,x_2,\dots\}$
halmazon veszik fel, \'es $H(\xi_n)<\infty$.
Vezess\"uk be minden $n=1,2,\dots$ sz\'amra a
$p_n(x_{j_0},\dots,x_{j_{n-1}})=P(\xi_0=x_{j_0},\dots,\xi_{n-1}=x_{j_{n-1}})$
f\"uggv\'enyt, ahol $x_{j_s}\in X$ minden $1\le s\le n-1$ indexre.
Ekkor
$$
\lim_{n\to\infty}-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})
=H(\xi_n,\, -\infty<n<\infty) \quad
1 \text{ val\'osz\'{\i}n\H{u}s\'eggel},
$$
ahol a $H(\xi,\,-\infty<n<\infty)$ entr\'opi\'at az (6.1)
k\'epletben defini\'altuk.}

\medskip\noindent
{\it Megjegyz\'es.}\/ A $\xi_n$ sorozat stacionarit\'asa miatt a
$p_n(\cdot)$ f\"uggv\'enyek definici\'oj\'at
$$
p_n(x_{j_0},\dots,x_{j_{n-2}},x_{j_{n-1}})=P(\xi_{-n-1}
=x_{j_0},\dots,\xi_{-1}=x_{j_{n-2}},\xi_0=x_{j_{n-1}})
$$
alakban is \'{\i}rhattuk volna.

\medskip
Az, hogy egy $\xi_n$, $-\infty<n<\infty$, \'ert\'ekeiket egy
v\'eges vagy megsz\'aml\'alhat\'o $X$ halmazon felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol \'all\'o
sztochasztikus folyamat teljes\'{\i}ti a Shannon--McMillan--Breiman
t\'etelt heurisztikusan \'ugy interpret\'alhat\'o, hogy meg lehet
adni a sztochasztikus folyamat \'ert\'ekeinek egy olyan
`tipikus sorozatokb\'ol \'all\'o'
1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\H{u}
$X_0^{\pm\infty}\subset X^{\pm\infty}$ r\'eszhalmaz\'at \'ugy, hogy
nagy  $n$ sz\'amokra j\'o aszimptotikus formula adhat\'o annak
val\'osz\'{\i}n\H{u}s\'eg\'ere, hogy a sztochasztikus folyamat
megszor\'{\i}t\'asa a 0 \'es $n-1$ index\H{u} koordin\'at\'ak
k\"oz\'e megegyezik egy el\H{o}\'{\i}rt tipikus sorozat
megszor\'{\i}t\'as\'aval a 0 \'es $n-1$ koordin\'at\'ak k\"oz\'e.
Ez a val\'osz\'{\i}n\H{u}s\'eg minden tipikus $x\in X_0^{\pm\infty}$
sorozatra k\"ozel\'{\i}t\H{o}leg egyenl\H{o}; exponenci\'alisan kicsi,
\'es logaritmus\'anak a $-\frac1n$-szerese k\"or\"ulbel\"ul
a sztochasztikus folyamat entr\'opi\'aj\'aval egyenl\H{o}.

A diszkr\'et idej\H{u} stacion\'arius szto\-chasz\-ti\-kus
folyamatokra megfogalmazott Shan\-non--McMillan--Breiman t\'etel
egyszer\H{u}en k\"ovetkezik az invert\'alhat\'o dinamikus
rend\-sze\-rek\-r\H{o}l sz\'ol\'o Shannon--McMillan--Breiman
t\'etelb\H{o}l. Val\'oban, adva egy olyan $\xi_n$, $-\infty<n<\infty$,
diszkr\'et idej\H{u}, ergodikus stacion\'arius sztochasztikus
folyamat, amelyre a $\xi_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
\'ert\'ekeiket egy v\'eges vagy megsz\'aml\'alhat\'o
$X=\{x_1,x_2,\dots\}$ halmazon veszik fel, \'es
$H(\xi_n,\,-\infty<n<\infty)<\infty$, tekints\"uk
azt az $(R^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$ speci\'alis
dinamikus rendszert, amelyre a speci\'alis dinamikus rendszer
\'altal induk\'alt $\bar\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'anak \'es a
$\xi_n$, $-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o sorozatnak az eloszl\'asa meg\-egye\-zik. Pontosabban,
ezt a speci\'alis dinamikus rendszert kiss\'e m\'odos\'{\i}tjuk,
felhaszn\'alva, hogy olyan val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat tekint\"unk, amelyek \'ert\'ekeiket az $X$ halmzaban
veszik fel. Ez\'ert az
$(X^{\pm\infty},\Cal B^{\pm\infty},\bar P,T)$
dinamikus rendszert vessz\"uk, \'es ebben a $\bar\xi_n$,
$-\infty<n<\infty$, sorozatra alkalmazzuk a Shannon--McMillan--Breiman
t\'etelt. Ezt fel\'{\i}rhatjuk
$P((\dots,\bar\xi_{-1}(\oo),\bar\xi_0(\oo),\bar\xi_1(\oo),\dots)\in D)=1$
alakban, ahol
$$
D=\{(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)\in X^{\pm\infty}\colon\;
\lim_{n\to\infty}-\frac1n\log p_n(x_{j_0},\dots,x_{j_{n-1}})=H(T,\bar\xi_0)\}.
$$
Mivel a $\bar\xi_n$, $-\infty<n<\infty$ \'es  $\xi_n$,
$-\infty<n<\infty$, v\'eletlen sorozatok eloszl\'asa megegyezik, \'es
$H(T,\bar\xi_0)=H(\xi_n,\,-\infty<n<\infty)$
$P((\dots,\xi_{-1}(\oo),\xi_0(\oo),\xi_1(\oo),\dots)\in\bar D)=1$, ahol
a $\bar D$ halmazt hasonl\'oan defini\'aljuk a $D$ halmazhoz, csak
a $H(T,\bar\xi_0)$ mennyis\'eget a $H(\xi_n,\,-\infty<n<\infty)$
mennyis\'eggel helyettes\'{\i}tj\"uk benne. Ez viszont azt jelenti,
hogy a Shannon--McMillan--Breiman t\'etel diszkr\'et idej\H{u},
ergodikus stacion\'arius sztochasztikus folyamatokra is \'erv\'enyes.

A Shannon--McMillan--Breiman t\'etelt invert\'alhat\'o di\-na\-mi\-kus
rendszerekre fogjuk bizony\'{\i}tani. Annak \'erdek\'eben, hogy
a bizony\'{\i}t\'ast jobban meg\'erts\"uk tekints\"uk el\H{o}sz\"or
azt a k\'et speci\'alis esetet, amikor a $\xi_n=T^n\xi$,
$-\infty<n<\infty$, sorozat vagy a) f\"uggetlen, egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozata vagy b) egy
stacion\'arius Markov l\'anc. Az a) esetben
$p_n(x_{j_0},\dots,x_{j_{n-1}})=\prodd_{s=0}^{n-1}p(x_{j_s})$, ahol
$p(x_{j_s})=P(\xi=x_{j_s})$. Ez\'ert
$-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})
=-\frac1n\summ_{s=0}^{n-1}\log p(\xi_s)$. A nagy sz\'amok
er\H{o}s t\"orv\'enye szerint ez az \'atlag
1~val\'osz\'{\i}n\H{u}s\'eggel konverg\'al a
$-E\log p(\xi)=-\sum P(\xi=x_j)\log P(\xi=x_j)=H(\xi)=H(T,\xi)$
\"osszeghez, ha $n\to\infty$, \'es az a) esetben ezt kellett bel\'atni.

A b) esetben hasonl\'o az indokl\'as, csak ekkor az ergod t\'etelt
kell alkalmazni a nagy sz\'amok t\"orv\'enye helyett. Egy olyan $\xi_n$,
$-\infty<n<\infty$, Markov l\'ancot tekint\"unk, amely az
$(X^{\pm\infty},\Cal B^{\pm\infty},P,T)$ t\'eren van defini\'alva
alkalmas $P$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ekkel, a szok\'asos
$T(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)
=(\dots,x_{j_0},x_{j_1},x_{j_2},\dots)$ shift transzform\'aci\'oval,
\'es $\xi_n(x)=x_{j_n}$, $-\infty<n<\infty$, ha
$x=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$. Jel\"olje
$q(x)=P(\xi_n=x)$, $x\in X$, a stacion\'arius Markov l\'anc egy
dimenzi\'os eloszl\'asait, \'es
$r(\bar x|x)=P(\xi_{n+1}=\bar x|\xi_n=x)$, $x,\bar x\in X$, a
Markov l\'anc \'atmenet val\'osz\'{\i}n\H{u}s\'egeit. Ekkor
$$
p_n(x_{j_0},\dots,x_{j_{n-1}})=q(x_{j_0})
\prodd_{s=0}^{n-2}r(x_{j_{s+1}}|x_{j_s}),
$$
ahonnan
$$
-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})=-\frac1n\log q(\xi_0)
-\frac1n\summ_{s=0}^{n-2}\log r(T^{s}\xi_1|T^s\xi_0).
$$
Ez\'ert az ergod t\'etelb\H{o}l az $U(x)=-\log r(x_{j_1}|x_{j_0})$,
ha $x=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$ f\"ugg\-v\'eny
v\'alaszt\'assal azt kapjuk, hogy
$\limm_{n\to\infty}-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})=-E\log
r(\xi_1|\xi_0)$ 1~val\'osz\'{\i}n\H{u}s\'eggel. A bizony\'{\i}t\'as
befejez\'es\'ehez az $-E\log r(\xi_1|\xi_0)=H(T,\xi_0)$ azonoss\'agot
kell m\'eg igazolni.

Viszont
$$
\align
&H(\xi_n|\xi_{n-1},\dots,\xi_0)\\
&\qquad =-\summ_{x_{j_0},\dots,x_{j_n}}
P(\xi_0=x_{j_0},\dots\xi_n=x_{j_n})
\log P(\xi_n=x_{j_n}|\xi_{n-1}=x_{j_{n-1}},\dots,\xi_0=x_{j_0})\\
&\qquad =-\summ_{x_{j_0},\dots,x_{j_n}}
P(\xi_0=x_{j_0},\dots\xi_n=x_{j_n})
\log P(\xi_n=x_{j_n}|\xi_{n-1}=x_{j_{n-1}})\\
&\qquad =-E\log r(\xi_n|\xi_{n-1})=-E\log r(\xi_1|\xi_0)
\endalign
$$
minden $n\ge 1$ sz\'amra a Markov tulajdons\'ag \'es a stacionarit\'as
miatt. Innen
$$
H(T,\xi_0)=\limm_{n\to\infty}H(\xi_n|\xi_{n-1},\dots,\xi_0)
=-E\log r(\xi_1|\xi_0).
$$

Markov l\'ancok eset\'eben a Shannon--McMillan--Breiman bizony\'{\i}t\'asa
azon alapult, hogy a $-\frac1n \log p_n(\xi_0,\dots,\xi_{n-1})$
kifejez\'est felbontottuk  egy olyan \"osszegre, amelyre alkalmazni lehetett
az ergod t\'etelt. Az \'altal\'anos eset bonyolultabb. Ekkor a vizsg\'alt
kifejez\'est egy hasonl\'o \"osszegre plusz egy elhanyagolhat\'oan
kis hibatagra lehet felbontani. De ahhoz, hogy ezt a hibatagot j\'ol
meg tudjuk becs\"ulni sz\"uks\'eg\"unk van a mar\-tin\-g\'a\-lok
elm\'elet\'enek
n\'eh\'any fontos eredm\'eny\'ere. A k\'{\i}v\'ant felbont\'as
megtal\'al\'as\'anak az \'erdek\'eben vezess\"uk be a tekintett
$\xi_n(x)$, $-\infty<n<\infty$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
sorozat k\"ovetkez\H{o} f\"uggv\'enyeit.
$$
\aligned
g_k(\oo)&=-\log\frac{p_{k+1}(\xi_{-k}(\oo),\dots,\xi_0(\oo))}
{p_{k}(\xi_{-k}(\oo),\dots,\xi_{-1}(\oo))}, \quad k\ge1, \\
g_0(\oo)&=-\log p_1(\xi_0(\oo)).
\endaligned \tag6.4
$$
Az egy\'ertelm\H{u} definici\'o \'erdek\'eben defini\'aljuk a
$g_k(\oo)$ f\"uggv\'enyt, mint $g_k(\oo)=0$, ha
$p_k(\xi_{-k}(\oo),\dots,\xi_{-1}(\oo))=0$, \'es ez\'ert
$p_{k+1}(\xi_{-k}(\oo),\dots,\xi_{-1}(\oo),\xi_0(\oo))=0$. Mivel
ennek az esem\'enynek nulla a val\'osz\'{\i}n\H{u}s\'ege, nincs
k\"ul\"on\"osebb jelent\H{o}s\'ege annak, hogy ebben az esetben
hogyan defini\'aljuk a $g_k(\oo)$ f\"uggv\'enyt. Hasonl\'o
megjegyz\'est lehet tenni a k\'es\H{o}bb defini\'aland\'o
$f_k^j(\oo)$ f\"uggv\'enyr\H{o}l is.

Ezzel a jel\"ol\'essel
$$
\align
&-\frac1n \log p_n(\xi_0(\oo),\dots,\xi_{n-1}(\oo))\\
&\qquad=-\frac1n\log p_1(\xi_0(\oo))-\frac1n\sum_{k=1}^{n-1}
\log\frac{p_{k+1}(\xi_{0}(\oo),\dots,\xi_k(\oo))}
{p_{k}(\xi_0(\oo),\dots,\xi_{k-1}(\oo))}
=\frac1n\sum_{k=0}^{n-1} g_k(T^k\oo).
\endalign
$$
Be fogjuk l\'atni a marting\'alelm\'elet seg\'{\i}ts\'eg\'evel, hogy
$\limm_{k\to\infty} g_k(\oo)=g_\infty(\oo)$
1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel egy
alkalmas $g_\infty(\oo)$ f\"uggv\'ennyel, emelyre $Eg_\infty(\oo)=H(T,\xi)$.
Ez azt sugallja, hogy
$$
-\frac1n \log p_n(\xi_0(\oo),\dots,\xi_{n-1}(\oo))
=\frac1n\sum_{k=0}^{n-1} g_\infty(T^k\oo)
+\text{elhanyagolhat\'oan kicsi hiba}. \tag6.5
$$
Nem trivi\'alis \'ervek seg\'{\i}ts\'eg\'evel be lehet l\'atni, hogy
ez val\'oban \'{\i}gy van.
Az utols\'o formul\'ab\'ol \'es az ergod t\'etel k\"ovetkezik a
Shannon--McMillan--Breiman t\'etel. A pontos bizony\'{\i}t\'as
kidolgoz\'as\'anak az \'erdek\'eben el\H{o}sz\"or felid\'ezem a
marting\'al elm\'elet sz\'amunkra legfontosabb eredm\'enyeit.

\medskip\noindent
{\bf Marting\'al, szubmarting\'al \'es szupermarting\'al
definici\'oja.} {\it Legyen
adva $\sigma$-al\-geb\-r\'ak $\Cal F_1\subset \Cal F_2\subset\Cal
F_3\subset\cdots$ n\"ovekv\H{o} sorozata egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amelyre teljes\"ul az $\Cal
F_n\subset\Cal A$ tulajdons\'ag minden $n=1,2,\dots$ sz\'amra.
Legyen adva ezen k\'{\i}v\"ul $\Cal F_n$ m\'erhet\H{o} $\xi_n(\oo)$,
$E|\xi_n(\oo)|<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
sorozata. Azt mondjuk, hogy a $(\xi_n(\oo),\Cal F_n)$, $n=1,2,\dots$,
p\'arok sorozata marting\'alt alkot, ha teljes\"ul az
$$
E(\xi_{n+1}(\oo)|\Cal F_n)=\xi_n(\oo)\qquad \text{1
val\'osz\'{\i}n\H{u}s\'eggel minden $n=1,2,\dots$ sz\'amra}
$$
azonoss\'ag. A fent defini\'alt sorozat szubmarting\'al, ha
$$
E(\xi_{n+1}(\oo)|\Cal F_n)\ge\xi_n(\oo)\qquad \text{1
val\'osz\'{\i}n\H{u}s\'eggel minden $n=1,2,\dots$ sz\'amra},
$$
\'es szupermarting\'al, ha
$$
E(\xi_{n+1}(\oo)|\Cal F_n)\le\xi_n(\oo)\qquad \text{1
val\'osz\'{\i}n\H{u}s\'eggel minden $n=1,2,\dots$ sz\'amra}.
$$

Ha adva van $\xi_n(\oo)$, $E|\xi_n(\oo)|<\infty$, $n=1,2,\dots$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozata egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, de nincsenek defini\'alva
a $\Cal F_n$ $\sigma$-algebr\'ak, akkor e sorozatot marting\'alnak,
szubmarting\'alnak illetve szupermarting\'alnak nevezz\"uk, ha a
$(\xi_n,\Cal F_n)$ sorozat az $\Cal F_n=\sigma(\xi_k,\,1\le k\le n)$
$\sigma$-algebra sorozat v\'alaszt\'assal mar\-tin\-g\'al,
szub\-mar\-tin\-g\'al illetve szupermarting\'al.}

\medskip\noindent
{\it 1. megjegyz\'es.}\/ A fenti definici\'oban az $E|\xi_n(\oo)|<\infty$
felt\'etelt az\'ert tett\"uk, hogy be\-sz\'el\-hes\-s\"unk a tekintett
felt\'eteles v\'arhat\'o \'ert\'ekekr\H{o}l. Ezt a felt\'etelt lehet
gyeng\'{\i}teni, el\'eg p\'eld\'aul azt megk\"ovetelni, hogy
$EX_n^-<\infty$, $n=1,2,\dots$, ahol $x^-=-\min(x,0)$.

\medskip\noindent
{\it 2. megjegyz\'es.}\/ Ha a $(\xi_n,\Cal F_n)$ sorozat marting\'al,
szubmarting\'al, illetve szupermarting\'al, akkor a $\xi_n$ sorozat
marting\'al, szubmarting\'al illetve szupermarting\'al a fent megadott
\'ertelemben is, azaz akkor, ha az $\Cal F_n$ $\sigma$-algebr\'akat
a $\Cal G_n=\sigma(\xi_k,\;1\le k\le n)\subset\Cal F_n$
$\sigma$-algebr\'akkal helyettes\'{\i}tj\"uk. Ez egyszer\H{u}en
l\'athat\'o a felt\'eteles v\'arhat\'o \'ert\'ek alapvet\H{o}
tulajdons\'againak a seg\'{\i}ts\'eg\'evel.

\medskip\noindent
{\it 3. megjegyz\'es.}\/ A szubmarting\'al \'es szupermarting\'al 
elnevez\'es h\'atter\'eben a marting\'alok kapcsolata van a harmonikus 
f\"uggv\'enyekkel. A marting\'alok a harmonikus f\"uggv\'enyek 
term\'eszetes megfelel\H{o}i. Egy f\"uggv\'eny akkor harmonikus, ha 
\'ert\'eke egyenl\H{o} e f\"uggv\'eny k\"orintegr\'alj\'aval 
tetsz\H{o}leges a g\"orb\'et k\"ozrefog\'o z\'art g\"orb\'en. Ha 
egyenl\H{o}tlens\'eg helyett nagyobb vagy egyenl\H{o} \'all, akkor 
szuperharmonikus f\"uggv\'enyr\H{o}l besz\'el\"unk, \'es ez felel meg 
a szupermarting\'alnak. Hasonl\'oan, ha egyenl\H{o}s\'eg helyett kisebb
vagy egyenl\H{o} \'all, akkor szubharmonikus f\"uggv\'enyr\H{o}l
besz\'el\"unk, \'es ennek a szubmarting\'al felel meg.


\medskip
Bizonyos 1~val\'osz\'{\i}n\H{u}s\'eg\H{u} marting\'al konvergencia
t\'etelekre \'es marting\'al egyen\-l\H{o}t\-len\-s\'e\-gek\-re
lesz sz\"uk\-s\'e\-g\"unk, illetve olyan
eredm\'enyekre, amelyek arr\'ol sz\'olnak, hogy hogyan lehet
marting\'alokb\'ol vagy szubmarting\'alokb\'ol konvex
f\"uggv\'enyek seg\'{\i}ts\'eg\'evel szubmarting\'alokat konstru\'alni.
A k\"ovetkez\H{o} konvergencia t\'etelt fogjuk haszn\'alni.

\medskip\noindent
{\bf T\'etel marting\'alok \'es szubmarting\'alok
1~val\'osz\'{\i}n\H{u}s\'egi konvergenci\'aj\'ar\'ol.} {\it Le\-gyen
$(\xi_n(\oo),\Cal F_n)$,
$n=1,2,\dots$, marting\'al egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n. Ekkor az $E|\xi_n(\oo)|$,
$n=1,2,\dots$, sorozat monoton n\"ovekszik. Ha ez a sorozat
korl\'atos, azaz l\'etezik olyan $K<\infty$ sz\'am, amely\-re
$E|\xi_n(\oo)|\le K$ minden $n=1,2,\dots$ sz\'amra, akkor
1~val\'osz\'{\i}n\H{u}s\'eggel l\'etezik a
$\xi_\infty(\oo)=\limm_{n\to\infty}\xi_n(\oo)$ hat\'ar\'ert\'ek.
Ezenk\'{\i}v\"ul \'erv\'enyes az $E|\xi_\infty(\oo)|\le K$
egyenl\H{o}tlens\'eg is ugyanazzal a $K<\infty$ konstanssal.

Ha $(\xi_n(\oo),\Cal F_n)$, $n=1,2,\dots$, olyan szubmarting\'al
egy $(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi me\-z\H{o}n, 
amelyre $\supp_n E|\xi_n(\oo)|\le K$ alkalmas $K<\infty$ konstanssal,
akkor 1~val\'osz\'{\i}n\H{u}s\'eggel l\'e\-te\-zik a
$\xi_\infty(\oo)=\limm_{n\to\infty}\xi_n(\oo)$ hat\'ar\'ert\'ek,
\'es ez a hat\'ar\'ert\'ek teljes\'{\i}ti az $E|\xi_\infty(\oo)|\le K$
egyen\-l\H{o}t\-len\-s\'e\-get.}

\medskip
Szubmarting\'alok szupr\'emuma teljes\'{\i}ti a k\"ovetkez\H{o}
momentum egyenl\H{o}tlens\'eget.

\medskip\noindent
{\bf T\'etel szubmarting\'alok szupr\'emum\'anak a
momentumair\'ol.} {\it
Legyen $(\xi_n,\Cal F_n)$, $P(\xi_n\ge0)=1$, $n\ge 1$, nem
negat\'{\i}v szubmarting\'al. Ekkor
$$
E\(\sup_{n\ge 1}\xi_n\)^r\le
\(\frac r{r-1}\)^r\sup_{n\ge1} E\xi_n^r \quad\text{minden }
r>1 \text{ val\'os sz\'amra,}
$$
\'es
$$
E\(\sup_{n\ge 1}\xi_n\)\le \frac e{e-1}+\frac
e{e-1}\sup_{n\ge1}E\xi_n\log^+\xi_n
$$
az $r=1$ esetben, ahol $\log^+x=\max(\log x,0)$.}

Igaz a Jensen egyenl\H{o}tlens\'eg k\"ovetkez\H{o}, felt\'eteles
v\'arhat\'o \'ert\'ekekr\H{o}l sz\'ol\'o alakja.

\medskip\noindent
{\bf A Jensen egyenl\H{o}tlens\'eg felt\'eteles v\'arhat\'o
\'ert\'ekekr\H{o}l.}\/ {\it Legyen
adva egy $\xi(\oo)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es egy
$\Phi(x)$, $-\infty<x<\infty$, konvex f\"uggv\'eny, amelyekre
teljes\"ulnek az $E|\xi(\oo)|<\infty$ \'es
$E|\Phi(\xi(\oo)|<\infty$ felt\'etelek egy $(\Omega,\Cal A,P)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, valamint egy
$\Cal F\subset \Cal A$ $\sigma$-algebra. Ekkor
$$
E(\Phi(\xi(\oo)|\Cal F))\ge \Phi\(E(\xi(\oo)|\Cal F)\)\quad \text {1
val\'osz\'{\i}n\H{u}s\'eggel.}
$$
Ez az egyenl\H{o}tlens\'eg akkor is \'erv\'enyes, ha a $\Phi(\cdot)$
konvex f\"uggv\'eny egy $a\le x\le b$ intervallumban van
defini\'alva, \'es $P(a\le \xi\le b)=1$, ahol
$-\infty\le a<b\le\infty$ tetsz\H{o}leges val\'os sz\'amok.}

\medskip
A felt\'eteles v\'arhat\'o \'ert\'ekekr\H{o}l sz\'ol\'o Jensen
egyenl\H{o}tlens\'eg \'erv\'enyess\'ege azon m\'ulik, hogy a
v\'arhat\'o \'ert\'ekhez hasonl\'oan a felt\'eteles v\'arhat\'o
\'ert\'ek is kisz\'amolhat\'o alkalmas val\'osz\'{\i}n\H{u}s\'egi
m\'ert\'ek szerinti integr\'al seg\'{\i}ts\'eg\'evel, csak ebben
az esetben egy \'ugynevezett regul\'aris felt\'eteles
eloszl\'asf\"uggv\'eny szerint kell integr\'alni. Sz\'amunkra ez
az eredm\'eny az al\'abbi k\"ovetkezm\'enye miatt lesz \'erdekes.

\medskip\noindent
{\bf Lemma marting\'alok, szubmarting\'alok \'es
szupermarting\'alok konvex f\"ugg\-v\'e\-nyei\-r\H{o}l.}\/
{\it

\item{a)} Ha $(\xi_n,\Cal F_n)$, $n=1,2,\dots$,
marting\'al, $\Phi(x)$ konvex f\"uggv\'eny, \'es
$E|\Phi(\xi_n)|<\infty$ minden $n=1,2,\dots$ sz\'amra, akkor
$(\Phi(\xi_n),\Cal F_n)$, $n=1,2,\dots$, szub\-mar\-tin\-g\'al.

\item{b)} Ha $(\xi_n,\Cal F_n)$, $n=1,2,\dots$,
szubmarting\'al, $\Phi(x)$, monoton n\"ovekv\H{o} konvex
f\"ugg\-v\'eny, \'es
$E|\Phi(\xi_n)|<\infty$ minden $n=1,2,\dots$ sz\'amra, akkor
$(\Phi(\xi_n),\Cal F_n)$, $n=1,2,\dots$, szub\-mar\-tin\-g\'al.

\item{c)} Ha $(\xi_n,\Cal F_n)$, $n=1,2,\dots$,
szupermarting\'al, $\Phi(x)$  monoton cs\"okken\H{o} konvex
f\"ugg\-v\'eny, \'es
$E|\Phi(\xi_n)|<\infty$ minden $n=1,2,\dots$ sz\'amra, akkor
$(\Phi(\xi_n),\Cal F_n)$, $n=1$ ,2,\dots, szub\-mar\-tin\-g\'al.

A fenti \'all\'{\i}t\'asok akkor is \'erv\'enyesek, ha a $\Phi(\cdot)$
f\"uggv\'eny egy $a\le x\le b$ intervallumban van defini\'alva, \'es
$P(a\le \xi_n\le b)=1$ minden $n=1,2,\dots$ sz\'amra, ahol a
$-\infty\le a<b\le\infty$ sz\'amok tetsz\H{o}legesek.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/  Az a) esetben
$E(\Phi(\xi_{n+1})|\Cal F_n)\ge\Phi(E(\xi_{n+1}|\Cal F_n))=\Phi(\xi_n)$
1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel
a Jensen egyenl\H{o}tlens\'eg \'es a marting\'al tulajdons\'ag miatt.
A b) esetben $E(\Phi(\xi_{n+1})|\Cal F_n)\ge\Phi(E(\xi_{n+1}|\Cal F_n))$
1~val\'osz\'{\i}n\H{u}s\'eggel,
\'es mivel $E(\xi_{n+1}|\Cal F_n)\ge\xi_n$, \'es $\Phi(\cdot)$
monoton n\H{o}vekv\H{o} f\"uggv\'eny, ez\'ert
$\Phi(E(\xi_{n+1}|\Cal F_n))\ge\Phi(\xi_n)$
1~val\'osz\'{\i}n\H{u}s\'eggel. Ezekb\H{o}l az
egyen\-l\H{o}t\-len\-s\'e\-gek\-b\H{o}l k\"ovetkezik a b) r\'esz
\'all\'{\i}t\'asa. A c) r\'esz bizony\'{\i}t\'asa hasonl\'o.

\medskip
Felid\'ezek m\'eg egy eredm\'enyt arr\'ol, hogy hogyan lehet
kisz\'amolni egy val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
f\"uggv\'eny\'enek a v\'arhat\'o \'ert\'ek\'et. Az\'ert id\'ezem fel
ezt az eredm\'enyt, mert k\'es\H{o}bb sz\"uks\'eg\"unk lesz r\'a.
Az ismertetend\H{o} formula val\'oj\'aban a Stieltjes integr\'alokra
vonatkoz\'o parci\'alis integr\'al\'as egy alkalmaz\'asa.

\medskip\noindent
{\bf Egy a v\'arhat\'o \'ert\'ek kisz\'amol\'as\'ar\'ol sz\'ol\'o
formula.} {\it Legyen $\xi$ olyan val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, amelyre $P(\xi\ge0)=1$. Jel\"olje $F(x)=P(\xi<x)$,
$0\le x<\infty$, a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o elosz\'asf\"uggv\'eny\'et, \'es legyen
$G(x)=1-F(x)=P(\xi\ge x)$. Tekints\"unk egy monoton, folytonos
$H(x)$ f\"uggv\'enyt az $x\ge0$ f\'elegyenesen, amelyre $H(0)=0$.
Ekkor
$$
EH(\xi)=\int_0^\infty H(x)F(\,dx)=-\int_0^\infty H(x)G(\,dx)
=\int_0^\infty G(x)H(\,dx).
$$
}

\medskip
R\'at\'erek a Shannon--McMillan--Breiman t\'etel
bizony\'{\i}t\'as\'ara. El\H{o}sz\"or annak a k\"o\-vet\-ke\-z\H{o}
gyeng\'ebb form\'aj\'at bizony\'{\i}tom.

\medskip\noindent
{\bf A Shannon--McMillan--Breiman t\'etel egy gyeng\'ebb alakja.}
{\it Igaz az in\-ver\-t\'al\-ha\-t\'o dinamikus rendszerekre
kor\'abban megfogalmazott Shannon--McMillan--Breiman t\'etel abban
a speci\'alis esetben, ha a t\'etelben tekintett $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ekeit egy v\'eges
$X=\{x_1,x_2,\dots,x_r\}$ halmazon veszi fel. R\'eszletesebben
megfogalmazva ebben az esetben a (6.4) formul\'aban a $\xi_k(\oo)$
sorozat seg\'{\i}ts\'eg\'evel defini\'alt
$g_k(\oo)$, $k=0,1,2,\dots$, val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok teljes\'{\i}tik a k\"ovetkez\H{o} k\'et rel\'aci\'ot.

\item{a)} Majdnem minden $\oo\in \Omega$ pontban teljes\"ul a
$\limm_{k\to\infty} g_k(\oo)=g_\infty(\oo)$ rel\'aci\'o egy alkalmas
$g_\infty(\oo)$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval.

\item{b)} $E\supp_{k\ge1} g_k(\oo)<\infty$.

Tov\'abb\'a, ha adva van egy $(\Omega,\Cal A,P,T)$ ergodikus
invert\'alhat\'o dinamikus rendszer \'es  azon egy olyan $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amely \'ert\'ekeit
egy v\'eges vagy megsz\'aml\'alhat\'oan v\'eg\-te\-len
$X=\{x_1,x_2,\dots\}$ halmazon veszi fel akkor vezess\"uk be a
$\xi_k=T^k\xi$, $-\infty<k<\infty$,
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okat. Ha az ezen
$\xi_k$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'altal a (6.4)
formul\'aban defini\'alt $g_k(\oo)$, $k=0,1,2,\dots$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok teljes\'{\i}tik a fent
megfogalmazott a) \'es b) re\-l\'a\-ci\'o\-kat akkor a $\xi_n$,
$-\infty<n<\infty$, sorozat teljes\'{\i}ti a (6.3) formul\'at.}

\medskip
{\it Feladat.}

\item{} Bizony\'{\i}tsuk be, hogy az a) \'es b) rel\'aci\'ok
teljes\"ul\'ese eset\'en a (6.3) formul\'anak az a v\'altozata is
igaz, amelyben az 1~val\'osz\'{\i}n\H{u}s\'egi konvergencia
helyett $L_1$ norm\'aban val\'o konvergenci\'at k\"ovetel\"unk meg.

\medskip
Az el\H{o}z\"oleg megfogalmazott t\'etel l\'enyeg\'eben a
Shannon--McMillan--Breiman t\'etel eredeti, Breiman \'altal
bizony\'{\i}tott alakja. \H{O} eredetileg csak v\'eges sok
\'ert\'eket felvev\H{o}  val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
sorozat\'ara bizony\'{\i}totta be az \'all\'{\i}t\'ast, mert csak
ebben az esetben tudta igazolni az a) \'es b) rel\'aci\'ot.
(A f\H{o} neh\'ezs\'eget a b) rel\'aci\'o igazol\'asa jelenti.)
El\H{o}sz\"or Kai Lai Chung publik\'alt eredm\'enyt arr\'ol, hogy
ez a b) tulajdons\'ag, \'es \'{\i}gy a Shannon--McMillan--Breiman
t\'etel az \'altal\'anos esetben is \'erv\'enyes (A note on the
ergodic theorem of information theory. Ann. Math. Statist. 32,
612--614 (1961)), de az \H{o} bizony\'{\i}t\'asa hib\'as. Mi
ehelyett Andrew R. Barron The strong ergodic theorem for densities:
Generalized Shannon--McMillan--Breiman theorem, (The Annals of
Probability (1985) Vol.\ 13 No.4 1292--1303) cikk\'enek a
seg\'{\i}ts\'eg\'evel fogjuk bizony\'{\i}tani, hogy az a) \'es b)
rel\'aci\'ok \'es \'{\i}gy a Shannon--McMillan--Breiman t\'etel
\'erv\'enyes az \'altal\'anos esetben is. Barron eredm\'eny\'enek
m\'as \'erdekes k\"ovetkezm\'enye is van.

\medskip\noindent
{\it A Shannon--McMillan--Breiman t\'etel gyeng\'ebb alakj\'anak a
bizony\'{\i}t\'asa.} El\H{o}sz\"or az a) \'es b) rel\'aci\'ot
bizony\'{\i}tjuk be abban az esetben, ha a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $X$ \'ert\'ekk\'eszlete
v\'eges halmaz. Ennek \'erdek\'eben bevezetj\"uk a k\"ovetkez\H{o}
mennyis\'egeket.
$$
\align
f_k^j(\oo)&=-\log\frac{p_{k+1}(\xi_{-k}(\oo),\dots,\xi_{-1}(\oo),x_j)}
{p_{k}(\xi_{-k}(\oo),\dots,\xi_{-1}(\oo))}\\
&=-\log P(\xi_0=x_j|\xi_{-k}(\oo),\dots,\xi_{-1}(\oo)),
\quad k\ge1,\;x_j\in X.
\endalign
$$

R\"ogz\'{\i}ts\"unk egy $j$, $1\le j\le r$, sz\'amot
(az $r$ sz\'am az $X=\{x_1,\dots,x_r\}$ halmaz definici\'oj\'aban
jelent meg), \'es vezess\"uk be az
$\eta_k=\eta_k^j=P(\xi_0=x_j|\xi_{-k}(\oo),\dots,\xi_{-1}(\oo))$,
$k=1,2,\dots$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okat \'es
$\Cal F_k=\sigma(\xi_{-1},\dots,\xi_{-k})$ $\sigma$-algebr\'akat.
Az $(\eta_k,\Cal F_k)$, $k=1,2,\dots$ rendszer marting\'al.
Ismertetem e t\'eny elemi bizony\'{\i}t\'as\'at, de el\H{o}tte
egy megjegyz\'esben le\'{\i}rom, hogy hogyan k\"ovetkezik ez a t\'eny 
\'altal\'anosabb, j\'ol ismert \'es egyszer\H{u}en igazolhat\'o
eredm\'enyekb\H{o}l.

\medskip\noindent
{\it Megjegyz\'es.}\/ Legyen $\Cal F_1\subset\Cal F_2\subset\cdots$
n\H{o}vekv\H{o} $\sigma$-algebr\'aknak egy sorozata, \'es $\xi$,
$E|\xi|<\infty$, egy val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o egy
$(\Omega,\Cal A,P)$ val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n. Ekkor 
az $(E(\xi|\Cal F_n),\Cal F_n)$, $n=1,2,\dots$, rendszer marting\'al.
Speci\'alisan, ha $\xi$ egy $A\subset\Cal A$ halmaz 
in\-di\-k\'a\-tor\-f\"ugg\-v\'e\-nye
($A=\{\oo\colon\;\xi_0=x_j\}$ v\'alaszt\'assal), akkor ez az eredm\'eny
speci\'alis esetk\'ent tartalmazza az el\H{o}bb megfogalmazott
\'all\'{\i}t\'ast.

\medskip
Ha nem k\'{\i}v\'anunk hivatkozni a fenti eredm\'enyre, akkor az 
el\H{o}bb defini\'alt rendszer marting\'al tulajdons\'ag\'at
megkapjuk  az al\'abbi sz\'a\-mo\-l\'a\-sok seg\'{\i}ts\'eg\'evel. 
Az $\{\oo\colon\; \xi_{-k}(\oo)=x_{j_k},\dots,\xi_{-1}(\oo)=x_{j_1}\}$
halmazon
$$
\align
&E(\eta_{k+1}|\xi_{-k}=x_{j_k},\dots,\xi_{-1}=x_{j_1})=
\sum_{x\in X}P(\xi_{-k-1}=x|\xi_{-k}=x_{j_k},\dots,\xi_{-1}=x_{j_1})\\
&\qquad\qquad\qquad
P(\xi_0=x_j|\xi_{-k-1}=x,\xi_{-k}=x_{j_k}\dots,\xi_{-1}=x_{j_1})\\
&\qquad =\frac{P(\xi_0=x_j,\xi_{-k}=x_{j_k},\dots,\xi_{-1}=x_{j_1})}
{P(\xi_{-k}=x_{j_k},\dots,\xi_{-1}=x_{j_1})}=\eta_k.
\endalign
$$
Tov\'abb\'a $E\eta_k=E|\eta_k|\le1$. Ez\'ert a marting\'al
konvergenciat\'etel alapj\'an
1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel l\'etezik az
$\eta_\infty^j(\oo)=\limm_{k\to\infty}\eta_k(\oo)$, \'es \'{\i}gy a
logaritmus f\"uggv\'eny folytonoss\'aga miatt az
$f_\infty^j(\oo)=\limm_{k\to\infty}f^j_k(\oo)$ hat\'ar\'ert\'ek,
b\'ar nem tudjuk kiz\'arni annak a lehet\H{o}s\'eg\'et, hogy az
$f_\infty^j(\oo)$ hat\'ar\'ert\'ek v\'egtelen. Mivel
$f_k^j(\oo)=g_k(\oo)$ az $\{\oo\colon\;\xi_0(\oo)=x_j\}$ halmazon,
innen k\"ovetkezik, hogy az esetleg v\'egtelen
$g_\infty(\oo)=\limm_{k\to\infty}g_k(\oo)$ hat\'ar\'ert\'ek is
l\'etezik 1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel.

Annak \'erdek\'eben, hogy bel\'assuk a b) rel\'aci\'ot, j\'o
becsl\'est adunk a $P(\supp_{k\ge1} g_k(\oo)>\lambda)$
val\'osz\'{\i}n\H{u}s\'egre minden $\lambda\ge0$ sz\'amra.
\'Irjuk fel a
$$
\align
P\(\supp_{k\ge1} g_k(\oo)>\lambda\)&=\sum_{j=1}^r
P\(\left\{\oo\colon\;\supp_{k\ge1} f_k^j(\oo)>\lambda\right\}
\cap\{\oo\colon\; \xi_0(\oo)=x_j\}\)\\
&=\sum_{j=1}^r\sum_{k=1}^\infty
P(F_{j,k}\cap\{\oo\colon\; \xi_0(\oo)=x_j\})
\endalign
$$
azonoss\'agot, ahol
$$
F_{j,k}=\left\{\oo\colon\; \max_{1\le p<k} f^j_p(\oo)\le
\lambda,\;f^j_k(\oo)>\lambda\right\}
$$
R\"ogz\'{\i}tett $j$ sz\'amra az $F_{j,k}$ halmazok, $k=1,2,\dots$,
diszjunktak, \'es mivel
$F_{j,k}\in\Cal F_k=\sigma(\xi_{-1}(\oo),\dots,\xi_{-k}(\oo))$
$$
\align
P(F_{j,k}\cap\{\oo\colon\; \xi_0(\oo)=x_j\})
&=\int_{F_{j,k}} P(\xi_0(\oo)=x_j|\xi_{-1}(\oo),
\dots,\xi_{-k}(\oo))P(\,d\oo)\\
&=\int_{F_{j,k}} e^{-f^j_k(\oo)}P(\,d\oo)
\le\int_{F_{j,k}} e^{-\lambda}P(\,d\oo)=e^{-\lambda}P(F_{j,k}).
\endalign
$$
Innen
$$
\align
P\(\supp_{k\ge1} g_k(\oo)>\lambda\)
&=\sum_{j=1}^r\sum_{k=1}^\infty
P(F_{j,k}\cap\{\oo\colon\; \xi_0(\oo)=x_j\})\\
&\le e^{-\lambda}\sum_{j=1}^r\(\sum_{k=1}^\infty P(F_{j,k})\)
\le r e^{-\lambda}
\endalign
$$
minden $\lambda>0$ sz\'amra. Ebb\H{o}l az
egyenl\H{o}tlens\'egb\H{o}l  k\"ovetkezik a b) rel\'aci\'o.

R\'at\'erek a Shannon--McMillan--Breiman t\'etel bizony\'{\i}t\'as\'ara
az a) \'es b) rel\'aci\'o se\-g\'{\i}t\-s\'e\-g\'e\-vel. Mivel
$\limm_{k\to\infty}g_k(\oo)=g_\infty(\oo)$
1~val\'osz\'{\i}n\H{u}s\'eggel, a b) rel\'aci\'o \'es a
domin\'alt konvergencia t\'etel (Lebesgue t\'etel) alapj\'an
azt kapjuk, hogy $Eg_\infty(\oo)=\limm_{k\to\infty}Eg_k(\oo)
=\limm_{k\to\infty}H(\xi_0|\xi_{-1},\dots,\xi_{-k})=H(T,\xi)$.
Ez speci\'alisan azt is jelenti, hogy $g_\infty(\oo)$ 1
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel v\'eges.

A (6.5) formul\'at pontosan megfogalmazva azt \'{\i}rhatjuk, hogy
$$
-\frac1n \log p_n(\xi_0(\oo),\dots,\xi_{n-1}(\oo))
=\frac1n\sum_{k=0}^{n-1} g_\infty(T^k\oo)
+\frac1n\sum_{k=0}^{n-1} (g_k(T^k\oo)-g_\infty(T^k(\oo)).
$$
Tov\'abb\'a az ergod t\'etel alapj\'an
$$
\lim_{n\to\infty}\frac1n\sum_{k=0}^{n-1} g_\infty(T^k\oo)
=Eg_\infty(\oo)=H(T,\xi) \quad  \text{1~val\'osz\'{\i}n\H{u}s\'eggel.}
$$
Ez\'ert a  t\'etel bizony\'{\i}t\'as\'anak befejez\'es\'ehez el\'eg
megmutatni, hogy
$$
\lim_{n\to\infty}\frac1n\sum_{k=0}^{n-1} (g_k(T^k\oo)-g_\infty(T^k(\oo))=0
\quad  \text{1~val\'osz\'{\i}n\H{u}s\'eggel.}
$$
Ennek \'erdek\'eben vezess\"uk be a
$G_N(\oo)=\supp_{k\ge N}|g_k(\oo)-g_\infty(\oo)|$, $N=1,2,\dots$,
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okat, \'es
bizony\'{\i}tsuk be, hogy $\limm_{N\to\infty}EG_N(\oo)=0$.
Val\'oban, $\limm_{N\to\infty}G_N(\oo)=0$
1~va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel,
$G_N(\oo)\le \supp_{k\ge1}g_k(\oo)+g_\infty(\oo)$ minden $N$ indexre,
\'es mivel $E[\supp_{k\ge1}g_k(\oo)+g_\infty(\oo)]<\infty$ a domin\'alt
konvergencia t\'etelb\H{o}l k\"ovetkezik a k\'{\i}v\'ant
\'all\'{\i}t\'as.

Ez\'ert az ergod t\'etel seg\'{\i}ts\'eg\'evel a k\"ovetkez\H{o}
becsl\'est tudjuk tenni. Vegy\"unk egy tetsz\H{o}leges $N\ge1$
eg\'esz sz\'amot. Ekkor
$$
\align
\limsup_{n\to\infty}\left|\frac1n\sum_{k=0}^{n-1}
(g_k(T^k\oo)-g_\infty(T^k(\oo))\right|
&\le\limsup_{n\to\infty}\frac1n\sum_{k=0}^{n-1}
|g_k(T^k\oo)-g_\infty(T^k(\oo))|\\
&\le\limsup_{n\to\infty}\frac1n\sum_{k=0}^{n-1}
G_N(T^k\oo)=EG_N(\oo)
\endalign
$$
1~val\'osz\'{\i}n\H{u}s\'eggel. Mivel
$\limm_{N\to\infty}EG_N(\oo)=0$, innen
$$
\lim_{n\to\infty}\left|\frac1n\sum_{k=0}^{n-1}
(g_k(T^k\oo)-g_\infty(T^k(\oo))\right|=0
\quad\text{1~val\'osz\'{\i}n\H{u}s\'eggel},
$$
\'es ezt kellett bel\'atnunk.

\medskip
R\'at\'erek a Shannon--McMillan--Breiman t\'etel \'altal\'anos
alakj\'anak a bizony\'{\i}t\'as\'ara. El\'eg azt megmutatni, hogy
a t\'etel gyeng\'ebb alakj\'anak megfogalmaz\'as\'aban szerepl\H{o}
a) \'es b) rel\'aci\'o az \'altal\'anos esetben is \'erv\'enyes,
\'es nemcsak akkor, ha $\xi$ v\'eges sok \'ert\'eket vesz fel.
Ezt a k\"ovetkez\H{o} eredm\'eny seg\'{\i}ts\'eg\'evel fogom
bizony\'{\i}tani.

\medskip\noindent
{\bf Becsl\'es Radon--Nikodym deriv\'altak n\"ovekv\H{o}
$\sigma$-algebr\'akra vonatkoz\'o vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l.}
{\it Legyen adva egy $(X,\Cal A)$ m\'erhet\H{o} t\'er \'es
azon n\"ovekv\H{o} $\sigma$-algebr\'ak
$\Cal F_1\subset\Cal F_2\subset\dots\subset\Cal A$ sorozata. Jel\"olje
$\Cal F_\infty$ a $\Cal F_n$, $n=1,2,\dots$, $\sigma$-algebr\'ak
uni\'oja \'altal gener\'alt $\sigma$-algebr\'at. Legyen $P$ \'es $Q$
k\'et olyan val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek az
$(X,\Cal F_\infty)$ t\'eren, amelyeknek az $\Cal F_n$
$\sigma$-algebr\'akra vett $P_n$ \'es $Q_n$ megszor\'{\i}t\'asaira
$P_n$ abszolut folytonos a $Q_n$ m\'ert\'ekre n\'ezve minden
$n=1,2,\dots$ indexre, \'es jel\"olje $\rho_n=\frac{dP_n}{dQ_n}$
a $P_n$ m\'ert\'ek $Q_n$ m\'ert\'ek szerinti Radon--Nikodym
deriv\'altj\'at. (Nem tessz\"uk fel, hogy $P$ abszolut folytonos a
$Q$ m\'ert\'ekre n\'ezve az $\Cal F_\infty$ $\sigma$-algebr\'an is.)
Ekkor l\'etezik a  $\rho_\infty(\oo)=\limm_{n\to\infty}\rho_n(\oo)$
hat\'ar\'ert\'ek $P$ majdnem minden $\oo\in X$ pontban. Az
$E\log\rho_n$ f\"uggv\'eny az $n$ index monoton n\"ovekv\H{o} 
f\"uggv\'enye. Ha $\limm_{n\to\infty}E\log\rho_n<\infty$, akkor
$\limm_{n\to\infty}E\log\rho_n=E\log\rho_\infty$, \'es
$$
E\sup_n|\log\rho_n|\le eE\log\rho_\infty+e+2
=e\lim_{n\to\infty}E\log\rho_n+e+2.  \tag6.6
$$
A most megfogalmazott eredm\'enyben tekintett v\'arhat\'o
\'ert\'ekeket a $P$ m\'ert\'ek szerint vett\"uk.}

\medskip
El\H{o}sz\"or megmutatom, hogyan bizony\'{\i}that\'o ezen
eredm\'eny seg\'{\i}ts\'eg\'evel a Shannon--McMillan--Breiman
t\'etel az \'altal\'anos esetben.

\medskip\noindent
{\it A Shannon--McMillan--Breiman t\'etel bizony\'{\i}t\'asa
az el\H{o}z\H{o} Radon--Nikodym deriv\'altakr\'ol sz\'ol\'o
becsl\'es seg\'{\i}ts\'eg\'evel.}\/ Feltehetj\"uk, hogy az
$(X^{\pm\infty},\Cal A^{\pm\infty},T,\bar P)$ invert\'alhat\'o
di\-na\-mi\-kus rendszerben dolgozunk,  ahol $X^{\pm\infty}$ az
\"osszes $\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$,
$x_{j_n}\in X$ minden $-\infty<n<\infty$ indexre, k\'et
ir\'anyban v\'egtelen $X$ halmazbeli elemekb\H{o}l \'all\'o
sorozat, $\Cal A^{\pm\infty}$ a Borel $\sigma$-algebra ezen a
halmazon, a $T$ shift transzform\'aci\'o a baloldali eltol\'as
az $X^{\pm\infty}$ t\'eren, azaz egy
$\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)\in X^{\pm\infty}$
pontra $T\oo=(\dots,x_{j_0},x_{j_1},x_{j_2},\dots)$, $\bar P$
egy alkalmas ergodikus val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek ezen
a t\'eren. A (6.3) rel\'aci\'ot a k\"ovetkez\H{o}
k\'eplettel defini\'alt $\xi_n$, $-\infty<n<\infty$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okra akarjuk
bizony\'{\i}tani: $\xi_n(\oo)=x_{j_n}$, $-\infty<n<\infty$, az
$\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$ pontban. Ezzel a
jel\"ol\'essel $\xi(\oo)=\xi_0(\oo)$ a t\'etel
megfogalmaz\'as\'aban.

Val\'oban, tekintve a t\'etelben eredetileg vizsg\'alt
$(X,\Cal A,T,P)$ dinamikus rendszert \'es a
rajta defini\'alt $\xi_n=T^n\xi$, $-\infty<n<\infty$,
val\'osz\'in\H{u}s\'egi v\'altoz\'okat vezess\"uk be az $\Omega$ t\'er
$U(\oo)=(\dots,T^{-1}\xi(\oo),T^0\xi(\oo),T^{1}\xi(\oo),\dots)$
lek\'epez\'es\'et az $X^{\pm\infty}$ t\'erbe. Ezut\'an defini\'aljuk
a $\bar P$ val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket, mint a $P$
m\'ert\'eknek az $U$ transzform\'aci\'o szerinti \H{o}sk\'ep\'et,
azaz legyen $\bar P(A)=P(\{\oo\colon\; U(\oo)\in A\})$ minden
$A\in\Cal A^{\pm\infty}$ halmazra. Be lehet l\'atni,
hogy ily m\'odon egy invert\'alhat\'o
$(X^{\pm\infty},\Cal A^{\pm\infty},T,P)$ dinamikus rendszert kapunk,
amely ergodikus, ha az eredeti $(\Omega,\Cal A,T,P)$ rendszer az
volt, \'es az ebben a rendszerben defini\'alt $\xi_n=T^n\xi_0$,
$-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
egy\"uttes eloszl\'asa megegyezik az eredeti $\xi_n$,
$-\infty<n<\infty$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
egy\"uttes eloszl\'as\'aval. Ez\'ert el\'eg a
bizony\'{\i}tand\'o (6.3) formul\'at ebben az \'uj rendszerben
bel\'atni.

El\'eg azt megmutatni, hogy a (6.4) formul\'aban
a most bevezetett $\xi_n$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok seg\'{\i}ts\'eg\'evel defini\'alt
$g_k(\oo)$ f\"uggv\'enyek teljes\'{\i}tik a Shannon--McMillan--Breiman
t\'etel gyeng\'ebb alakj\'anak megfogalmaz\'as\'aban szerepl\H{o}
a) \'es b)~rel\'aci\'okat. Ezt a
{\it Becsl\'es Radon--Nikodym deriv\'altak n\"ovekv\H{o}
$\sigma$-algebr\'akra vonatkoz\'o vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l}
eredm\'enye seg\'{\i}ts\'eg\'evel fogom igazolni a k\"ovetkez\H{o}
szereposzt\'assal.

Az $(X^{\pm\infty},\Cal A^{\pm\infty})$ m\'erhet\H{o} t\'erben
fogunk dolgozni, \'es a $\Cal F_n$ $\sigma$-algebr\'akat \'ugy
fogjuk defini\'alni, mint az olyan (m\'erhet\H{o}) halmazokb\'ol 
\'all\'o $\sigma$-algebr\'akat, amelyek az
$$
\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)
$$
pontoknak csak az
$x_{j_{-n}},x_{j_{-n+1}},\dots,x_{j_0}$ koordin\'at\'ait\'ol f\"uggnek.
 R\'eszletesebben fo\-gal\-maz\-va vezess\"uk be az
$X^n=\{(x_{j_0},\dots,x_{j_n})\dots\; x_{j_s}\in X, \text{minden }
0\le s\le n \text{ indexre}\}$ halmazt, \'es defini\'aljuk
minden $\bar x=(\bar x_{j_0},\dots,\bar x_{j_n})\in X^n$ pontra
az
$$
A(\bar x)=\{\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)\colon
x_{j_{-s}}=\bar x_{j_{n-s}},\; 0\le s\le n\}\in\Cal A^{\pm\infty}
$$
halmazt. Az $\Cal F_n$ $\sigma$-algebra megegyezik az ilyen
$A(\bar x)$ halmazok \'altal gener\'alt $\sigma$-al\-geb\-r\'a\-val.
Az $\Cal F_n$, $n=1,2,\dots$, $\sigma$-algebr\'ak \'altal
gener\'alt $\Cal F_\infty$
$\sigma$-algebra az olyan $A\in\Cal A^{\pm\infty}$ halmazokb\'ol
\'all, amelyekre az $\oo\in A$ rel\'aci\'o teljes\"ul\'ese vagy
nem teljes\"ul\'ese
egy $\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$ pontra csak
az $\oo$ pont $x_{j_s}$, $s\le0$, koordin\'at\'ait\'ol f\"ugg.

A $P$ m\'ert\'eket \'ugy defini\'alom a $\Cal F_\infty$
$\sigma$-algebr\'an, mint a $\bar P$ m\'ert\'ek megszor\'{\i}t\'as\'at
erre a $\sigma$-algebr\'ara, teh\'at a
$$
\align
&P(\{\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)\colon\;
x_{j_{-n}}=\bar x_{j_n},\dots,x_{j_{-1}}
=\bar x_{j_1},x_{j_0}=\bar x_{j_0}\})\\
&\qquad=\bar P(\xi_{-n}=\bar x_{j_n},\dots,\xi_{-1}=\bar x_{j_1},
\xi_0=\bar x_{j_0})
\endalign
$$
k\'eplet \'erv\'enyes minden $n=1,2,\dots$ sz\'amra, \'es minden
$\bar x_{j_s}\in X$, $0\le s\le n$, pontokb\'ol \'all\'o $n$
hossz\'us\'ag\'u sorozatra. Ez a k\'eplet
egy\'ertelm\H{u}en defini\'alja a $P$ m\'ert\'eket a $\Cal F_\infty$
$\sigma$-algebr\'an.

A $Q$ m\'ert\'eket a $\Cal F_\infty$ $\sigma$-algebr\'an
$$
\align
&Q(\{\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)\colon\;
x_{j_{-n}}=\bar x_{j_n},\dots,x_{j_{-1}}=\bar x_{j_1},
x_{j_0}=\bar x_{j_0}\})\\
&\qquad =\bar P(\xi_{-n}=\bar x_{j_n},\dots,\xi_{-1}=\bar x_{j_1})
P(\xi_0=\bar x_{j_0})
\endalign
$$
k\'eplet defini\'alja, amely \'erv\'enyes minden $n=1,2,\dots$
sz\'amra, \'es minden $\bar x_{j_s}\in X$, $0\le s\le n$, pontokb\'ol
\'all\'o sorozatra.

A $P_n$ m\'ert\'ek, azaz a $P$ m\'ert\'ek megszor\'{\i}t\'asa
az $\Cal F_n$ $\sigma$-algebr\'ara abszolut folytonos a $Q_n$
m\'ert\'ekre, a $Q$ m\'ert\'ek megszor\'{\i}t\'as\'ara az $\Cal F_n$
$\sigma$-algebr\'ara, \'es fel tudjuk \'{\i}rni a Radon--Nikodym
deriv\'altj\'at. Nevezetesen
$$
\align
\rho_n(\oo)=\frac{P_n(\,d\oo)}{Q_n(\,d\oo)}
&=\frac{P(\xi_{-n}=x_{j_{-n}},\dots,\xi_{-1}=x_{j_{-1}},\xi_0=x_{j_0})}
{P(\xi_{-n}=x_{j_{-n}},\dots,\xi_{-1}=x_{j_{-1}})P(\xi_0=x_{j_0})}\\
&=\frac{p_{n+1}(\xi_{-n}(\oo),\dots,\xi_{-1}(\oo),\xi_0(\oo))}
{p_n(\xi_{-n}(\oo),\dots,\xi_{-1}(\oo))p_1(\xi_0(\oo))},
\endalign
$$
ha $\oo=(\dots,x_{j_{-1}},x_{j_0},x_{j_1},\dots)$.

Innen
$$
\align
E\log\rho_n
&=E\log\frac{p_{n+1}(\xi_{-n}(\oo),\dots,\xi_{-1}(\oo),\xi_0(\oo))}
{p_n(\xi_{-n}(\oo),\dots,\xi_{-1}(\oo))}-E\log p_1(\xi_0(\oo))\\
&=-H(\xi_0|\xi_{-1},\dots,\xi_{-n})+H(\xi_0),
\endalign
$$
\'es ennek a kifejez\'esnek van egy az $n$ indext\H{o}l nem
f\"ugg\H{o} fels\H{o} korl\'atja, ha $H(\xi_0)<\infty$. Ez\'ert
ebben az esetben \'erv\'enyes a (6.6) becsl\'es. Tov\'abb\'a,
mivel $g_k(\oo)=-\log \rho_k(\oo)-\log p_1(\xi_0(\oo))$ minden
$k=1,2,\dots$ indexre,
$E\supp_{k\ge1}g_k(\oo)\le E\supp_{k\ge1}|\log \rho_k(\oo)|+H(\xi_0)$,
\'es a (6.6) formul\'ab\'ol k\"ovetkezik a b) rel\'aci\'o a
$H(\xi)<\infty$ esetben. Tov\'abb\'a,
$\limm_{k\to\infty}g_k(\oo)=-\limm_{k\to\infty}\log\rho_k(\oo)-\log
p_1(\xi_0(\oo))=-\log\rho_\infty(\oo)-\log p_1(\xi_0(\oo))$
1~val\'osz\'{\i}n\H{u}s\'eggel, azaz az a)~rel\'aci\'o is teljes\"ul.
A Shannon--McMillan--Breiman t\'etelt  a {\it Becsl\'es 
Radon--Nikodym deriv\'altak n\"ovekv\H{o} $\sigma$-algebr\'akra
vonatkoz\'o vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l} eredm\'enye
seg\'{\i}ts\'eg\'evel be\-l\'at\-tuk.

\medskip
A {\it Becsl\'es Radon--Nikodym deriv\'altak n\"ovekv\H{o}
$\sigma$-algebr\'akra vonatkoz\'o vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l}
eredm\'eny\'enek a bizony\'{\i}t\'as\'aban a f\H{o} neh\'ezs\'eg az
$E\supp_n|\log \rho_n(\oo)|$ v\'arhat\'o \'ert\'ek becsl\'ese.
Vezess\"uk be a $\log^-x=-\min(\log x,0)$ \'es
$\log^+x=\max(\log x,0)$ f\"uggv\'enyeket. Fel\'{\i}rhatjuk az
$$
\align
E\supp_n|\log \rho_n(\oo)|
&\le E\supp_n\log^+ \rho_n(\oo)+E\supp_n\log^- \rho_n(\oo)\\
&=E\supp_n\log^-\frac1{\rho_n(\oo)}+E\supp_n\log^+\frac1{\rho_n(\oo)}
\endalign
$$
egyenl\H{o}tlens\'eget. Az ezen egyenl\H{o}tlens\'eg jobboldal\'an
lev\H{o} k\'et tagot fogom megbecs\"ulni. E k\'et tag becsl\'ese
m\'as m\'odszereket ig\'enyel. Az els\H{o} tag becsl\'es\'eben
hasznos a k\"ovetkez\H{o} lemma.

\medskip\noindent
{\bf Egy marting\'al tipus\'u egyenl\H{o}tlens\'eg
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok szupr\'emum\'anak a
v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l.} {\it Legyen $Z_n$,
$Z_n\ge0$, $n=1,2,\dots$, nem negat\'{\i}v szupermarting\'al. Ekkor
$$
E\sup_n\log^-Z_n\le e+e\sup_n E\log^- Z_n.
$$
}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ R\"ogz\'{\i}ts\"nk egy $r>1$ sz\'amot,
\'es vezess\"uk be az $Y_n=\phi(Z_n)$, $n=1,2,\dots$,
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozat\'at, ahol
$\phi(x)=\phi_r(x)=\max(1,(\log^-x)^{1/r})$. Azt \'all\'{\i}tom,
hogy az $Y_n$, $n=1,2,\dots$, sorozat szubmarting\'al.

Mivel $\phi(x)$, $x\ge1$, monoton cs\"okken\H{o} f\"uggv\'eny,  a
{\it Lemma marting\'alok, szub\-mar\-tin\-g\'a\-lok \'es
szupermarting\'alok konvex f\"ugg\-v\'e\-nyei\-r\H{o}l}\/ eredm\'enye
alapj\'an ennek igazol\'as\'ahoz el\'eg megmutatni, hogy a $\phi(x)$
f\"uggv\'eny konvex. A $\phi(x)$ f\"uggv\'eny speci\'alis alakja
miatt ehhez elegend\H{o} azt ellen\H{o}rizni, hogy
$\frac{d^2\phi(x)}{dx^2}\ge0$ a $0<x<\frac1e$ intervallumon.
Viszont ezen az intervallumon $\phi(x)=(-\log x)^{1/r}$,
$\frac{d\phi(x)}{dx}=-\frac1{rx}(-\log x)^{(1-r)/r}$, \'es
$\frac{d^2\phi(x)}{dx^2}=\frac1{rx^2}(-\log x)^{(1-2r)/r}
[-\log x-\frac{r-1}r]\ge0$. (E sz\'amol\'as utols\'o 
l\'ep\'es\'eben felhaszn\'altuk, hogy $-\log x\ge1>\frac{r-1}r$, 
ha $0<x<\frac1e$.)

Mivel $\log^-Z_n\le \phi(Z_n)^r\le1+\log^-Z_n$ minden
$n=1,2,\dots$ sz\'amra,
ez\'ert a {\it T\'etel szubmarting\'alok szupr\'emum\'anak a
momentumair\'ol}\/ eredm\'enye alapj\'an
$$
\align
E\sup_n\log^-Z_n\le E\sup_n\phi(Z_n)^r
&\le\(\frac r{r-1}\)^r\sup_nE\phi(Z_n)^r\\
&\le\(\frac r{r-1}\)^r\sup_n(1+E\log^-Z_n).
\endalign
$$
Innen $r\to\infty$ hat\'ar\'atmenettel megkapjuk a lemma
\'all\'{\i}t\'as\'at.

\medskip\noindent
{\it A Radon--Nikodym deriv\'altak n\"ovekv\H{o}
$\sigma$-algebr\'akra vonatkoz\'o vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l
sz\'ol\'o becsl\'es bizony\'{\i}t\'asa.} El\H{o}sz\"or azt
mutatom meg, hogy az $(\frac1{\rho_n},\Cal F_n)$, $n=1,2,\dots$,
rendszer szupermarting\'al. (Az $\frac1{\rho_n(\oo)}$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
1~val\'osz\'{\i}n\H{u}s\'eggel defini\'alva vannak, mert
$P(\{\oo\colon\;\rho_n(\oo)=0\})=0$.) Ennek \'erdek\'eben vegy\"uk
\'eszre, hogy a $(\rho_n,\Cal F_n)$, $n=1,\dots$, rendszer
mar\-tin\-g\'al a $Q$ m\'ert\'ek szerint. Az igazoland\'o
marting\'al tulajdons\'ag azt jelenti ugyanis, hogy
$\int_A\rho_n(\oo)Q(\,d\oo)=\int_A\rho_{n+1}(\oo)Q(\,d\oo)$ minden
$A\in\Cal F_n$ halmazra. Ez az azonoss\'ag viszont igaz, mert annak
mind a k\'et oldala $P(A)$-val egyenl\H{o}. (Felhaszn\'altuk, hogy
$A\in \Cal F_n$ eset\'en $A\in\Cal F_{n+1}$.) Vezess\"uk be a
k\"ovetkez\H{o} $g(x)$ f\"uggv\'enyt: $g(x)=1$, ha $x>0$, \'es
$g(0)=0$. A $g(\cdot)$ f\"uggv\'eny konk\'av a $[0,\infty)$
f\'elegyenesen, $\rho_n(\oo)\ge0$ minden $\oo\in X$ pontban, \'es
$n=1,2,\dots$ indexre. Tov\'abb\'a $g(\rho_n(\oo))=I(\{\rho_n(\oo)>0\})$,
ahol $I(A)$, $A\in\Cal A$, az $A$ halmaz
indik\'atorf\"uggv\'eny\'et jel\"oli. A fenti tulajdons\'agokb\'ol
k\"ovetkezik, hogy az $(I(\{\rho_n(\oo)>0\}),\Cal F_n)$, $n=1,2,\dots$,
sorozat szupermarting\'al a $Q$ m\'ert\'ek szerint.

Azt \'all\'{\i}tom, hogy abb\'ol, hogy
az $(I(\{\rho_n(\oo)>0\}),\Cal F_n)$, $n=1,2,\dots$,
sorozat szupermarting\'al a $Q$ m\'ert\'ek szerint, k\"ovetkezik,hogy
az $(\frac1{\rho_n(\oo)},\Cal F_n)$, $n=1,2,\dots$, rendszer szupermarting\'al
(a $P$ m\'ert\'ek szerint). (Val\'oj\'aban a k\'et \'all\'{\i}t\'as
ekvivalens.) Ehhez elegend\H{o} megmutatni, hogy
$\int_A\frac1{\rho_n(\oo)}P(\,d\oo)=\int_A I(\{\rho_n(\oo)>0\}Q(\,d\oo)
=\bar Q(A)$ minden $A\in\Cal F_n$ halmazra, ahol
$\bar Q(A)=Q(A\cap\{\oo\colon\;\rho_n(\oo)>0\})$, \'es hasonl\'oan
$\int_A\frac1{\rho_{n+1}(\oo)}P(\,d\oo)=\tilde Q(A)$ minden
$A\in\Cal F_n$ halmazra, ahol
$\tilde Q(A)=Q(A\cap\{\oo\colon\;\rho_{n+1}(\oo)>0\})$.
Ugyanis az, hogy az $(\frac1{\rho_n(\oo)},\Cal F_n)$, $n=1,2,\dots$,
rendszer szupermarting\'al \'ugy is megfogalmazhat\'o, hogy
$\int_A\frac1{\rho_n(\oo)}P(\,d\oo)\ge
\int_A\frac1{\rho_{n+1}(\oo)}P(\,d\oo)$ minden $A\in\Cal F_n$ halmazra,
m\'{\i}g az, hogy az $(I(\{\rho_n(\oo)>0\}),\Cal F_n)$, $n=1,2,\dots$,
sorozat szupermarting\'al a $Q$ m\'ert\'ek szerint azt jelenti, hogy
$\bar Q(A)=\int_A I(\{\rho_n(\oo)>0\})Q(\,d\oo)
\ge\int_A I(\{\rho_{n+1}(\oo)>0\})Q(\,d\oo)=\tilde Q(A)$
minden $A\in\Cal F_n$ halmazra.

Viszont tudjuk, hogy $P(A)=\int_A \rho_n(\oo)\bar Q(\,d\oo)$
minden $A\in\Cal F_n$ halmazra. Innen az is k\"ovetkezik, hogy
$\int u(\oo)P(\,d\oo)=\int u(\oo)\rho_n(\oo)\bar Q(\,d\oo)$ minden
$\Cal F_n$ m\'erhet\H{o}, nem negat\'{\i}v $u(\cdot)$ f\"uggv\'enyre.
Alkalmazzuk ezt a formul\'at az $u(\oo)=\frac{I(A)(\oo)}{\rho_n(\oo)}$
f\"uggv\'enyre valamely $A\in\Cal F_n$ halmazzal. Azt kapjuk, hogy
$\int_A\frac1{\rho_n(\oo)}P(\,d\oo)=\bar Q(A)$, \'es ez volt az
els\H{o} bizony\'{\i}tand\'o \'all\'{\i}t\'as. A m\'asodik
bizony\'{\i}tand\'o \'all\'{\i}t\'ast egyszer\H{u}en megkapjuk az
els\H{o}b\H{o}l, ha azt az $n+1$ indexre alkalmazzuk az $n$ index
helyett, \'es felhaszn\'aljuk azt, hogy $A\in\Cal F_{n+1}$, ha
$A\in\Cal F_n$.

A fenti rel\'aci\'okb\'ol az is k\"ovetkezik, hogy
$E|\frac1{\rho_n}|=E\frac1{\rho_n}=Q(\oo\colon\;\rho_n(\oo)>0)\le1$.
Ez\'ert a marting\'al konvergenciat\'etelt alkalmazhatjuk a
$(-\frac1{\rho_n},\Cal F_n)$ szubmarting\'alra, \'es azt kapjuk,
hogy az $\frac1{\rho_n(\oo)}$ sorozat 1~val\'osz\'{\i}n\H{u}s\'eggel
konverg\'al. Innen az is k\"ovetkezik, hogy a $\rho_n(\oo)$ sorozat
1~val\'osz\'{\i}n\H{u}s\'eggel konverg\'al, de hat\'ar\'ert\'eke
lehet v\'egtelen is. M\'asr\'eszt alkalmazhatjuk az
{\it Egy marting\'al tipus\'u egyenl\H{o}tlens\'eg
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok szup\-r\'e\-mu\-m\'a\-nak
a v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l} eredm\'eny\'et az
$(\frac1{\rho_n},\Cal F_n)$ szupermarting\'alra, \'es az a
$$
E\sup_n\log^-\frac1{\rho_n(\oo)}\le e+e\sup_n E\log^- \frac1{\rho_n(\oo)}
= e+e\sup_n E\log^+\rho_n(\oo)
$$
egyenl\H{o}tlens\'eget adja. Tov\'abb\'a
$$
E\log^+\rho_n(\oo)=E\log\rho_n(\oo)+E\log^-\rho_n(\oo)
=E\log\rho_n(\oo)+E_Q\rho_n(\oo)\log^-\rho_n(\oo),
$$
ahol $E_Q$ a $Q$ m\'ert\'ek szerinti v\'arhat\'o \'ert\'eket
jel\"oli. (A $0\log 0=0$ konvenci\'ot al\-kal\-maz\-zuk.) Mivel
$x\log x\ge-\frac1e$, minden $x\ge0$ sz\'amra
$\rho_n(\oo)\log^-\rho_n(\oo)\le\frac1e$, \'es emiatt
$E\log^+\rho_n(\oo)\le E\log\rho_n(\oo)+\frac1e$. Ez\'ert
az  el\H{o}bb bizony\'{\i}tott szupr\'emum
egyen\-l\H{o}t\-len\-s\'eg\-nek igaz az al\'abbi k\"ovetkezm\'enye.
$$
E\sup_n\log^-\frac1{\rho_n(\oo)}\le e+1+e\sup_n E\log\rho_n(\oo).
\tag6.7
$$
(A (6.7) k\'eplet el\H{o}tt v\'egzett sz\'amol\'asok c\'elja az
volt, hogy olyan egyenl\H{o}tlens\'eget bizony\'{\i}tsunk, amelyben
az $E\log\rho_n(\oo)$ \'es nem az $E\log^+\rho_n(\oo)$
mennyis\'egek seg\'{\i}ts\'eg\'evel adunk fels\H{o} becsl\'est.)

Azt \'all\'{\i}tom, hogy igaz az
$$
E\sup_n\log^+\frac1{\rho_n(\oo)}\le1 \tag6.8
$$
egyenl\H{o}tlens\'eg is. Ezt az al\'abbi Ionescu Tulce\'at\'ol
sz\'armaz\'o \'ervel\'es seg\'{\i}ts\'eg\'evel bizony\'{\i}tom be.

A (6.8) formula igazol\'asa \'erdek\'eben vezess\"uk be a
$G(t)=P(\supp_n\log^+\frac1{\rho_n(\oo)}>t)$ f\"uggv\'enyt,
$t\ge0$, \'es \'{\i}rjuk fel az
$E\supp_n\log^+\frac1{\rho_n(\oo)}=\int_0^\infty G(t)\,dt$
azonoss\'agot. (Az {\it egy a v\'arhat\'o \'ert\'ek
kisz\'amol\'as\'ar\'ol sz\'ol\'o formula}\/ eredm\'eny\'et
alkalmazzuk a $H(x)=x$ f\"uggv\'eny v\'alaszt\'as\'aval.)
Defini\'aljuk ezenk\'{\i}v\"ul az
$A_{n,t}=\{\oo\colon\;\log \frac1{\rho_n(\oo)}> t,\;
\max\limits_{k<n}\frac1{\rho_k(\oo)}\le t\}$ halmazokat minden $t>0$
sz\'amra \'es $n=1,2,\dots$ indexre. R\"ogz\'{\i}tett $t\ge0$
sz\'amra az $A_{n,t}$ halmazok diszjunktak, uni\'ojuk az
$\{\oo\colon\;\supp_n\log^+\frac1{\rho_n(\oo)}>t\}$
halmaz, ez\'ert $G(t)=\summ_{n=1}^\infty P(A_{n,t})$.
Ezenk\'{\i}v\"ul $A_{n,t}\in\Cal F_n$, ahonnan
$P(A_{n,t})=\int_{A_{n,t}}\rho_n(\oo)Q(\,d\oo)$. Mivel
$\rho_n(\oo)<e^{-t}$ az $\oo\in A_{n,t}$ pontokban, innen
$P(A_{n,t})\le\int_{A_{n,t}}e^{-t}Q(\,d\oo)=e^{-t}Q_n(A_{n,t})$,
\'es
$G(t)=\summ_{n=1}^\infty P(A_{n,t})\le e^{-t}\summ_{n=1}^\infty Q(A_{n,t})
\le e^{-t}$ minden $t>0$ sz\'amra. Ez\'ert
$$
E\sup_n\log^+\frac1{\rho_n(\oo)}\le\int_0^\infty e^{-t}\,dt=1,
$$
amint \'all\'{\i}tottuk.

A (6.7) \'es (6.8) formul\'ak alapj\'an
$$
E\sup_n|\rho_n(\oo)|=E\sup_n\left|\log\frac1{\rho_n(\oo)}\right|
\le e\sup_n E\log\rho_n(\oo)+e+2. \tag6.9
$$

Abb\'ol, hogy az $(\frac1{\rho_n(\oo)},\Cal F_n)$, $n=1,2,\dots$,
rendszer szupermarting\'al, \'es $-\log x$ monoton cs\"okken\H{o}
konvex f\"uggv\'eny k\"ovetkezik, hogy a
$(\log \rho_n(\oo),\Cal F_n)$, $n=1,2,\dots$, rendszer
szubmarting\'al. Speci\'alisan az $E\log \rho_n(\oo)$,
$n=1,2,\dots$, sorozat monoton n\H{o}. Ha
$\limm_{n\to\infty}E\log\rho_n(\oo)<\infty$, akkor a (6.9)
formul\'ab\'ol \'es a domin\'alt konvergencia t\'etelb\H{o}l
k\"ovetkezik, hogy
$\limm_{n\to\infty}E\log\rho_n(\oo)=E\log\rho_\infty(\oo)$, ahol
$\rho_\infty(\oo)=\limm_{n\to\infty}\rho_n(\oo)$.
(Ez a $\rho_\infty(\oo)$ hat\'ar\'ert\'ek 
1~val\'osz\'{\i}n\H{u}s\'eggel l\'etezik.)
Innen \'es a (6.9)~rel\'aci\'ob\'ol k\"ovetkezik a (6.6)~formula.
A t\'etelt bel\'attuk.

\medskip
A Shannon--McMillan--Breiman t\'etel j\'o becs\'est ad annak
val\'osz\'{\i}n\H{u}s\'eg\'ere, hogy egy v\'eges vagy
megsz\'aml\'alhat\'o sok \'ert\'eket felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol \'all\'o ergodikus,
diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamat egy
hossz\'u szelete egy el\H{o}\'{\i}rt tipikus \'ert\'eket vesz fel.
Hasonl\'o eredm\'enyeket v\'arhatunk akkor is, ha olyan ergodikus,
diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamatokat
tekint\"unk, amelyek olyan val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'allnak, amelyek \'ert\'ekeiket egy
\'altal\'anos t\'erben veszik fel. Term\'eszetes azt v\'arni,
hogy nagyon \'altal\'anos felt\'etelek mellett az ilyen
diszkr\'et idej\H{u} sztochasztikus folyamatok t\"obbv\'altoz\'os
s\H{u}r\H{u}s\'egf\"uggv\'enyei hasonl\'o viselked\'est mutatnak,
mint az el\H{o}bb tekintett speci\'alis diszkr\'et
idej\H{u} stacion\'arius sztochasztikus folyamatok szeleteinak
az eloszl\'asa. Annak \'erdek\'eben, hogy pontosabban
\'erts\"uk, hogy mit jelent ez az \'all\'{\i}t\'as, megfogalmazok
egy ilyen jelleg\H{u} t\'enyt kifejez\H{o}  eredm\'enyt.

Legyen $(X,\Cal A,\mu)$ egy val\'osz\'{\i}n\H{u}s\'egi mez\H{o},
ahol $X$ egy teljes szepar\'abilis metrikus t\'er, \'es $\Cal A$
a Borel $\sigma$-algebra ezen a t\'eren. Vegy\"uk e
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}nek az $n=\dots,-1,0,1,\dots$
eg\'esz sz\'amokkal indexelt $(X_n,\Cal A_n,\mu_n)$
p\'eld\'anyait, \'es defini\'aljuk ezek
$(X^{\pm\infty},\Cal A^{\pm\infty},\mu^\infty)$
direkt szorzat\'at. Vezess\"uk be ezenk\'{\i}v\"ul azon
$\Cal F_n\subset\Cal A^{\pm\infty}$, $n=1,2,\dots$,
$\sigma$-algebr\'akat az
$(X^{\pm\infty},\Cal A^{\pm\infty},\mu^\infty)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n, amelyek az
$$
x=(\dots,x_{-1},x_0,x_1,\dots)\in X^{\pm\infty}
$$ 
pontok $x_{-n+1},\dots,x_{-1},x_0$ koordin\'at\'ait\'ol 
f\"ugg\H{o} hengerhalmazokb\'ol \'allnak. Azaz $\Cal F_n$ az
$\{x=(\dots,x_{-1},x_0,x_1,\dots)\in X^{\pm\infty}\colon\;
(x_{-n+1},\dots,x_0)\in B\}$ alak\'u halmazokb\'ol \'all
egy $B\in\Cal A^n$ halmazzal. E k\'epletben $\Cal A^n$
az $(X,\Cal A)$ t\'er $(X^n,\Cal A^n)$ $n$-ik
hatv\'any\'aban szerepl\H{o} $\Cal A^n$ $\sigma$-algebra.
jel\"olje $\mu^n$ a $\mu^{\infty}$ m\'ert\'ek
megszor\'{\i}t\'as\'at a $\Cal F_n$ $\sigma$-algebr\'ara.

Legyen adva egy $\xi_n(x)=\xi_n(x_n)$, ha 
$x=(\dots,x_{-1},x_0,x_1,\dots)$, $-\infty<n<\infty$,
ergodikus, diszkr\'et idej\H{u} stacion\'arius sorozat az
$(X^{\pm\infty},\Cal A^{\pm\infty},\mu^\infty)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}n. A k\"ovetkez\H{o} t\'etelben
a $(\xi_1,\dots,\xi_n)$ vektor s\H{u}r\H{u}s\'egf\"uggv\'eny\'enek
az aszimp\-to\-ti\-k\'a\-j\'a\-ra adunk j\'o becsl\'est nagy $n$
sz\'amokra alkalmas felt\'etelek teljes\"ul\'ese eset\'en.

\medskip\noindent
{\bf Diszkr\'et idej\H{u} stacion\'arius sztochasztikus folyamat
v\'eges dimenzi\'os s\H{u}\-r\H{u}\-s\'eg\-f\"ugg\-v\'e\-nyei\-nek
egy Shannon--McMillan--Breiman t\'etel tipus\'u becsl\'ese.} {\it
Te\-kint\-s\"unk egy $(X^{\pm\infty},\Cal A^{\pm\infty},\mu^\infty)$
val\'osz\'{\i}n\H{u}s\'egi mez\H{o}t \'es azon egy az el\H{o}bb
bevezetett alak\'u $\xi_n(x)=\xi_n(x_n)$, $x\in X^{\pm\infty}$,
$\infty<n<\infty$, ergodikus, diszkr\'et idej\H{u} stacion\'arius
szto\-chasz\-ti\-kus folyamatot. Jel\"olje  $P$ ezen
($\xi_n(x)$, $-\infty<n<\infty$) sztochasztikus folyamat eloszl\'as\'at
az $(X^{\pm\infty},\Cal A^{\pm\infty})$ t\'eren, \'es legyen
$P_n$ az $\Cal F_n$ m\'erhet\H{o} $(\xi_{-n+1},\dots,\xi_0)$
vektor eloszl\'asa az $(X^{\pm\infty},\Cal F_n)$ t\'eren.
Tegy\"uk fel, hogy minden $n=1,2,\dots$ indexre a $P_n$ m\'ert\'ek
abszolut folytonos a $\mu^n$ m\'ert\'ekre n\'ezve, \'es jel\"olje
$p_n(x)=p_n(x_{-n+1},\dots,x_0)=\frac{P_n(\,dx)}{\mu^n(\,dx)}$,
$x=(\dots,x_{-1},x_0,x_1,\dots)$, a $P_n$ m\'ert\'eknek a
$\mu^n$ m\'ert\'ek szerinti Radon--Nikodym deriv\'altj\'at. Tegy\"uk
fel azt is, hogy a $H=-\int \log p_1(x)\mu(\,dx)<\infty$ rel\'aci\'o
teljes\"ul. Ekkor l\'etezik a
$$
\limm_{n\to\infty}-\int\log\frac{p_n(x_1,\dots,x_n)}
{p_{n-1}(x_1,\dots,x_{n-1})}\mu^n(\,dx_1,\dots,\,dx_n)=H(P,\mu)
$$
hat\'ar\'ert\'ek, \'es $0\le H(P,\mu)\le H$. Tov\'abb\'a
$$
\lim_{n\to\infty}-\frac1n\log p_n(\xi_1(x),\dots,\xi_n(x))=H(P,\mu)
\quad P \text{ majdnem minden } x\in X^{\pm\infty} \text{ pontban.}
$$
}

\medskip
E t\'etel bizony\'{\i}t\'as\'at, amely nagyon hasonl\'{\i}t az
eredeti Shannon--McMillan--Breiman t\'etel bizony\'{\i}t\'as\'ahoz,
elhagyom. Csak annyit jegyzek meg, hogy a bizony\'{\i}t\'asban
fontos szerepet j\'atszik a {\it Becsl\'es Radon--Nikodym
deriv\'altak n\"ovekv\H{o} $\sigma$-algebr\'akra vonatkoz\'o
vi\-sel\-ke\-d\'e\-s\'e\-r\H{o}l}\/ eredm\'enye, \'es egy
olyan ($P,Q$) val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ekp\'art kell
v\'alasztani, amellyel \'erdemes ezt az eredm\'enyt alkalmazni. 
Egy\'ebk\'ent a Shannon--McMillan--Brei\-man t\'etel 
bizony\'{\i}t\'as\'aban alkalmazott m\'ert\'ekp\'arhoz hasonl\'o
$(P,Q)$ m\'ert\'ekp\'art \'erdemes v\'a\-lasz\-ta\-ni.
Andrew R. Barron az ezen jegyzetben is eml\'{\i}tett 
{\it The strong ergodic theorem for densities: Generalized 
Shannon--McMillan--Breiman theorem}\/ Probability (1985) 
Vol.\ 13 No.4 1292--1303) cikk\'eben az el\H{o}bb
megfogalmazott eredm\'eny lehets\'eges 
\'al\-ta\-l\'a\-no\-s\'{\i\-}t\'a\-sai\-val foglalkozik.
Azt a k\'erd\'est vizsg\'alja, hogy milyen 
\'al\-ta\-l\'a\-no\-sabb $\mu^\infty$ domin\'al\'o 
m\'ert\'ekek eset\'eben marad \'erv\'enyben a t\'etel f\H{o} 
\'all\'{\i}t\'asa.

\bye