Az információszámítás néhány fontos fogalma és eredménye.

1. Az entrópia és feltételes entrópia fogalma és tulajdonságai.

Annak érdekében, hogy megértsük az entrópia fogalmát és azt, hogy milyen problémák vezettek annak megalkotásához tekintsük a következő kérdést. Tudunk-e nyerni a totón, ha jól ismerjük a totóban szereplő csapatok erejét, és ezért nagy valószínűséggel meg tudjuk tippelni a mérkőzések eredményét? Mivel igazán nagy nyereményt csak telitalálatos szelvénnyel lehet nyerni, foglalkozzunk azzal a kérdéssel, hogy hány szelvényt kell kitölteni a telitalálat elérése érdekében annak, aki ért és annak aki nem ért a futballhoz. Azt várjuk, hogy egy futballhoz értőnek sokkal jobbak a nyerési esélyei. Ez így is van. De ahhoz, hogy ezt jobban megértsük és a problémát alaposabban vizsgálhassuk először meg kell fogalmazni a kérdést pontosabban.

Ha biztos telitalálatot szeretnénk elérni, akkor hiába tudjuk az eredményeket nagy, de nem 100 százalékos biztonsággal eltalálni, célunkat csak úgy érhetjük el, ha minden lehetséges kimenetre fogadunk. Ebben az esetben tehát nem tudunk mást tenni, mint egy olyan fogadó, aki semmit sem tud az egyes mérkőzések valószínű eredményéről. Más azonban a helyzet, ha megelégszünk azzal, hogy nagy, mondjuk 0.95 valószínűséggel nyerjünk. Ekkor a futballhoz értő határozott előnyben van a futballhoz nem értővel szemben. Neki sokkal kevesebb szelvényt kell kitölteni e cél elérése érdekében, mint a másiknak. Másrészt elképzelhető, hogy érdemes totózni, ha 10000 szelvény kitöltésével tudjuk biztosítani a majdnem biztos nyerést, de nem érdemes akkor, ha ehhez 100000 szelvényt kell kitöltenünk.

A fenti kérdés természetesen elvezet a következő problémához. Tegyük fel, hogy n mérkőzés van, ezek eredménye egymástól független, és meg tudjuk itélni, hogy a pályaválasztó p_{1}, a vendégcsapat p_{2} valószínűséggel nyer, és p_{3} valószínűséggel lesz az eredmény döntetlen. Tegyük fel, hogy ezek a p_{1}, p_{2} és p_{3} valószínűségek mindegyik találkozón ugyanazok a számok, és az egyes mérkőzések eredményei egymástól függetlenek. Jelöljük a pályaválasztó nyerésének bekövetkeztét 1-gyel, a vendégcsapatét 2-vel, a döntetlen eredményt pedig x-szel, úgy ahogy az a totóban szokás. Arra vagyunk kiváncsiak, hogy hány tippet, hány n hosszúságú 1, 2, x sorozatot kell megadnunk ahhoz, hogy p valószínűséggel ezen tippek valamelyike tartalmazza az összes mérkőzés helyes végeredményét. A p szám egy az 1 számnál kicsit kisebb rögzített (azaz a mérkőzések n számától nem függő) szám, és minket az érdekel, hogy körülbelül hány tippet kell megadnunk célunk elérése érdekében akkor, ha n, azaz a mérkőzések száma nagyon nagy. Világos, hogy ez a szám függ a p_{1}, p_{2} és p_{3} számoktól, azaz attól, hogy milyen biztonsággal tudjuk megtippelni az eredményeket. Az, hogy semmit nem tudunk a lehetséges végeredményről azt jelenti, hogy p_{1} = p_{2} = p_{3} = \frac{1}{3}.

Először pongyolán fogalmazom meg az eredményeket, és azokra egy heurisztikus indoklást adok, majd megadom az állítások és felhasznált fogalmak pontos megfogalmazását az általános esetben, és ismertetem a precíz bizonyításokat.

Meg tudjuk mondani, hogyan kell kitölteni a szelvényeket, ha pontosan k tippet tehetünk, és az a célunk, hogy a lehető legnagyobb valószínűséggel legyen telitalálatunk. Ha k = 1, akkor a mérkőzéssorozat legvalószínűbb eredményére érdemes tippelni. Ha k = 2, akkor a két legvalószínűbb eredményre tippeljünk, és általános k esetén a legjobb stratégia a k legvalószínűbb eredményre fogadni. Ezután ha meghatározzuk, hogy melyik az a legkisebb k = k(n) szám, amelyre a k legvalószínűbb eredmény valamelyike legalább p valószínűséggel bekövetkezik, akkor megoldjuk a feladatot. Ennek a k = k(n) számnak a pontos meghatározása azonban nehéz. Ennél sokkal egyszerűbb az alábbi érvelés, amely a nagy számok (gyenge) törvénye segítségével jó közelítő értéket ad a keresett k = k(n) számra.

Be fogjuk látni, hogy akkor érhető el, hogy majdnem 1 valószínűséggel lesz telitalálatunk n mérkőzés tippelése során, ha körülbelül 2^{Hn} szelvényt töltünk ki alkalmas módon, ahol H egy a p_{1}, p_{2} és p_{3} valószínűségektől függő szám. Azaz, exponenciálisan sok szelvényt kell kitölteni, de az hogy milyen H együttható szerepel a kitevőben attól függ, hogy milyen biztonsággal tudjuk eltalálni a mérkőzések eredményét. Ennek a H számnak a kiszámítása vezet el az entrópia fogalmának bevezetéséhez.

A mérkőzéssorozat eredménye egy n hosszúságú véletlen 1, 2 és x jelekből álló sorozat, ahol mindegyik jel a többiektől függetlenül p_{1} valószínűséggel vesz fel 1 p_{2} valószínűséggel 2 és p_{3} valószínűséggel x értéket. Célunk viszonylag kevés sorozat kiválasztása úgy, hogy annak valószínűsége, hogy a megjelenő véletlen sorozat ezen sorozatok valamelyike legyen majdnem 1. Vegyük észre, hogy a nagy számok (gyenge) törvénye szerint majdnem minden sorozat olyan, hogy körülbelül np_{1} darab 1 értéket, np_{2} darab 2 értéket és np_{3} darab x értéket tartalmaz. Nevezzünk egy ezzel a tulajdonsággal rendelkező sorozatot tipikusnak. Nagy n számra elég a tipikus sorozatokra tippelni, mert annak a valószínűsége, hogy valamelyik nem tipikus sorozat jelenik meg majdnem nulla. Ezért azt kell meghatároznunk, hogy hány tipikus sorozat van.

A tipikus sorozatok számát a következő heurisztikus érvelés segítségével határozhatjuk meg. Egy rögzített tipikus sorozat megjelenésének a valószínűsége körülbelül p_{1}^{np_{1}}p_{2}^{np_{2}}p_{3}^{np_{3}}, a tipikus sorozatok összvalószínűsége majdnem 1, ezért a tipikus sorozatok száma körülbelül \frac{1}{p_{1}^{np_{1}} p_{2}^{np_{2}} p_{3}^{np_{3}}} = 2^{nH}, ahol H = −p_{1} log p_{1} −p_{2} log p_{2} −p_{3} log p_{3}. Itt és a továbbiakban is a log jel 2-es alapú logaritmust fog jelenteni. A természetes logaritmust az ln kifejezés fogja jelölni.

Megfogalmazom és bebizonyítom a fenti heurisztikus érvelés segítségével kapott eredmény egy természetes általánosítását. Előtte ismertetem az eredményben megjelenő entrópia fogalmát.

Entrópia definiciója. Legyen ξ egy értékeit egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2}, … } halmazon felvevő valószínűségi változó, amelyre P (ξ = x_{j}) = p(x_{j}), j = 1, 2, …, ahol ∑_{j} p(x_{j}) = 1. A ξ valószínűségi változó entrópiája a

H(ξ) = − ∑_{j} p(x_{j}) log p(x_{j})

esetleg végtelen értéket felvevő mennyiség, ahol log a 2-es alapú logaritmust jelöli.

1. Megjegyzés. Kényelmi okokból megengedjük, hogy az entrópia fenti definiciójában P (ξ = x_{j}) = 0 legyen bizonyos x_{j} értékekre. Annak érdekében, hogy a definició ebben az esetben is értelmes legyen bevezetjük a 0 log 0 = 0 konvenciót.

2. Megjegyzés. Ha több ξ_{1}, …, ξ_{k} véges vagy megszámlálható sok értéket felvevő valószínűségi változónk van, akkor ezek együttes H(ξ_{1}, …, ξ_{k}) entrópiáját úgy definiáljuk, hogy a ξ_{1}, …, ξ_{k} valószínűségi változó sorozatot természetes módon azonosítjuk a (ξ_{1}, …, ξ_{k}) véletlen vektorral, és annak entrópiáját definiáljuk, mint a H(ξ_{1}, …, ξ_{k}) entrópiát. Természetesen a tekintett véletlen vektor eloszlását a

P ((ξ_{1}, …, ξ_{k}) = (x_{i_{1}}^{(1)}, …, x_{i_{k}}^{(k)})) = P (ξ_{1} = x_{i_{1}}^{(1)}, …, ξ_{k} = x_{i_{k}}^{(k)})

képlet definiálja minden x_{i_{1}}^{(1)}, …, x_{i_{k}}^{(k)} sorozatra.

Vegyük észre, hogy egy ξ valószínűségi változó entrópiája nem függ attól, hogy ξ milyen értékeket vesz fel. Az csak a valószínűségi mezőnek a ξ valószínűségi változó által meghatározott particiójától függ, azaz attól a particiótól, amelynek elemei a ξ valószínűségi változó nívóhalmazai, vagyis azok a halmazok, ahol ξ valamilyen rögzített értéket vesz fel. Hasonló megjegyzés érvényes a később bevezetendő feltételes entrópiára is.

A következő eredményt fogjuk bizonyítani.

Tétel független valószínűségi változókból álló tipikus sorozatok számáról. Legyen ξ egy értékeit valamely véges X = {x_{1}, x_{2}, …, x_{r}} halmazon fölvevő valószínűségi változó, ξ_{1}, …, ξ_{n} pedig független, a ξ valószínűségi változóval azonos eloszlású valószínűségi változók sorozata. Ekkor minden ε > 0 és δ > 0 számhoz létezik olyan n_{0} = n_{0}(ε, δ) küszöbindex, hogy n ≥ n_{0} esetén minden a P ((ξ_{1}, …, ξ_{n}) ∈ A) ≥ δ feltételt teljesítő A = {(x_{j_{1}}^{(k)}, …, x_{j_{n}}^{(k)}), 1 ≤ k ≤ L} X halmazbeli n-hosszúságú sorozatokból álló halmaz L elemszáma teljesíti az L = |A| ≥ 2^{(1−ε)nH(ξ)} egyenlőtlenséget.

Megfordítva, létezik olyan Ā = {(x_{j_{1}}^{(k)}, …, x_{j_{n}}^{(k)}), 1 ≤ k ≤ L̄} L̄ darab X halmazbeli n-hosszúságú sorozatból álló halmaz, amelyre P ((ξ_{1}, …, ξ_{n}) ∈ Ā) ≥ 1 − δ, és az Ā halmaz L̄ elemszáma teljesíti az L̄ = |Ā| ≤ 2^{(1+ε)nH(ξ)} egyenlőtlenséget. A fenti egyenlőtlenségekben H(ξ) a ξ valószínűségi változó entrópiáját jelöli.

Megjegyzés. A fenti tétel akkor is érvényes, ha a ξ valószínűségi változó nem csak véges sok, hanem megszámlálhatóan végtelen sok értéket is felvehet. Egy kiegészítésben ismertetem ennek az általánosabb eredménynek a bizonyítását. Ez a bizonyítás néhány új gondolatot igényel. Egy később tárgyalandó híres eredménynek, az úgynevezett Shannon–McMillan–Breiman tételnek egy speciális és egyszerűen igazolható esetét fogjuk felhasználni.

Bizonyítás. Jelölje B az összes olyan X-beli elemekből álló n hosszúságú x_{j_{1}}, …, x_{j_{n}} sorozatok halmazát, amely sorozatok legalább np(x_{k})(1 − ε/2) multiplicitással tartalmazzák az x_{k} jelet minden 1 ≤ k ≤ r indexre, ahol p(x_{k}) = P (ξ = x_{k}). A nagy számok gyenge törvénye szerint P ((ξ_{1}, …, ξ_{n}) ∈ B) ≥ 1 − \frac{δ}{2}, ha n ≥ n_{0}(ε, δ) alkalmas n_{0}(ε, δ) küszöbindexszel. Ezért P ((ξ_{1}, …, ξ_{n}) ∈ A ∩ B) ≥ \frac{δ}{2}, ha P ((ξ_{1}, …, ξ_{n}) ∈ A) ≥ δ. Elég belátni, hogy az A∩B halmaz számossága nagyobb, mint 2^{n(1−ε)H(ξ)}. Ennek érdekében definiáljuk a következő mennyiségeket. Legyen s(k, x^{(n)}) az x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) sorozatban levő x_{k} jelek száma minden 1 ≤ k ≤ r indexre. Ekkor minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ A ∩ B, illetve általánosabban minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ B sorozatra

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}}))

= ∏_{k=1}^{r} p(x_{k})^{s(k,x^{(n)})} ≤ p(x_{1})^{n(1−ε/2)p(x_{1})} ⋯ p(x_{r})^{n(1−ε/2)p(x_{r})} = 2^{−n(1−ε/2)H(ξ)},

és mivel P ((ξ_{1}, …, ξ_{n}) ∈ A ∩ B) ≥ \frac{δ}{2}, az A ∩ B halmaz számossága nagyobb, mint \frac{δ}{2}2^{n(1−ε/2)H(ξ)} ≥ 2^{n(1−ε)H(ξ)}, ha az n_{0}(ε, δ) küszöbindexet elég nagyra választjuk.

Olyan Ā halmazt, amelyre P ((ξ_{1}, …, ξ_{n}) ∈ Ā) > 1 − δ, és elemszáma teljesíti a kívánt felső becslést választhatuk úgy, mint az összes olyan n hosszúságú X-beli elemeket tartalmazó (x_{j_{1}}, …, x_{j_{n}}) sorozatból álló halmazt, amely sorozatok legfeljebb np(x_{k})(1+ε) multiplicitással tartalmazzák az x_{k} jelet minden 1 ≤ k ≤ r indexre. Ismét a nagy számok gyenge törvényére hivatkozva kapjuk, hogy P ((ξ_{1}, …, ξ_{n}) ∈ Ā) ≥ 1−δ, ha n ≥ n_{0}(ε, δ) alkalmas n_{0}(ε, δ) küszöbindexszel. Másrészt minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ Ā sorozatra

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}}))

= ∏_{k=1}^{r} p(x_{k})^{s(k,x^{(n)})} ≥ p(x_{1})^{n(1+ε)p(x_{1})} ⋯ p(x_{r})^{n(1+ε)p(x_{r})} = 2^{−n(1+ε)H(ξ)},

és mivel az ilyen sorozatok összvalószínűsége kisebb vagy egyenlő mint 1, innen következik, hogy az Ā halmaz számossága kisebb, mint 2^{n(1+ε)H(ξ)}.

A fent bizonyított eredményt a következő módon is interpretálhatjuk. Tekintsük egy ξ valószínűségi változóval azonos eloszlású, független valószínűségi változók nhosszúságú sorozatait, és válasszuk ki e véletlen sorozatok p-ed részét alkalmas módon, úgy hogy csak viszonylag kevés sorozatot kelljen kiválasztanunk. A p-ed rész kifejezés itt azt jelenti, hogy a kiválasztott sorozatok összvalószínűsége legalább p. Az ebben a feladatban szereplő p szám teljesíti a 0 < p < 1 egyenlőtlenséget, egyébként tetszőlegesen választhatjuk. Azt láttuk be, hogy célunkat elérhetjük 2^{nH(ξ)+o(n)} alkalmasan választott sorozat megadásával, de kevesebbel már nem. Ennek az eredménynek megfogalmazhatjuk az alábbi következményét. Ha a tekintett véletlen sorozatok nagy részét meg akarjuk jelölni különböző, de azonos hosszúságú véletlen 0–1 sorozatokkal, ahol a ‘nagy részét’ kifejezés azt jelenti, hogy a sorozatok kis (alkalmasan választott) ε valószínűségi részét figyelmen kívül hagyhatjuk, akkor az egyes sorozatokat körülbelül nH(ξ) hosszúságú 0–1 sorozatokkal kell megjelölnünk. Ezt szokás úgy interpretálni, hogy a tekintett véletlen sorozat egyes tagjainak a megnevezéséhez H(ξ) bit szükséges, azaz ennyi információ kell annak megismeréséhez.

Olyan problémát tekintettünk, amelynek vizsgálatában természetes módon megjelent az entrópia fogalma. Tekintsük ennek a problémának egy olyan változatát, ahol az előbb tárgyalt feladathoz hasonlóan egy véletlen sorozatot akarunk nagy valószínűséggel eltalalálni, de rendelkezünk bizonyos plusz információval. Nevezetesen ismerjük egy másik, a minket érdeklő véletlen sorozattal kapcsolatban levő véletlen sorozat értékeit, és ezt a plusz információt is fel kívánjuk használni. A probléma jobb megértése érdekében tekintsük a korában vizsgált totózásról szóló feladat egy olyan változatát, amelyben ilyen kérdés merül fel.

A következő feladatot vizsgáljuk. Megint egy mérkőzéssorozat eredményeire akarunk jól tippelni a totón. Viszont a mérkőzések előtti napon az egyes találkozókon résztvevő együttesek ifjúsági csapatai is játszanak egymás ellen, és annak eredményét megismerhetjük a totószelvény kitöltése előtt. Az, hogy az ifjúsági csapatok milyen eredményt érnek el, hogy vannak felkészülve, információt ad a nagy csapatok felkészültségéről is, és ez megváltoztatja megitélésünket a lehetséges végeredmények valószínűségéről. A totószelvények kitöltésénél érdemes ezt az információt is figyelembe venni. A kérdés az, hogy hogyan vegyük ezt figyelembe, és ezen plusz információk felhasználása esetén hány szelvényt kell kitöltenünk annak érdekében, hogy nagy valószínűséggel telitalálatot érjünk el.

Fogalmazzuk meg a feladatot pontosabban. Tekintsük n mérkőzéspár eredményeit, amelyeket jelöljünk a (ξ_{l}, η_{l}), 1 ≤ l ≤ n, jelpárokkal. (Az l-ik mérkőzéspár eredménye a totó l-ik fordulójában szereplő felnőtt és a nekik megfelelő ifjúsági csapatok mérkőzésének az eredménye, amelyeket ξ_{l}-lel illetve η_{l}-lel jelölünk.) Tegyük fel, hogy ezek a (ξ_{l}, η_{l}) vektorok egymástól függetlenek, és azonos eloszlásúak, továbbá ezt az eloszlást ismerjük. Vezessük be az r(i, j) = P (ξ_{l} = i, η_{l} = j) valószínűségeket, ahol az i és j változók az 1, 2 és x értékeket veheti fel. A kérdés az, hogy ismerve az η_{1}, …, η_{n} valószínűségi változók értékeit, hány n hosszúságú 1, 2, x sorozatot kell (alkalmasan) a totószelványen megadni, ha azt akarjuk elérni, hogy ezen tippsorozatok valamelyike majdnem 1 valószínűséggel megegyezzen a véletlen ξ_{1}, …, ξ_{n} sorozattal. Most is feltesszük, hogy a mérkőzések n száma nagy.

Először a feladat heurisztikus megoldását ismertetem, majd megfogalmazok egy általánosabb eredményt, és megadom annak a bizonyítását.

Jelölje p(i) = r(i, 1) + r(i, 2) + r(i, x) a ξ_{l} és q(j) = r(1, j) + r(2, j) + r(x, j) az η_{l} valószínűségi változók eloszlását, ahol i és j az 1, 2 és x értékeket veszi fel, és jelölje r(i|j) = \frac{r(i,j)}{q(j)} = P (ξ_{l} = i|η_{l} = j) a ξ_{l} valószínűségi változó feltételes eloszlását feltéve az η_{l} valószínűségi változó értékét. Tekintsük az olyan y_{v_{1}}, …, y_{v_{l}} sorozatokat, amelyek körülbelül nq(j) darab j jelet tartalmaznak, ahol j = 1, 2 vagy x. Ha az η_{1}, …, η_{n} sorozat, azaz az ifjúsági mérkőzések eredményeinek a sorozata ilyen arányban veszi fel ezeket az értékeket, akkor tippeljünk úgy, hogy az összes olyan tippet megadjuk, amelyekben azon körülbelül nq(j) mérkőzés közül, amelyeknek ifjúsági mérkőzés megfelelőjében az η_{l} = j eredmény született körülbelül nq(j)r(i|j) = np(i, j) mérkőzés eredményét tippeljük i-nek, i = 1, 2 vagy x. Ha az η_{l}, 1 ≤ l ≤ n, mérkőzések eredményei nem teljesítik a kívánt feltételt, akkor a totószelvényeket tetszőlegesen kitölthetjük, csupán arra ügyelve, hogy ne töltsünk ki túl sok szelvényt.

A nagy számok törvényéből következik, hogy az adott módon kitöltve a szelvényeket majdnem egy valószínűséggel lesz telitalálatunk. Azt kell még megbecsülünk, hogy hány szelvényt töltöttünk ki. Ezt az előző feladatban alkalmazott heurisztikus érveléshez hasonlóan tehetjük meg. Elég csak azokat az eseteket nézni, amelyekben az η_{1}, …, η_{l} valószínűségi változók által felvett y_{v_{1}}, …, y_{v_{n}} eredmények körülbelül nq(j) számú j eredményt tartalmaznak, j = 1, 2 vagy x. Ebben az esetben egy olyan ξ_{1} = x_{u_{1}}, …, ξ_{n} = x_{u_{n}} eredménynek, amelyre tippeltünk a feltételes valószínűsége a P (·|η_{1} =

y_{v_{1}}, …, η_{n} = y_{v_{n}}) feltételes eloszlás szerint körülbelül ∏_{i∈{1,2,x}} ∏_{j∈{1,2,x}} r(i|j)^{nr(i,j)}, és

mivel annak feltételes valószínűsége a tekintett feltételes valószínűség szerint, hogy lesz telitalálatunk majdnem 1, ezért a kitöltött szelvények száma körülbelül

∏_{i∈{1,2,x}} ∏_{j∈{1,2,x}} r(i|j)^{−nr(i,j)} = 2^{nH̄},

ahol H̄ = − ∑_{i∈\{1,2,x\}} ∑_{j∈\{1,2,x\}} r(i, j) log \frac{r(i,j)}{q(j)}. Tehát körülbelül 2^{nH̄} szelvény kitöltésével

tudunk majdnem biztosan telitalálatot elérni.

Annak érdekében, hogy a fenti heurisztikus tárgyalásban kapott eredményt pontosabban megfogalmazhassuk vezessük be a következő fogalmat.

A feltételes entrópia definiciója. Legyen adva két ξ és η valószínűségi változó, amelyek értékeiket egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2}, … } illetve Y = {y_{1}, y_{2}, … } halmazon veszik fel, és együttes eloszlásuk valamely r(x_{i}, y_{j}) = P (ξ = x_{i}, η = y_{j}), x_{i} ∈ X, y_{j} ∈ Y, függvény. Vezessük be a q(y_{j}) = P (η = y_{j}) = ∑_{x_{i}∈X} r(x_{i}, y_{j})

valószínűségeket is minden y_{j} ∈ Y értékre. A ξ valószínűségi változó feltételes entrópiája az η valószínűségi változóra vonatkozólag a

H(ξ|η) = − ∑_{x_{i}∈X} ∑_{y_{j}∈Y} r(x_{i}, y_{j}) log \frac{r(x_{i}, y_{j})}{q(y_{j})}

esetleg végtelen értéket felvevő mennyiség, ahol log a 2-es alapú logaritmust jelöli. A fenti definióban megengedjük az r(x_{i}, y_{j}) = 0 lehetőséget bizonyos (x_{i}, y_{j}) párokra. Annak érdekében, hogy a fenti összeget ekkor is értelmezhessük bevezetjük a 0 log 0 = 0 log \frac{0}{0} = 0 konvenciót.

Megjegyzés. Abban az esetben, ha H(η) < ∞, érvényes a

H(ξ|η) = − ∑_{x_{i}∈X} ∑_{y_{j}∈Y} r(x_{i}, y_{j}) log r(x_{i}, y_{j}) + ∑_{y_{j}∈Y} q(y_{j}) log q(y_{j}) = H(ξ, η) − H(η)

azonosság.

A következő tétel megfogalmazásának érdekében vezessünk be néhány jelölést. Legyen adva egy X = {x_{1}, …, x_{r}} halmaz, és jelölje X^{n} az X halmazbeli elemekből álló n hosszúságú (x_{i_{1}}, …, x_{i_{n}}) sorozatok halmazát, ahol x_{i_{k}} ∈ X minden 1 ≤ k ≤ n indexre. Hasonlóan, legyen adva egy Y = {y_{1}, …, y_{s}} halmaz, és jelölje Y^{n} az y_{j_{k}} ∈ Y, 1 ≤ k ≤ n, elemekből álló n hosszúságú (y_{j_{1}}, …, y_{j_{n}}) sorozatok halmazát. Továbbá, jelölje X^{n} × Y^{n} az (x^{(n)}, y^{(n)}) = ((x_{i_{1}}, …, x_{i_{n}}), (y_{j_{1}}, …, y_{j_{n}})), x^{(n)} ∈ X^{n}, y^{(n)} ∈ Y^{n} sorozatok halmazát. Adva egy A ⊂ X^{n} × Y^{n} halmaz és egy (y_{j_{1}}, …, y_{j_{n}}) ∈ Y^{n} sorozat legyen A(y_{j_{1}}, …, y_{j_{n}}) az A halmaz metszete az X^{n} × {(y_{j_{1}}, …, y_{j_{n}})} halmazzal, azaz

A(y_{j_{1}}, …, y_{j_{n}}) = {(x_{i_{1}}, …, x_{i_{n}}): ((x_{i_{1}}, …, x_{i_{n}}), (y_{j_{1}}, …, y_{j_{n}})) ∈ A}.

Jelölje |A| egy (véges) A halmaz elemszámát.

Az alább megfogalmazott tétel jobb megértése érdekében leírom előbb annak heurisztikus tartalmát. A következő problémával foglalkozunk. Ha adva van független, egyforma eloszlású (ξ_{j}, η_{j}), 1 ≤ j ≤ n, véletlen vektorok egy sorozata, akkor az η^{(n)} = (η_{1}, …, η_{n}) sorozat ismeretében meg akarunk adni egy olyan viszonylag kevés x^{(n)} ∈ X^{n} sorozatból álló halmazt, amely nagy valószínűséggel tartalmazza az ξ^{(n)} = (ξ_{1}, …, ξ_{n}) véletlen sorozatot. Ez azt jelenti, hogy olyan A ⊂ X^{n} × Y^{n} halmazt akarunk definiálni, amelyre a P (ξ^{(n)} ∈ A(y^{(n)})|η^{(n)} = y^{(n)}) feltételes valószínűség viszonylag nagy, és az A(y^{(n)}) halmaz |A(y^{(n)})| számossága viszonylag kicsi az y^{(n)} ∈ Y^{n} sorozatok nagy részére, azaz az y^{(n)} sorozatok egy olyan alkalmas B ⊂ Y^{n} halmazára, amelyre P (η^{(n)} ∈ B) majdnem 1-gyel egyenlő. A tétel azt állítja, hogy ahhoz, hogy a tekintett feltételes valószínűségek teljesítsék a kívánt feltételt az A halmazt úgy kell választani, hogy |A(y^{(n)})| > 2^{(1−ε)nH(ξ|η)} legyen minden y^{(n)} ∈ B sorozatra. Másrészt meg lehet adni a kívánt tulajdonsággal rendelkező A halmazt úgy, hogy az |A(y^{(n)})| < 2^{(1+ε)nH(ξ|η)} egyenlőtlenség teljesüljön minden y^{(n)} ∈ B sorozatra.

Tétel független valószínűségi változókból álló és egy másik független valószínűségi változókból álló véletlen sorozat szerint tipikus sorozatok számáról. Legyen adva egy (ξ, η) véletlen vektor, amelynek koordinátái közül ξ értékeit egy X = {x_{1}, …, x_{r}} η pedig egy Y = {y_{1}, …, y_{s}} véges halmazon veszi fel. Legyen adva független és a (ξ, η) párral azonos eloszlású ((ξ_{1}, η_{1}), …, (ξ_{n}, η_{n})) véletlen vektorok egy sorozata. Ekkor minden 0 < ε, δ < 1 számpárhoz van egy olyan n_{0} = n_{0}(ε, δ) küszöbindex, hogy minden n ≥ n_{0} számra igaz a következő állítás. Ha A ⊂ X^{n} ×Y^{n} olyan halmaz, amelyre P (((ξ_{1}, …, ξ_{n}), (η_{1}, …, η_{n})) ∈ A|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ δ minden (y_{j_{1}}, …, y_{j_{n}}) ∈ Y^{n} sorozatra, akkor van olyan B_{0} ⊂ Y^{n} halmaz, amelyre P ((η_{1}, …, η_{n}) ∈ B_{0}) > 1 − δ, és az A(y_{j_{1}}, …, y_{j_{n}}) halmaz számossága teljesíti az |A(y_{j_{1}}, …, y_{j_{n}})| > 2^{n(1−ε)H(ξ|η)} egyenlőtlenséget minden (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0} sorozatra.

Igaz a következő fordított irányú egyenlőtlenség is. Léteznek olyan A ⊂ X^{n} × Y^{n} és B_{1} ⊂ Y^{n} halmazok, amelyekre P ((η_{1}, …, η_{n}) ∈ B_{1}) ≥ 1 − δ,

P (((ξ_{1}, …, ξ_{n}), (η_{1}, …, η_{n})) ∈ A|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ 1 − δ

minden (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{1} sorozatra, és az A(y_{j_{1}}, …, y_{j_{n}}) halmaz számossága teljesíti az |A(y_{j_{1}}, …, y_{j_{n}})| ≤ 2^{n(1+ε)H(ξ|η)} egyenlőtlenséget minden (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{1} sorozatra. A fenti egyenlőtlenségekben H(ξ|η) a ξ valószínűségi változó feltételes entrópiáját jelöli az η valószínűségi változóra vonatkozólag.

Feladat: Bizonyítsuk be a fenti tétel olyan élesebb formáját, amelyben megengedjük azt is, hogy az X és Y halmazok megszámlálhatóan végtelen számosságúak legyenek.

A tétel bizonyítása. Vezessük be az r(x_{i}, y_{j}) = P (ξ = x_{i}, η = y_{j}), q(y_{j}) = P (η =

y_{j}) = ∑_{i=1}^{r} r(x_{i}, y_{j}) és r(x_{i}|y_{j}) = P (ξ = x_{i}|η = y_{j}) = \frac{r(x_{i},y_{j})}{q(y_{j})}, 1 ≤ i ≤ r, 1 ≤ j ≤ s,

mennyiségeket. Adva egy y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ Y^{n} vektor, jelölje s(y^{(n)}, j) az y^{(n)} sorozatban szereplő y_{j} elemek számát, 1 ≤ j ≤ s, és definiáljuk a B_{0} ∈ Y^{n} halmazt, mint

B_{0} = \{y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}): y^{(n)} ∈ Y^{n}, s(y^{(n)}, j) ≥ (1 − \frac{ε}{4})nq(y_{j})

minden 1 ≤ j ≤ s indexre}.

Ekkor a nagy számok törvénye szerint P ((η_{1}, …, η_{n}) ∈ B_{0}) ≥ 1 − δ, ha n ≥ n_{0} egy elég nagy n_{0} = n_{0}(ε, δ) küszöbindexszel.Definiáljuk az ℓ(x^{(n)}, y^{(n)}, i, j) mennyiséget minden (x^{(n)}, y^{(n)}) = ((x_{i_{1}}, …, x_{i_{n}}), (y_{j_{1}}, …, y_{j_{n}})) ∈ X^{n} ×Y^{n} sorozatra és 1 ≤ i ≤ r, 1 ≤ j ≤ s indexekre úgy, mint az (x^{(n)}, y^{(n)}) vektorban szereplő olyan (x_{i_{k}}, y_{j_{k}}), 1 ≤ k ≤ n, párok számát, amelyek egyenlőek az (x_{i}, y_{j}) párral. Adva egy y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ Y^{(n)} vektor definiáljuk a következő C(y^{(n)}) ⊂ X^{n} halmazt.

C(y^{(n)}) = {x^{(n)} = (x_{i_{1}}, …, x_{i_{n}}): (x^{(n)}, y^{(n)}) ∈ X^{n} × Y^{n},

ℓ(x^{n)}, y^{(n)}, i, j) ≥ (1 − \frac{ε}{2})nr(x_{i}, y_{j}) minden 1 ≤ i ≤ r, 1 ≤ j ≤ s párra\}.

Megmutatom a nagy számok törvénye segítségével, hogy

P ((ξ_{1}, …, ξ_{n}) ∈ C(y^{(n)})|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ 1 − \frac{δ}{2}, ha y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0}.

Ennek érdekében először rögzítek egy i és j számot, és megmutatom, hogy az η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}} feltétel mellett, ahol y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0}, annak feltételes valószínűsége, hogy a (ξ_{1}, …, ξ_{n}) sorozat olyan x^{(n)} = (x_{i_{1}}, …, x_{i_{n}}) értéket vesz fel, amelyre az (x^{(n)}, y^{(n)}) vektornak legalább n(1 − \frac{ε}{2}) koordinátája egyenlő az (x_{i}, y_{j}) párral, nagyobb, mint (1 − \frac{δ}{2rs}). Valóban, ha y^{(n)} ∈ B_{0}, akkor e feltételes valószínűség feltételében s(y^{(n)}, j) ≥ nq(y_{j})(1 − \frac{ε}{4}) olyan k index van, amelyre η_{k} = y_{j}. A ξ_{k} valószínűségi változók együttes eloszlása ezen k indexekre a tekintett feltételes eloszlás szerint megegyezik s(y^{(n)}, j) ≥ (1 − \frac{ε}{4})nq(y_{j}) független, r(·|y_{j}) eloszlású valószínűségi változó együttes eloszlásával. Ezért ez a sorozat a nagy számok törvénye szerint több, mint (1 − \frac{δ}{2rs}) valószínűséggel tartalmaz legalább s(y^{(n)}, j)(1 − \frac{ε}{4})r(x_{i}, y_{j}) ≥ n(1 − \frac{ε}{4})^{2}q(y_{j})r(x_{i}|y_{j}) ≥ n(1 − \frac{ε}{2})r(x_{i}, y_{j}) számú x_{i} elemet minden 1 ≤ i ≤ r indexre, ha n ≥ n_{0}(ε, δ). Mivel ez az egyenlőtlenség minden (i, j), 1 ≤ i ≤ r, 1 ≤ j ≤ s párra érvényes, innen következik a bizonyítani kívánt egyenlőtlenség is.

A most bizonyított egyenlőtlenségből és a tétel feltételeiből következik, hogy tetszőleges y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0} vektorra

P (((ξ_{1}, …, ξ_{n}), (η_{1}, …, η_{n})) ∈ A, (ξ_{1}, …, ξ_{n}) ∈ C(y^{(n)})|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ \frac{δ}{2},

ami úgy is írható, hogy

P ((ξ_{1}, …, ξ_{n}) ∈ C(y^{(n)}) ∩ A(y^{(n)})|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ \frac{δ}{2},

ahol A(y^{(n)}) = A(y_{j_{1}}, …, y_{j_{n}}). Felhasználva ezt az egyenlőtlenséget és a C(y^{(n)}) halmaz elemeinek a tulajdonságait belátjuk, hogy |A(y^{(n)}) ∩ C(y^{(n)})| ≥ 2^{n(1−ε)H(ξ|η)}. Ennek érdekében vegyük észre, hogy tetszőleges y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0} és (x_{i_{1}}, …, x_{i_{n}}) ∈ C(y^{(n)}) vektorokra

P (ξ_{1} = x_{i_{1}}, …, ξ_{n} = x_{i_{n}}|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) = ∏_{i=1}^{r} ∏_{j=1}^{s} r(x_{i}|y_{j})^{ℓ(x^{(n)},y^{(n)},i,j)}

≤ ∏_{i=1}^{r} ∏_{j=1}^{s} r(x_{i}|y_{j})^{(1−ε/2)nr(x_{i},y_{j})} = 2^{−n(1−ε/2)H(ξ|η)}.

Az utolsó két egyenlőtlenségből következik, hogy

|A(y_{j_{1}}, …, y_{j_{n}})| ≥ |A(y_{j_{1}}, …, y_{j_{n}}) ∩ C(y^{(n)})| ≥ \frac{δ}{2}2^{n(1−ε/2)H(ξ|η)} ≥ 2^{(1−ε)nH(ξ|η)},

ha y^{n)} = (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{0}.

A másik irányú becslést az alkalmas B_{1} ⊂ Y^{n} és A ⊂ X^{n} × Y^{n} halmazok definiciójával hasonlóan bizonyíthatjuk. Legyen

B_{1} = \{y^{(n)} = (y_{j_{1}}, …, y_{j_{n}}): y^{(n)} ∈ Y^{n}, s(y^{(n)}, j) ≤ (1 + \frac{ε}{2})nq(y_{j})

minden 1 ≤ j ≤ s indexre},

és

A = {(x^{(n)}, y^{(n)}) = ((x_{i_{1}}, …, x_{i_{n}}), (y_{j_{1}}, …, y_{j_{n}})): (x^{(n)}, y^{(n)}) ∈ X^{n} × Y^{n}, y^{(n)} ∈ B_{1},
ℓ(x^{(n)}, y^{(n)}, i, j) ≤ (1 + ε)nr(x_{i}, y_{j}) minden 1 ≤ i ≤ r, 1 ≤ j ≤ s párra}.

Az előző eset érveléséhez hasonlóan bizonyíthatjuk a nagy számok törvénye segítségével, hogy P ((η_{1}, …, η_{n}) ∈ B_{1}) ≥ 1 − δ, ha n ≥ n_{0}, és

P (((ξ_{1}, …, ξ_{n}), (η_{1}, …, η_{n})) ∈ A|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}})
= P ((ξ_{1}, …, ξ_{n}), ∈ A(y_{j_{1}}, …, y_{j_{n}})|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≥ 1 − δ

minden (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{1} sorozatra. Továbbá

P (ξ_{1} = x_{i_{1}}, …, ξ_{n} = x_{i_{n}}|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) = ∏_{i=1}^{r} ∏_{j=1}^{s} r(x_{i}|y_{j})^{ℓ(x^{(n)},y^{(n)},i,j)}

≥ ∏_{i=1}^{r} ∏_{j=1}^{s} r(x_{i}|y_{j})^{(1+ε)nr(x_{i},y_{j})} = 2^{−n(1+ε)H(ξ|η)},

ha (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{1} és (x_{i_{1}}, …, x_{i_{n}}) ∈ A(y_{j_{1}}, …, y_{j_{n}}). Felhasználva a (triviális) P ((ξ_{1}, …, ξ_{n}) ∈ A(y_{j_{1}}, …, y_{j_{n}})|η_{1} = y_{j_{1}}, …, η_{n} = y_{j_{n}}) ≤ 1 egyenlőtlenséget innen kapjuk, hogy |A(y_{j_{1}}, …, y_{j_{n}})| ≤ 2^{n(1+ε)H(ξ|η)} minden (y_{j_{1}}, …, y_{j_{n}}) ∈ B_{1} sorozatra.

A most bizonyított eredményt az előző eredményhez hasonlóan a következőképp is interpretálhatjuk. Legyen adva egy véges sok értéket felvevő (ξ, η) véletlen vektor (valójában az alább megfogalmazott állítás akkor is igaz, ha ez a véletlen vektor végtelen sok értéket is felvehet, de ezt nem bizonyítottuk be), és független véletlen vektoroknak egy ezzel a véletlen vektorral azonos eloszlású, n-hosszúságú (ξ_{1}, η_{1}), …, (ξ_{n}, η_{n}) sorozata. Ismerve az η_{1}, …, η_{n} valószínűségi változók értékeit, ki akarunk választani viszonylag kevés sorozatot úgy, hogy ezek egyike majdnem biztos megegyezzék a ξ_{1}, …, ξ_{n} véletlen sorozat értékével. A majdnem biztos kiválasztás itt azt jelenti, hogy rögzítünk egy kis ε > 0 számot, megadjuk az (η_{1}, …, η_{n}) sorozatok lehetséges értékeinek egy legalább 1 − ε mértékű halmazát, és amennyiben az (η_{1}, …, η_{n}) sorozat ezek valamelyikével egyenlő, akkor kijelöljük n hosszúságú sorozatok egy viszonylag kevés elemből álló halmazát úgy, hogy annak a valószínűsége, hogy a (ξ_{1}, …, ξ_{n}) véletlen sorozat megegyezik ezek valamelyikével legalább 1 − ε. A kiválasztott sorozatok halmaza függhet az (η_{1}, …, η_{n}) vektor értékétől. Azt láttuk be, hogy ezt megtehetjük 2^{nH(ξ|η)+o(n)} alkalmasan választott sorozat segítségével, de kevesebbel már nem. Ennek az eredménynek megfogalmazhatjuk az alábbi következményét.

Meg akarjuk nevezni a (ξ_{1}, …, ξ_{n}) sorozatokat az η_{1}, …, η_{n} sorozat ismeretében m = m(n) hosszúságú az η_{1}, …, η_{n} sorozattól függő választással 0–1 sorozatokkal úgy, hogy 1−ε valószínűséggel egy (ξ_{1}, …, ξ_{n}) sorozatot megnevezünk, és rögzített η_{1}, …, η_{n} sorozat megjelenése esetén két különböző ξ_{1}, …, ξ_{n} sorozat elnevezése különböző. Ez lehetséges m = nH(ξ|η) + o(n) hosszúságú 0–1 sorozatokkal, de rövidebb sorozatokkal nem. Ezt szokás úgy interpretálni, hogy az η_{1}, …, η_{n} sorozat ismeretében a ξ_{1}, …, ξ_{n} sorozat egyes tagjainak a megnevezéséhez H(ξ|η) bit szükséges, azaz az η_{k} változók értékének az ismeretében ennyi információ kell az egyes ξ_{k} véletlen változók megismeréséhez.

Megfogalmazom és bebizonyítom az entrópiával és feltételes entrópiával kapcsolatos legfontosabb egyenlőtlenségeket. Ezek mindegyike heurisztikus szinten ‘nyilvánvaló’ következménye az entrópia és feltételes entrópia szemléletes tartalmának.

Tétel az entrópiával és feltételes entrópiával kapcsolatos fontos egyenlőtlenségekről. Legyenek ξ, η és ζ véges vagy megszámlálható sok értéket fölvevő valószínűségi változók. Ezek teljesítik a következő egyenlőtlenségeket:

a1.) H(ξ) ≥ 0, és egyenlőség akkor és csak akkor érvényes, ha a ξ valószínűségi változó

egy valószínűséggel egy konstanssal egyenlő. a2.) Ha a ξ valószínűségi változó n értéket vesz fel, akkor H(ξ) ≤ log n. Egyenlőség

akkor és csak akkor érvényes, ha a ξ valószínűségi változó által felvett x_{1}, …, x_{n} értékekre P (ξ = x_{k}) = \frac{1}{n} minden 1 ≤ k ≤ n indexre.

b.) H(ξ, η) ≤ H(ξ) + H(η), illetve kissé általánosabban H(ξ|η) ≤ H(ξ). Egyenlőség akkor és csak akkor teljesül a második, általánosabb egyenlőtlenségben, ha ξ és η függetlenek, vagy H(ξ|η) = ∞.

c.) H(η) ≤ H(ξ, η), illetve kissé általánosabban H(ξ|η) ≥ 0. Egyenlőség akkor és csak akkor teljesül a második, általánosabb egyenlőtlenségben, ha ξ = f(η) valamely f(·)

függvénnyel, azaz ξ az η függvénye.

d.) H(ξ|η, ζ) ≤ H(ξ|η). Abban az esetben, ha létezik olyan a (ξ, η) véletlen vektortól független Z valószínűségi változó, amelyre ζ = h(η, Z) valamely alkalmas h függvénnyel, akkor egyenlőség áll fenn.

Megjegyzés. A feltételes entrópiáról szóló b) és c) pontban megfogalmazott egyenlőtlenségek akkor is érvényesek, ha H(η) = ∞. Ebben az esetben ezek az állítások többet mondanak, mint a nekik megfelelő az entrópiáról megfogalmazott egyenlőtlenségek.

Következmény. a.) H(f(ξ)) ≤ H(ξ) tetszőleges f(·) függvényre. Vegye fel egy ξ valószínűségi változó

értékeit egy végtelen X = {x_{1}, x_{2}, … } halmazban, legyen H(ξ) < ∞, és definiáljuk minden K ≥ 1 számra egy olyan ξ^{(K)}, valószínűségi változót, amelyre ξ = x_{j} esetén ξ^{(K)} = x_{j}, ha j ≤ K, és ξ^{(K)} = x^{∗} valamely x^{∗} ≠ x_{s}, 1 ≤ s ≤ K, értékkel, ha j > K. Ezzel a választással H(ξ^{(K)}) ≤ H(ξ), és minden ε > 0 számhoz létezik olyan K_{0} = K_{0}(ε) index, hogy H(ξ^{(K)}) ≥ H(ξ) − ε, ha K ≥ K_{0}.

b.) Érvényesek a H(ξ, η|ζ) = H(η|ξ, ζ) + H(ξ|ζ) és H(ξ, η) = H(η|ξ) + H(ξ) azonosságok. Továbbá H(ξ, η|ζ) ≥ H(ξ|ζ), és egyenlőség akkor és csak akkor áll fenn, ha vagy η = f(ξ, ζ) alkalmas f függvénnyel vagy H(ξ|ζ) = ∞. Továbbá H(ξ, η|ζ) ≤ H(ξ|ζ) + H(η|ζ).

A következmény bizonyítása. Az a) rész bizonyítása: H(ξ) = H(ξ, f(ξ)) ≥ H(f(ξ)) a tétel c) pontja szerint. Innen következik a H(ξ^{(K)}) ≤ H(ξ) egyenlőtlenség, az X téren definiált f(x_{j}) = x_{j}, ha j ≤ K, és f(x_{j}) = x^{∗}, ha j ≥ K választással. Legyen

p(x_{j}) = P (ξ = x_{j}), j = 1, 2, . . .. A H(ξ) = − ∑_{j=1}^{∞} p(x_{j}) log p(x_{j}) < ∞ feltételből

következik, hogy létezik olyan K_{0} = K_{0}(ε) index, hogy − ∑_{j=1}^{K_{0}} p(x_{j}) log p(x_{j}) ≥ H(ξ) − ε.

Ilyen K_{0} = K_{0}(ε) választással igaz az a) rész utolsó állítása is.

A következmény b) részében szereplő első azonosság következik a H(ξ, η|ζ) =

∑_{i,j,k} P (ξ = i, η = j, ζ = k) log \frac{P (ξ=i,η=j,ζ=k)}{P (ζ=k)} és H(η|ξ, ζ) + H(ξ|ζ) = ∑_{i,j,k} P (ξ = i, η =

j, ζ = k)(log \frac{P (ξ=i,η=j,ζ=k)}{P (ξ=i,ζ=k)}+log \frac{P (ξ=i,ζ=k)}{P (ζ=k)}) relációkból. A második azonosság hasonlóan indokolható. A b) rész további állítása következik a H(ξ, η|ζ) = H(η|ξ, ζ) + H(ξ|ζ) azonosságból és a tétel c) illetve d) részének az állításából.

Értsük meg, hogy az előbb megfogalmazott tétel egyenlőtlenségei az entrópia és feltételes entrópia szemléletes tartalmának megfelelő tulajdonságokat fejeznek ki. Az a1) tulajdonság azt mondja, hogy a ξ valószínűségi változó által felvett érték megismeréséhez pozitív információ szükséges, kivéve azt az elfajuló esetet, amikor ξ értéke (ismert) konstans, és ezért nulla információ is elegendő. Az a2) állítás szerint egy n értéket felvevő valószínűségi változó értékének a megismeréséhez akkor kell a legtöbb információ, ha minden értéket egyforma valószínűséggel vesz fel, amit úgy is interpretálhatunk, hogy azonkívül, hogy tudjuk, hogy ξ n értéket vesz fel, semmilyen plusz információnk nincs annak viselkedéséről.

A b) tulajdonság azt fejezi ki, hogy egy η valószínűségi változó értékének az ismerete csökkentheti egy ξ valószínűségi változó értékének megismeréséhhez szükséges információt. Akkor nincs csökkenés, ha ξ és η függetlenek, és ezért η ismerete semmilyen értékes információt nem ad ξ viselkedéséről. A c) tulajdonság szerint egy ξ valószínűségi változó értékének a megismeréséhez pozitív információ szükséges egy η valószínűségi változó értékének az ismeretében is. Akkor elég nulla információ, ha ξ az η ismert függvénye.

A d) tulajdonság jelentése az, hogy egy ξ valószínűségi változó értékének a megismeréséhez kevesebb információ szükséges, ha egy η valószínűségi változó értékén kívül egy másik ζ valószínűségi változó értékét is ismerjük. Semmilyen nyereséget nem jelent viszont ζ ismerete, ha az a már ismert η és egy mind a ξ mind az η valószínűségi változótól független valószínűségi változó függvénye.

A tétel bizonyításában fontos szerepet játszik egy egyszerű állítás, amelyet a bizonyítás jobb áttekinthetősége érdekében külön lemmában fogalmazok meg.

Lemma az x log x függvény viselkedéséről. A g(x) = x log x, ha x > 0, g(0) = 0 függvény egy a [0, ∞) félegyenesen folytonos, szigorúan konvex függvény, amelyre g(0) = g(1) = 0.

A lemma bizonyítása. Könnyen látható, hogy g(x) folytonos függvény a [0, ∞) félegyenesen, és g(0) = g(1) = 0. Ezenkívül g′′(x) = \frac{log e}{x} > 0 minden x > 0 számra, ahonnan következik, hogy g(x) szigorúan konvex függvény.

A tétel bizonyítása. Jelölje X = {x_{1}, x_{2}, … } a ξ, Y = {y_{1}, y_{2}, … } az η és Z = {z_{1}, z_{2}, … } a ζ valószínűségi változó értékeit. Az a) b) és c) részben használjuk a p(x_{i}) = P (ξ = x_{i}), q(y_{j}) = P (η = y_{j}) és r(x_{i}, y_{j}) = P (ξ = x_{i}, η = y_{j}) jelölést. Az a1) állítás nyilvánvaló, mert −p(x_{i}) log p(x_{i}) > 0, ha 0 < p(x_{i}) < 1, és 0 log 0 = 1 log 1 = 0. Az a2) állítás következik a

−H(ξ) = n ∑_{i=1}^{n} \frac{1}{n}g(p(x_{i})) ≥ ng (\frac{1}{n} ∑_{i=1}^{n} p(x_{i})) = ng (\frac{1}{n}) = − log n

egyenlőtlenségből, ahol g(x) a lemmában szereplő konvex függvény. Mivel a g(·) függvény szigorúan konvex egyenlőség csak a p(x_{i}) = \frac{1}{n}, 1 ≤ i ≤ n, esetben lehetséges.

A b) állítás bizonyítása érdekében írjuk fel a

H(ξ|η) = − ∑_{i,j} q(y_{j})\frac{r(x_{i}, y_{j})}{q(y_{j})} log \frac{r(x_{i}, y_{j})}{q(y_{j})} = − ∑_{i} (∑_{j} q(y_{j})g (\frac{r(x_{i}, y_{j})}{q(y_{j})}))

≤ − ∑_{i} (g (∑_{j} q(y_{j})\frac{r(x_{i}, y_{j})}{q(y_{j})})) = − ∑_{i} g(p(x_{i})) = H(ξ)

egyenlőtlenséget. E számolásban felhasználtuk a g(x) = x log x függvény konvexitását a

q(y_{j}), q(y_{j}) > 0, ∑_{j} q(y_{j}) = 1, súlyokkal, azaz azt, hogy ∑_{j} q(y_{j})g(u_{j}) ≤ g (∑_{j} q(y_{j})u_{j}))

minden u_{1} ≥ 0, u_{2} ≥ 0, … számsorozatra, és a ∑_{j} r(x_{i}, y_{j}) = p(x_{i}) azonosságot.

Felhasználva a g(·) függvény szigorú konvexitását kapjuk, hogy egyenlőség akkor és csak akkor lehetséges, ha vagy H(ξ|η) = ∞ vagy bármely rögzített i indexre \frac{r(x_{i},y_{j})}{q(y_{j})} = α_{i} valamely α_{i} számmal minden j indexre. Ez azt jelenti. hogy r(x_{i}, y_{j}) = α_{i}q(j), és ezt az azonosságot összegezve a j változóra azt kapjuk, hogy p(x_{i}) = ∑_{j} r(x_{i}, y_{j}) = α_{i},

azaz r(x_{i}, y_{j}) = p(x_{i})q(y_{j}) minden i és j indexre, tehát a ξ és η valószínűségi változók függetlenek.

A c) állítás bizonyítása érdekében vegyük észre, hogy a

H(ξ|η) = − ∑_{i,j} r(x_{i}, y_{j}) log \frac{r(x_{i}, y_{j})}{q(y_{j})}

azonosság jobboldalán csak nem-pozitív tagok szerepelnek a 0 ≤ \frac{r(x_{i},y_{j})}{q(y_{j})} ≤ 1 reláció miatt. Innen következik, hogy H(ξ|η) ≥ 0. (A fenti összeg tagjainak azonos előjelét implicite a b) rész bizonyításában is felhasználtuk. Ez feljogosított minket arra, hogy a bizonyításban vizsgált összeget a számunkra megfelelő módon átrendezzük.) Egyenlőség csak akkor lehetséges, ha mindegyik \frac{r(x_{i},y_{j})}{q(y_{j})} tag vagy nullával vagy eggyel egyenlő. Ez

azt jelenti, hogy létezik egy olyan i(j) index, hogy \frac{r(x_{i(j)},y_{j})}{q(y_{j})} = 1, azaz P (ξ = x_{i(j)}|η = y_{j}) = 1. Ezért egyenlőség akkor és csak akkor teljesül, ha ξ = f(η) valamely alkalmas f függvénnyel.

A d) rész állításának vizsgálatában vezessük be a p(x_{i}) = P (ξ = x_{i}) és q(y_{j}) = P (η = y_{j}) mennyiségek mellett az u(x_{i}, y_{j}) = P (ξ = x_{i}, η = y_{j}), v(y_{j}, z_{k}) = P (η = y_{j}, ζ = z_{k}) valamint a t(x_{i}, y_{j}, z_{k}) = P (ξ = x_{i}, η = y_{j}, ζ = z_{k}) mennyiségeket is. Ezekkel a jelölésekkel felírhatjuk, hogy

H(ξ|η, ζ) = − ∑_{x_{i},y_{j},z_{k}} t(x_{i}, y_{j}, z_{k}) log \frac{t(x_{i}, y_{j}, z_{k})}{v(y_{j}, z_{k})}

= − ∑_{x_{i},y_{j}} (∑_{z_{k}} q(y_{j})\frac{v(y_{j}, z_{k})}{q(y_{j})} \frac{t(x_{i}, y_{j}, z_{k})}{v(y_{j}, z_{k})} log \frac{t(x_{i}, y_{j}, z_{k})}{v(y_{j}, z_{k})})

= − ∑_{x_{i},y_{j}} q(y_{j}) (∑_{z_{k}} \frac{v(y_{j}, z_{k})}{q(y_{j})}g (\frac{t(x_{i}, y_{j}, z_{k})}{v(y_{j}, z_{k})}))

≤ − ∑_{x_{i},y_{j}} q(y_{j})g (∑_{z_{k}} \frac{v(y_{j}, z_{k})}{q(y_{j})} \frac{t(x_{i}, y_{j}, z_{k})}{v(y_{j}, z_{k})})

= − ∑_{x_{i},y_{j}} q(y_{j})g (∑_{z_{k}} \frac{t(x_{i}, y_{j}, z_{k})}{q(y_{j})}) = − ∑_{x_{i},y_{j}} q(y_{j})g (\frac{u(x_{i}, y_{j})}{q(y_{j})})

= − ∑_{x_{i},y_{j}} P (ξ = x_{i}, η = y_{j}) log \frac{P (ξ = x_{i}, η = y_{j})}{P (η = y_{j})} = H(ξ|η).

E számolásokban felhasználtuk azt, hogy a g(·) függvény konvex, ∑_{k} \frac{v(y_{j},z_{k})}{q(y_{j})} = 1,

és ∑_{k} \frac{t(x_{i},y_{j},z_{k})}{q(y_{j})} = \frac{u(x_{i},y_{j})}{q(y_{j})}. A kapott egyenlőtlenségben azonosságot írhatunk abban

a speciális esetben, ha \frac{t(x_{i},y_{j},z_{k})}{v(y_{j},z_{k})} = α(i, j), azaz, ha ez a tört csak az csak az x_{i} és y_{j} változótól függ. Ez az egyenlőség teljesül abban a speciális esetben, ha ζ = Z, ahol Z a (ξ, η) vektortól független valószínűségi változó, mert ekkor \frac{t(x_{i},y_{j},z_{k})}{v(y_{j},z_{k})} =

\frac{P (ξ=x_{i},η=y_{j},Z=z_{k})}{P (η=y_{j},ζ=z_{k})} = \frac{P (ξ=x_{i},η=y_{j})P (Z=z_{k})}{P (η=y_{j})P ζ=z_{k})} = α(i, j). Ha ζ = h(η, Z) egy ilyen tulajdonságú Z valószínűségi változóval, akkor a már bizonyított állítások alapján felírhatjuk, hogy H(ξ|η) = H(ξ|η, Z) = H(ξ|η, Z, ζ) ≤ H(ξ|η, ζ) ≤ H(ξ|η). Ezért az utolsó formulasorozatban mindenütt egyenlőség van, és H(ξ|η, ζ) = H(ξ|η).

Feladat:

Legyen ξ_{1}, …, ξ_{n} egy Markov lánc. Bizonyítsuk be, hogy H(ξ_{n}|ξ_{n−1}, …, ξ_{1}) = H(ξ_{n}|ξ_{n−1}).

Segítség: Lássuk be a d) rész bizonyításában szereplő \frac{t(x_{i},y_{j},z_{k})}{v(y_{j},z_{k})} = α(i, j) azonosságot, ahol a t(x_{i}, y_{j}, z_{k}) és v(y_{j}, z_{k}) függvényeket a következő ξ, η és ζ valószínűségi változók segítségével definiáljuk: ξ = ξ_{n}, η = ξ_{n−1}, ζ = (ξ_{n−2}, …, ξ_{1}). A kívánt azonosság következik a Markov tulajdonságból.

Kiegészítés: Független, értékeiket esetleg végtelen halmazban felvevő valószínűségi változókból álló tipikus sorozatok számának a becslése.

A független valószínűségi változókból álló tipikus sorozatok számáról szóló tételben becslést adtunk arra, hogy hány tipikus sorozatot tartalmaz egy ξ valószínűségi változóval azonos eloszlású független valószínűségi változók ξ_{1}, …, ξ_{n} sorozata. Pontosabban fogalmazva azt becsültük meg, hogy rögzítve egy kis ε > 0 számot körülbelül hány sorozatot tartalmaz a (ξ_{1}, …, ξ_{n}) véletlen sorozatok egy 1 − ε mértékű alkalmasan választott részhalmaza. A válasz a ξ valószínűségi változó H(ξ) entrópiájától függ. Ezt az eredményt csak abban az esetben láttuk be, ha a ξ valószínűségi változó csak véges sok értéket vehet fel. Ugyanakkor természetes azt várni, hogy a tétel állítása érvényes megszámlálhatóan végtelen sok értéket felvevő ξ valószínűségi változó esetén is. Belátjuk, hogy ez tényleg így van. Az egyszerű fogalmazás érdekében feltesszük, hogy H(ξ) < ∞, hiszen minket valójában csak ez az eset érdekel. A következő eredményt fogom bebizonyítani.

Tétel független, véges vagy megszámlálhatóan végtelen sok értéket felvevő valószínűségi változókból álló tipikus sorozatok számáról. A független valószínűségi változókból álló tipikus sorozatok számáról megfogalmazott tétel állítása akkor is érvényes, ha az abban szereplő ξ valószínűségi változó értékeit valamely véges vagy végtelen X = {x_{1}, x_{2}, …, } halmazon veszi fel, és mindössze annyit teszünk fel róla, hogy H(ξ) < ∞.

A tétel bizonyítása. Definiáljuk a p(x_{k}) = P (ξ = x_{k}), k = 1, 2, …, függvényt, és adva független a ξ valószínűségi változóval azonos eloszlású, független valószínűségi változóknak egy ξ_{1}, …, ξ_{n} sorozata vezessük be a ζ_{j} = − log p(ξ_{j}), 1 ≤ j ≤ n, valószínűségi változókat. Vegyük észre, hogy Eζ_{j} = H(ξ), és a nagy számok (gyenge) törvénye alapján

\frac{1}{n} ∑_{j=1}^{n} ζ_{j} ⇒ H(ξ), ha n → ∞,

ahol ⇒ sztochasztikus konvergenciát jelöl. Jelölje η_{k}(n) a ξ_{1}, …, ξ_{n} sorozatban szereplő x_{k} elemek számát. Ekkor az előbb felírt formula ekvivalens a következő állítással:

\frac{1}{n} ∑_{k}(η_{k}(n) − np(x_{k})) log p(x_{k}) ⇒ 0, ha n → ∞,  (A1)

Megmutatom, hogy a (A1) relációból következik a tétel állítása. E célból válasszunk olyan ε_{n} → 0 és δ_{n} → 0 sorozatokat, amelyekre

P (|∑_{k}(η_{k}(n) − np(x_{k})) log p(x_{k})| > nε_{n}) ≤ δ_{n}.  (A2)

Ez az (A1) reláció érvényessége miatt megtehető. Adva egy x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ X^{n} sorozat jelölje s(k, x^{(n)}) azon r, 1 ≤ r ≤ n, indexek számát, amelyekre x_{j_{r}} = x_{k}. Definiáljuk minden n = 1, 2, … indexre az

A_{1}(n) = {x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}): x^{(n)} ∈ X^{n}, ∑_{k=1}^{∞}(s(k, x^{(n)}) − np(x_{k})) log p(x_{k}) ≤ nε_{n}}

és

A_{2}(n) = {x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}): x^{(n)} ∈ X^{n}, ∑_{k=1}^{∞}(s(k, x^{(n)})−np(x_{k})) log p(x_{k}) ≥ −nε_{n}}

halmazokat, ahol ε_{n} megegyezik az (A2) formulában szereplő ε_{n} számmal. Vegyük észre, hogy mivel (ξ_{1}(ω), …, ξ_{n}(ω)) = (x_{j_{1}}, …, x_{j_{n}}), x^{(n)} = (x_{j_{1}}, …, x_{j_{n}})) esetén η_{k}(n)(ω) = s(k, x^{(n)}). Ezért az (A2) formula alapján P ((ξ_{1}, …, ξ_{n}) ∈ A_{j}(n)) ≥ 1 − δ_{n} ≥ 1 − δ/2 mind j = 1 mind j = 2 indexszel, ha n ≥ n_{0}(δ, ε) alkalmas n_{0} küszöbindexszel. A fő részben ismertetett bizonyítást alkalmazhatjuk a most tárgyalt esetben is minimális változtatásokkal, ha megmutatjuk, hogy egy x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ X^{n} vektorra

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}})) ≤ 2^{−n(1−ε)H(ξ)}, ha x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ A_{1}(n). és

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}})) ≥ 2^{−n(1+ε)H(ξ)}, ha x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ A_{2}(n),

feltéve, hogy n ≥ n_{0}(ε, δ) egy alkalmas n_{0} küszöbindexszel. Ezekből az egyenlőtlenségekből ugyanis a fő részben ismertetett bizonyítás módszerével következik a számunkra szükséges becslés az A_{1}(n) illetve az A_{2}(n) halmaz elemszámára.

A kívánt becslések bizonyításának az érdekében írjuk fel az alábbi azonosságot minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ X^{n} vektorra.

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}}))

= ∏_{k=1}^{∞} p(x_{k})^{s(k,x^{(n)})} = ∏_{k=1}^{∞} p(x_{k})^{np_{k}(x)} ∏_{k=1}^{∞} p(x_{k})^{s(k,x^{(n)})−np_{k}(x)}

= exp \{\frac{1}{log 2} ∑_{k=1}^{∞} np(x_{k}) log p(x_{k})\} exp \{\frac{1}{log 2} ∑_{k=1}^{∞}(s(k, x^{(n)}) − np(x_{k})) log p(x_{k})\} .

Innen következik, hogy

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}})) ≤ 2^{−nH(ξ)} · 2^{nε_{n}} ≥ 2^{−n(1−ε/2)H(ξ)}

minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ A_{1}(n) vektorra, és

P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}})) ≥ 2^{−nH(ξ)} · 2^{−nε_{n}} ≥ 2^{−n(1+ε)H(ξ)}

minden x^{(n)} = (x_{j_{1}}, …, x_{j_{n}}) ∈ A_{2}(n) vektorra, ha n ≥ n_{0}(ε, δ). Innen következik, hogy az A_{1}(n) és A_{2}(n) halmazok elemszáma teljesíti az |A_{1}(n)| ≥ 2^{n(1−ε)H(ξ)} és |A_{2}(n)| ≤ 2^{n(1+ε)H(ξ)} egyenlőtlenségeket. Sőt az is igaz, hogy amennyiben B ⊂ X^{n} olyan halmaz, amelyre P ((ξ_{1}, …, ξ_{n}) ∈ B) ≥ δ, akkor |A_{1}(n) ∩ B| ≥ 2^{n(1−ε)H(ξ)}.

2. Forráskódolás és dekódolás.

Az információelmélet egyik legfontosabb problémája a következő kódolási problémának nevezett kérdés. Legyen adva valószínűségi változók valamely ξ_{1}, ξ_{2}, … véges vagy végtelen sorozata, amelynek tagjai értéküket valamely X véges vagy megszámlálhatóan végtelen számosságú halmazban veszik fel. A ξ_{1}, ξ_{2} … sorozatot forrásnak, a ξ_{j} valószínűségi változók által felvett értékek X halmazát pedig (forrás) ABC-nek szokás nevezni az irodalomban. Ennek a ξ_{1}, ξ_{2} … sorozatnak az értékeit szeretnénk közölni valakivel, akit felhasználónak nevezünk. E cél elérése érdekében bizonyos jeleket leadunk a felhasználónak, aki ezeket a jeleket, esetleg némi hibával, megkapja. Azt az apparátust, amely ezeket a jeleket továbbítja csatornának nevezzük. A felhasználó, a csatornán keresztül megkapott jelek segítségével megpróbálja rekonstruálni az eredeti ξ_{1}, ξ_{2}, … üzenetet. Tegyük fel, hogy a kiinduló ξ_{1}, ξ_{2}, … sorozat egymás utáni jelei megérkeznek bizonyos sebességgel, és mi le tudjuk adni a csatornán a jeleinket a felhasználónak bizonyos sebességgel. A kérdés az, hogy mikor tudjuk egy a felhasználóval korábban egyeztetett módszer segítségével elérni, hogy ő a kapott jelsorozat segítségével viszonylag kis hibával rekonstruálni tudja az eredeti ξ_{1}, ξ_{2}, … forrást.

Az előbb megfogalmazott kódolási probléma egy tipikus esete az, ha egy szöveg egymás utáni betűi érkeznek (a szóközi szüneteket külön jelnek tekintjük), és ezt a folyamatosan érkező szöveget akarjuk közölni egy tőlünk távol levő ismerősünknek. Ennek érdekében le tudunk adni egymás után 0 és 1 jeleket egy távírón. Azt akarjuk elérni, hogy ismerősünk, aki e jeleket megkapja képes legyen viszonylag pontosan rekonstruálni az eredeti szöveget még akkor is, ha a jeltovábbításban időnként hibák lépnek fel. Azt vizsgáljuk, hogy ez mikor lehetséges. Célszerű az egyes betűknek bizonyos jelsorozatot (kódot) megfeleltetni. Úgy kívánjuk ezt tenni, hogy ismerősünk képes legyen a kapott jelsorozat segítségével viszonylag pontosan rekonstruálni (dekódolni) az eredeti sorozatot még akkor is, ha a leadott jelsorozat egyes jelei hibásan érkeznek meg hozzá.

Célunkat elérhetjük például úgy, hogy mindegyik betűnek ugyanolyan hosszú és egymástól különböző kódszót feleltetünk meg, és mindegyik kódszót egymás után százszor küldjük el a csatornán. Ekkor kicsi annak a valószínűsége, hogy egy ilyen 100-szor elküldött jel az esetek többségében helytelenül érkezik, így ismerősünk nagy valószínűséggel rekonstruálni tudja az eredeti üzenetet. A probléma az, hogy ilyen módszerrel az üzenet továbbítása túlságosan sok időt vesz igénybe, és ezért esetleg nem tudjuk követni az eredetileg érkező jelsorozat sebességét. Célunk tehát az, hogy egy olyan módszert dolgozzunk ki, amelynek segítségével az eredeti hírforrást viszonylag gyorsan és pontosan meg tudjuk ismertetni a felhasználóval. A módszer kidolgozásánál érdemes figyelembe venni azt, hogy a (véletlen) ξ_{1}, ξ_{2}, … forrás milyen valószínűségi törvénynek tesz eleget, illetve, hogy milyen valószínűséggel következnek be bizonyos hibák, amikor a jeleket leadjuk a csatornán.

Az előbb megfogalmazott kódolási problémát érdemes két probléma vizsgálatának a segítségével megoldani. Az első probléma a következő. Adva egy rögzített n szám, és egy rögzített V = {v_{1}, v_{2}, … } véges vagy megszámlálhatóan végtelen halmaz, tekintsük a

ξ_{ln+1}, …, ξ_{l(n+1)}, l = 1, 2, …,

blokkokat. Válaszuk ki ezenkívül a V halmazbeli elemeket tartalmazó n-hosszúságú sorozatoknak egy alkalmas A = A(n) ⊂ V^{n} részhalmazát. (Itt, és a továbbiakban, V^{n} jelöli a V halmazbeli, és X^{n} az X halmazbeli elemeket tartalmazó n hosszúságú sorozatok halmazát.) Olyan f: X^{n} → A(n) és g: A(n) → X^{n} függvényeket keresünk, amelyekre

P (g(f(ξ_{ln+1}, …, ξ_{(l+1)n})) = (ξ_{ln+1}, …, ξ_{(l+1)n})) ≥ 1 − ε minden l = 0, 1, … indexre

(2.1)

egy kis fix ε > 0 számmal. Ha találunk ilyen f, g) függvénypárt akkor f(·) függvényt kódfüggvénynek, az f(x_{p(1)}, …, x_{p(n)}) sorozatot az x_{p(1)}, …, x_{p(n)} sorozat kódjának nevezzük, a g(·) függvényt pedig dekódoló függvénynek hívjuk. Ebben az esetben azt mondjuk, hogy ε-nál kisebb hibával kódoltunk.Olyan A(n) ⊂ V^{n} halmazt és a (2.1) formulát teljesítő f(·), g(·) függvénypárt szeretnénk találni, amelyekre az n blokkhossztól függő A(n) halmaznak viszonylag kicsi az elemszáma. E feladat megoldását nevezzük forrás kódolásnak és forrás dekódolásnak.

A második feladat arról szól, hogy amikor a forrás kódolásaként kapott sorozat értékét alkalmas csatorna esetleg hibás közvetítése segítségével közöljük a felhasználóval, akkor ő hogyan tudja viszonylag kis hibával rekonstruálni a csatornán keresztül elküldött sorozatot. Ezt a feladatot, amelyet csatorna kódolásnak és dekódolásnak neveznek a következő fejezetben fogom tárgyalni, és magát a feladatot is csak ott fogom pontosan megfogalmazni.

E fejezet témája a forrás kódolás és dekódolás. Csak azzal az esettel fogok foglalkozni, amikor a ξ_{1}, ξ_{2}, … forrás független és egyforma eloszlású véges vagy megszámlálhatóan végtelen sok értéket felvevő valószínűségi változók sorozata. Ebben az esetben egy jó forrás kódolás és dekódolás megtalálása viszonylag egyszerű feladat, az könnyen megtehető az előző fejezet eredményeinek a segítségével. Tárgyalni fogom továbbá ennek a feladatnak egy önmagában is érdekes változatát, amelyben egy véletlen sorozatot akarunk viszonylag rövid sorozattal úgy kódolni, hogy az hibátlanul dekódolható legyen. A kódolt sorozat hossza függhet a véletlentől, és e véletlen szóhossz várható értékét szeretnénk kicsivé tenni.

Megfogalmazom ezt a módosított feladatot pontosabban. Legyen adva egy ξ valószínűségi változó, amely értékeit egy véges X = {x_{1}, …, x_{M}} halmazban veszi fel, és amelynek ismert a P (ξ = x_{i}) = p(i), 1 ≤ i ≤ M, eloszlása. (Az egyszerűség kedvéért feltettem, hogy a ξ valószínűségi változó X értékkészlete egy véges halmaz, bár több alább ismertetendő eredmény akkor is érvényes, ha az X halmaz számossága megszámlálhatóan végtelen is lehet.) Legyen adva egy véges d-elemű Y = {y_{1}, …, y_{d}} halmaz, amelyet a továbbiakban ABC-nek fogunk nevezni, és a ξ valószínűségi változóval azonos eloszlású ξ_{1}, …, ξ_{l} valószínűségi változóknak egy sorozata. Nevezzük az Y halmaz elemeiből álló véges y_{j_{1}}, …, y_{j_{n}} sorozatokat szavaknak. Minden x_{i} ∈ X elemnek meg akarunk feleltetni egy u(x_{i}) = y_{j_{1}}^{(i)}, …, y_{j_{n(i)}}^{(i)} n(i) hosszúságú Y halmaz elemeiből

álló sorozatot, amelyet az x_{i} sorozat nevének fogunk nevezni. Úgy kívánjuk ezt a megfeleltetést csinálni, hogy ha egymás után felsorolják nekünk egy x_{i_{1}}, …, x_{i_{l}} sorozat elemeinek u(x_{i_{1}}), …, u(x_{i_{l}}) neveit, akkor képesek legyünk ennek alapján az x_{i_{1}}, …, x_{i_{l}} sorozatot egyértelműen rekonstruálni. Az ilyen x_{i} → u(x_{i}), x_{i} ∈ X, leképezéseket egyértelműen dekódolható kódolásoknak fogjuk nevezni. Ennek pontos definicióját alább ismertetem. Azzal a kérdéssel fogunk foglalkozni, hogy milyen kicsivé tudjuk tenni egy egyértelműen dekódolható x_{i} → u(x_{i}), 1 ≤ i ≤ M, kódolás n(i) hosszának a

várható értékét, azaz a ∑_{i=1}^{M} p(i)n(i) mennyiséget.

Az egyértelműen dekódolható kódolás definiciója. Legyen X = {x_{1}, x_{2}, … } egy véges vagy megszámlálhatóan végtelen számosságú halmaz és Y = {y_{1}, …, y_{d}} egy másik d elemszámú halmaz (ABC). Egy az X halmaz elemeit az Y halmaz elemeiből álló véges elemszámú u(x_{i}) = y_{j_{1}}^{(i)} … y_{j_{n(i)}}^{(i)} sorozatokba képező leképezését az X halmaznak az Y ABC szavaival végzett egyértelműen dekódolható kódolásának nevezünk, ha minden x_{i_{1}}, …, x_{i_{l}}, l = 1, 2, …, x_{i_{j}} ∈ X, 1 ≤ j ≤ l, sorozatnak az u(x_{i_{1}}), …, u(x_{i_{l}}) sorozatot megfeleltetve teljesül az u(x_{i_{1}}), …, u(x_{i_{l_{1}}} ) ≠ u(x′_{i_{1}}), …, u(x′_{i_{l_{2}}} ) reláció, ha x_{i_{1}}, …, x_{i_{l_{1}}} ≠ x′_{i_{1}}, …, x′_{i_{l_{2}}} . (Megjegyzem, hogy az u(x_{i}) sorozat n(i) hossza függhet az x_{i} ∈ X elemtől.)

Először az eredeti kódolási feladattal foglalkozom. Megfogalmazom azt az eredményt, amely megadja, hogy milyen N(n) elemszámú A(n) ⊂ V^{n} halmaz segítségével lehet megadni valamely független, egyforma eloszlású ξ_{1}, …, ξ_{n} valószínűségi változókból álló forrásnak egy ε-nál kisebb hibájú, azaz a (2.1) relációt teljesítő f(·) kódolását és g(·) dekódolását. A most ismertetett tétel valójában az előző fejezet bizonyos eredményeinek egyszerű következménye.

Tétel független, egyforma eloszlású valószínűségi változókból álló forrás kis hibájú kódolásáról és dekódolásáról. Legyen ξ egy értékeit valamely véges vagy megszámlálhatóan végtelen számosságú X = {x_{1}, x_{2}, … } halmazon fölvevő valószínűségi változó, ξ_{1}, …, ξ_{n} pedig független, a ξ valószínűségi változóval azonos eloszlású valószínűségi változók sorozata. Legyen ezenkívül adva egy V = {v_{1}, v_{2}, … } halmaz. Jelölje X^{n} az X halmazból, V^{n} a V halmaz elemeiből álló n hosszúságú sorozatok halmazát. Válasszunk egy N = N(n) elemszámú A = A(n) ⊂ V^{n} halmazt. Minden ε > 0 és δ > 0 számhoz létezik n_{0} = n_{0}(ε, δ) küszöbindex úgy, hogy ha n ≥ n_{0} és N(n) ≥ 2^{(1+δ)H(ξ)n}, akkor léteznek olyan f: X^{n} → A(n) és g: A(n) → X^{n} függvények, amelyekre P (g(f(ξ_{1}, …, ξ_{n})) = (ξ_{1}, …, ξ_{n})) ≥ 1 − ε. Megfordítva, ha N(n) ≤ 2^{(1−δ)H(ξ)n}, és n ≥ n_{0}(ε, δ) akkor minden f: X^{n} → A(n) és g: A(n) → X^{n} függvénypárra P (g(f(ξ_{1}, …, ξ_{n})) = (ξ_{1}, …, ξ_{n})) ≤ ε.

Bizonyítás. Láttuk a független valószínűségi változókból álló tipikus sorozatok számáról szóló tétel bizonyításában (ha megszámlálhatóan végtelen számosságú halmazokkal akarunk dolgozni, akkor e tételnek a kiegészítésben tárgyalt általánosítását kell tekintenünk), hogy n ≥ n_{0}(ε, δ) esetén létezik olyan B ⊂ X^{n} halmaz, amelyre az B halmaz kevesebb, mint 2^{(1+δ)H(ξ)n} elemet tartalmaz, és P ((ξ_{1}, …, ξ_{n}) ∈ B) ≥ 1−ε. Válasszunk egy ilyen B halmazt, és soroljuk fel az elemeit, mint B = {x_{1}^{(n)}, x_{2}^{(n)}, …, x_{N̄(n)}^{(n)}} valamely N̄(n) ≤ 2^{(1+δ)nH(ξ)} számmal. Soroljuk fel az A(n) halmaz elemeit is, mint A(n) = {v_{1}^{(n)}, v^{(n)}, …, v_{N(n)}^{(n)}}. Ha N(n) ≥ 2^{(1+δ)H(ξ)n}, és n ≥ n_{0}(ε, δ) akkor N̄(n) ≤ N(n). Definiáljuk ebben az esetben az f(x) függvényt egy olyan x = (x_{1}, …, x_{n}) ∈ X^{n} elemre, amelyre x ∈ B, és ezért felírható x = x_{k}^{(n)}, 1 ≤ k ≤ N̄(n), alakban, úgy mint f(x) = f(x_{k}^{(n)}) = v_{k}^{(n)}. Ha x ∉ B, legyen f(x) = v_{1}^{(n)}. Definiáljuk a g(v_{k}^{(n))}) függvényt, mint g(v_{k}^{(n)}) = x_{k}^{(n)}, ha k ≤ N̄(n). Ha N̄(n) < k ≤ N(n), akkor a g(v_{k}^{(n)}) függvényt tetszőleges módon definiálhatjuk. Ilyen választással P (g(f(ξ_{1}, …, ξ_{n})) = (ξ_{1}, …, ξ_{n})) ≥ P ((ξ_{1}, …, ξ_{n}) ∈ B) ≥ 1 − ε.

A tétel második felének bizonyításában azt használjuk ki, hogy n ≥ n_{0} esetén létezik olyan B̄ ⊂ X^{n} halmaz, amelyre P ((ξ_{1}, …, ξ_{n}) ∈ B̄) ≥ 1 − \frac{ε}{2}, és a B̄ halmaz elemei viszonylag nagy valószínűséggel jelennek meg. Pontosabban, P ((ξ_{1}, …, ξ_{n}) = (x_{j_{1}}, …, x_{j_{n}})) ≤ 2^{−(1− \frac{δ}{2} )H(ξ)n} az (x_{j_{1}}, …, x_{j_{n}}) ∈ B̄ vektorokra. Ha N(n) ≤ 2^{(1−δ)H(ξ)n} esetén is lenne olyan f(·), g(·) függvénypár, amelyre P (g(f(ξ_{1}, …, ξ_{n})) = (ξ_{1}, …, ξ_{n})) ≥ ε, akkor létezne olyan B_{0} ⊂ X^{n} halmaz, amelyre P ((ξ_{1}, …, ξ_{n}) ∈ B_{0}) ≥ ε, és az összes x = (x_{j_{1}}, …, x_{j_{n}}) ∈ B_{0} vektor f(x) ∈ A(n) képe különböző lenne. (A B_{0} halmazt úgy választhatjuk, mint azon x ∈ X^{n} vektorok halmazát, amelyekre g(f(x)) = x.)

Ekkor az is igaz lenne, hogy P ((ξ_{1}, …, ξ_{n}) ∈ B_{0} ∩ B̄) ≥ \frac{ε}{2}, és minden x ∈ B_{0} ∩ B̄ vektorra P ((ξ_{1}, …, ξ_{n}) = x) ≤ 2^{−(1− \frac{δ}{2} )H(ξ)n}. Innen következne, hogy az B_{0} ∩B̄ halmaz elemszáma nagyobb, mint \frac{ε}{2}2^{(1− \frac{δ}{2} )H(ξ)n} > 2^{(1−δ)H(ξ)n}, ha n ≥ n_{0}(ε, δ). Ez ellentmond annak, hogy minden x ∈ B_{0} ∩ B̄ vektor f(x) ∈ A(n) képe különböző, mert az A(n) halmaz elemszáma N(n) ≤ 2^{(1−δ)H(ξ)n}.

Megjegyzés. Mivel a tekintett ξ_{1}, ξ_{2}, … sorozat független és egyforma eloszlású valószínűségi változókból áll, ezért az előző tétel eredményét alkalmazhatjuk nemcsak a (ξ_{1}, …, ξ_{n}) hanem a (ξ_{ln+1}, …, ξ_{(l+1)n}) sorozatra is minden l = 1, 2, … indexre. Ezért a (2.1) reláció is teljesül egy alkalmas f(·), g(·) függvénypárral, ha az A(n) halmaz N(n) elemszámára N(n) ≥ 2^{(1+δ)H(ξ)n}, és n ≥ n_{0}(ε, δ). Továbbá P (g(f(ξ_{ln+1}, …, ξ_{(l+1)n})) = (ξ_{ln+1}, …, ξ_{(l+1)n})) ≤ ε minden l = 0, 1, … indexre és f, g függvénypárra, ha N(n) ≤ 2^{(1−δ)H(ξ)n}, és n ≥ n_{0}(ε, δ).

Rátérek az egyértelműen dekódolható kódok vizsgálatára. Azt vizsgáljuk, hogyan lehet egy M elemből álló X = {x_{1}, …, x_{M}} halmaz elemeit, pontosabban ezen elemekből álló sorozatokat hibátlanul kódolni és dekódolni viszonylag rövid kódokkal egy d elemű Y = {y_{1}, …, y_{d}} ABC segítségével. Az általánosság megszorítása nélkül feltehetjük, hogy Y = {1, …, d}. Érdemes bevezetni a következő fogalmat.

Prefix kódok definiciója. Legyen adva egy X = {x_{1}, …, x_{M}} halmaz, és egy Y = {1, …, d} ABC. Feleltessünk meg minden x_{i} ∈ X elemnek egy u(x_{i}) = j_{1}^{(i)}, … j_{n(i)}^{(i)},

1 ≤ j_{s}^{(i)} ≤ d, 1 ≤ s ≤ n(i), sorozatot. Azt mondjuk, hogy ez a megfeleltetés az X halmaz elemeinek prefix kódja, ha nincs olyan x_{p} ∈ X, x_{q} ∈ X pár, amelyre az u(x_{p}) sorozat az u(x_{q}) sorozat megszorítása annak elejére, azaz semmilyen x_{p}, x_{q} párra nem lehet megkapni az u(x_{p}) sorozatot úgy, hogy alkalmas számú jelet letörlünk az u(x_{q}) sorozat végéről.

Fontos lesz számunkra az alábbi lemmában megfogalmazott egyszerű észrevétel.

Lemma a prefix kódok egy tulajdonságáról. Minden prefix kód egyértelműen dekódolható kód.

Bizonyítás. Ha egy x_{1}, …, x_{n} sorozatnak egy u(x_{1}), u(x_{2}), …, u(x_{n}) prefix kód felel meg, akkor a prefix tulajdonság alapján meg tudjuk állapítani, hol fejeződik be e sorozatban az u(x_{1}), sorozat, és így azonosítható az x_{1} jel. Ezután rekurzív módon meg tudjuk határozni egymás után az x_{2}, x_{3}, … értéketet is.

Léteznek nem prefix, de egyértelműen dekódolható kódok. Például, ha X két elemű halmaz, és D = {1, 2} választhatjuk x_{1} kódjának az 1, x_{2} kódjának az 1,2 sorozatot. Vagy x_{1} kódjának az 1, x_{2} kódjának az 1, …, 1, 2 sorozatot, ahol az 1 jeleknek egy n hosszúságú sorozatát vettük a 2 jel előtt egy tetszőleges (ismert) pozitív egész n számmal. Ezek egyértelműen dekódolható, de nem prefix kódok. Viszont, mint látni fogjuk, minden egyértelműen dekódolható kódhoz lehet találni egy legalább ugyanolyan jó prefix kódot, ezért figyelmünket koncentrálhatjuk a prefix kódokra. Ezeknek megvan az az előnyük is, hogy gyorsan dekódolhatóak. Ha egymás után megérkeznek az x_{j_{1}}, x_{j_{2}}, …, jelek prefix kódjai, akkor mihelyt megérkezett egy jel kódja, azonnal dekódolhatjuk azt. Nem prefix, de egyértelműen dekódolható kódok esetében a helyzet bonyolultabb. Például, ha a két elemű X halmaz x_{1} elemének a kódszava 1, az x_{2} elem kódszava 1, …, 1, 2, (n darab 1 jellel), akkor egy 1 jel megérkezése után lehet, hogy még n jel megérkezését is meg kell várni, és csak azután tudjuk eldönteni, hogy ez az 1-es jel az x_{1} kódszava vagy az x_{2} kódszavának az első eleme volt-e. Egyébként létezik egy módszer annak eldöntésére, hogy mikor dekódolható egy kód egyértelműen, (lásd (Robert Ash: Information theory, Theorem 2.2.1), de erre a meglehetősen bonyolultan bizonyítható eredményre nem lesz szükségünk. Ezért azt nem tárgyalom.

A következő eredményben, amelyet Kraft–egyenlőtlenségnek is hívnak az irodalomban, megadjuk, hogy milyen hosszúak lehetnek egy prefix kód kódszavai.

Tétel egy prefix kód szavainak lehetséges hosszáról. (Kraft egyenlőtlenség.) Legyen X = {x_{1}, …, x_{M}} egy M elemű halmaz, és legyen u(x_{i}), 1 ≤ i ≤ M, e halmaz egy prefix kódja az Y = {1, …, d} d-elemű ABC-vel. Jelölje n(i) az u(x_{i}) szó kódhosszát.

Ekkor teljesül a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenség. Megfordítva, ha az n(i), 1 ≤ i ≤ M,

pozitív egész számok sorozata teljesíti a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenséget, akkor létezik az

X halmaz elemeinek olyan u(x_{i}), 1 ≤ i ≤ M, prefix kódja az Y = {1, …, d} d-elemű ABC-vel, amelyre az u(x_{i}) szó kódhossza n(i).

Bizonyítás. Feltehetjük, hogy az x_{i} ∈ X elemek úgy vannak indexelve, hogy n(1) ≤ n(2) ≤ ⋯ ≤ n(M). Ha adva van egy u(x_{i}), 1 ≤ i ≤ M, prefix kód, akkor minden egyes u(x_{i}) kódszónak feleltessük meg az összes olyan n(M) hosszúságú, az Y = {1, …, d} halmaz elemeiből álló sorozatok halmazát, amely sorozatok az u(x_{i}) kódszó folytatásai. Az u(x_{i}) kódszónak d^{n(M)−n(i)} ilyen folytatása van, és az u(·) kód prefix tulajdonsága miatt íly módon csupa különböző n(M) hosszúságú az {1, …, d} halmaz elemeiből álló

sorozatot kapunk. Mivel összesen d^{n(M)} ilyen sorozat van, ezért ∑_{i=1}^{M} d^{n(M)−n(i)} ≤ d^{n(M)}.

Innen d^{n(M)}-mel osztva megkapjuk a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenséget.

Ha adva van egy 1 ≤ n(1) ≤ n(2) ≤ ⋯ ≤ n(M) a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenséget

teljesítő sorozat, akkor a következő módon tudunk a kívánt hosszúságú kódszavakból álló prefix kódot konstruálni. Legyen u(x_{1}) tetszőleges n(1) hosszúságú az Y = {1, …, d} halmaz elemeiből álló sorozat. Az i változó szerinti indukcióval definiáljuk az u(x_{i}) kódszavakat úgy, hogy az u(x_{1}), …, u(x_{i}) kódszavak az X_{i} = {x_{1}, x_{2}, …, x_{i}} halmaz prefix kódját alkossák. Ha az i − 1 indexre találtunk ilyen kódszavakat, akkor a prefix tulajdonság megőrzéséhez az indukció i-ik lépésében elég olyan n(i) hosszúságú u(x_{i}) kódszót találni, amely nem folytatása egyik u(x_{j}), 1 ≤ j ≤ i − 1, kódszónak sem. Ez azt jelenti, hogy az d^{n(i)} darab n(i) hosszúságú, az Y = {1, …, d} halmaz elemeiből

álló sorozat közül ∑_{j=1}^{i−1} d^{n(i)−n(j)} sorozat választása van tiltva. Akkor tudunk egy kívánt tulajdonságú u(x_{i}) sorozatot (kódszót) választani, ha ∑_{j=1}^{i−1} d^{n(i)−n(j)} < d^{n(i)}, azaz, ha

∑_{j=1}^{i−1} d^{−n(j)} < 1. Az adott feltétel mellett ez a tulajdonság minden 2 ≤ i ≤ M indexre teljesül. Ezzel beláttuk a tétel második állítását is.

A következő eredmény azt állítja, hogy adott szóhosszúságú kódszavakkal rendelkező prefix kódok létezésének ugyanaz a feltétele, mint annak, hogy létezzen ilyen hosszúságú kódszavakkal rendelkező egyértelműen dekódolható kód.

Tétel egyértelműen dekódolható kódok létezésének szükséges feltételéről. Legyen X = {x_{1}, …, x_{M}} egy M elemű halmaz, és legyen u(x_{i}) e halmaz egy egyértelműen dekódolható kódja az Y = {1, …, d} d-elemű ABC-vel. Ekkor az u(x_{i}) kódszavak

n(i) kódhosszai teljesítik a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenséget.

Bizonyítás. Jelölje ω_{j} azon x_{i} ∈ X, 1 ≤ i ≤ M, pontok számát, amelyek u(x_{i})

kódszavának a hossza n(i) = j, és legyen r = sup_{1≤i≤M} n(i). Ezzel a jelöléssel ∑_{i=1}^{M} d^{−n(i)} =

∑_{j=1}^{r} ω_{j}d^{−j}, és a bizonyítandó egyenlőtlenség ∑_{j=1}^{r} ω_{j}d^{−j} ≤ 1 alakban is írható. Ezen

egyenlőtlenség igazolása érdekében vegyünk egy pozitív egész p számot, és írjuk fel a

(∑_{j=1}^{r} ω_{j}d^{−j})^{p} = (ω_{1}d^{−1} + ⋯ + ω_{r}d^{−r})^{p} = ∑_{k=p}^{pr} N_{k}d^{−k}

azonosságot, ahol

N_{k} = ∑_{(i_{1},...,i_{p}): i_{1}+···+i_{p}=k} ω_{i_{1}} … ω_{i_{p}}, p ≤ k ≤ pr.

Azt állítom, hogy teljesül az N_{k} ≤ d^{k} egyenlőtlenség minden p ≤ k ≤ pr indexre. Valóban, az ω_{i_{1}} … ω_{i_{p}} szorzat azon u(x_{l_{1}}), …, u(x_{l_{p}}) kódszósorozatok számával egyenlő, amelyekre n(l_{1}) = i_{1}, …, n(l_{p}) = i_{p}. Ezért N_{k} egyenlő azon u(x_{l_{1}}), …, u(x_{l_{p}}) kódszósorozatok számával, amelyek összhossza k-val egyenlő. Az egyértelmű dekódolhatóság miatt az összes előbb felsorolt kódszósorozat különböző, ezért számuk kisebb, mint az összes lehetséges k hosszúságú az Y = {1, …, d} halmaz elemeit tartalmazó sorozat száma. Ezért N_{k} ≤ d^{k}, amint állítottuk.

A fenti összefüggésekből következik, hogy

(∑_{j=1}^{r} ω_{j}d^{−j})^{p} ≤ ∑_{k=p}^{pr} d^{k} · d^{−k} = (p(r − 1) + 1) ≤ pr,

ezért

∑_{j=1}^{r} ω_{j}d^{−j} ≤ (pr)^{1/p} minden p = 1, 2, … számra.

Innen p → ∞ határátmenetet véve azt kapjuk, hogy

∑_{j=1}^{r} ω_{j}d^{−j} ≤ lim_{p→∞}(pr)^{1/p} = 1,

ahonnan következik a tétel állítása.

A bizonyítás gondolatának jobb megértése érdekében érdemes megjegyezni, hogy a

( ∑_{j=1}^{r} ω_{j}d^{−j})^{p} kifejezés becslésében felhasznált N_{k} ≤ d^{k} egyenlőtlenség indoklása azon

alapult, hogy a k ≤ pr hosszúságú kódszavak egyértelműen dekódolhatóak. A tekintett kód egyértelmű dekódolhatóságát, azt, hogy a hosszú x_{l_{1}}, …, x_{l_{p}} sorozatok kódjai is egyértelműen dekódolhatók a p → ∞ határátmenet alkalmazásakor használtuk ki.

Legyen adva egy ξ valószínűségi változó, amely értékeit egy X = {x_{1}, …, x_{M}} halmazon veszi fel, és P (ξ = x_{i}) = p(i), 1 ≤ i ≤ M. Legyen u(x_{i}), x_{i} ∈ X, az X halmaz elemeinek egy olyan kódja, amelyre u(x_{i}) egy n(i) hosszúságú az Y = {1, …, d} halmaz elemeiből álló sorozat. Jelölje |u(ξ)| a ξ valószínűségi változó u(ξ) kódjának a hosszát, azaz, ha ξ = x_{i}, akkor bevezetve az |u(x_{i})| = n(i) jelölést azt írhatjuk, hogy u(ξ) = u(x_{i}), és |u(ξ)| = n(i). Az u(ξ) véletlen kódszó |u(ξ)| hosszának a várható értéke

E|u(ξ)| = ∑_{i=1}^{M} p(i)n(i). Az u(ξ) véletlen kódszó hosszának a várható értékére kívánunk

jó alsó becslést adni, ha u(x_{i}), x_{i} ∈ X prefix, illetve általánosabban, ha az egyértelműen dekódolható kód. Ezenkívül jó felső becslést is akarunk adni egy jól választott prefix kód hosszának a várható értékére.

Tudjuk, hogy akkor és csak akkor létezik n(i), 1 ≤ i ≤ M, hosszú, az Y = {1, …, d} ABC-t használó kódszavakkal rendelkező prefix, illetve általánosabban egyértelműen

dekódolható kód, ha teljesül a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 egyenlőtlenség. Ezért problémánk ahhoz

az egész-értékű szélsőérték feladathoz vezet, hogy keressük meg a ∑_{i=1}^{M} p(i)n(i) kifejezés

(majdnem) optimumát a ∑_{i=1}^{M} d^{−n(i)} ≤ 1 feltétel mellett. Ezen optimalizációs probléma

vizsgálatában hasznos az alábbi becslés, amelyet I-divergencia típusú becslésnek fogok hívni. Ugyanis, mint egy megjegyzésben elmagyarázom, ez a becslés tekinthető, úgy mint az információelmélet egyik fontos, a később bevezetendő I-divergenciáról szóló becslésének a speciális esete.

Egy I-divergencia típusú becslést megfogalmazó lemma. Legyen a_{1}, a_{2}, … és b_{1}, b_{2}, … két véges vagy végtelen, ugyanannyi elemet tartalmazó sorozat, amelyekre a_{i} ≥ 0, b_{i} ≥ 0 minden i indexre, és a = ∑_{i} a_{i} < ∞, 0 < b = ∑_{i} b_{i} < ∞. Ekkor

∑_{i} a_{i} log \frac{a_{i}}{b_{i}} ≥ a log \frac{a}{b}.

Egyenlőség akkor és csak akkor érvényes, ha elhagyva azon (a_{i}, b_{i}) párokat, amelyekre a_{i} = b_{i} = 0 \frac{a_{i}}{b_{i}} = \frac{a}{b} minden i indexre. (Ezen egyenőtlenségben az x · log \frac{0}{x} = 0, ha x ≥ 0, és x · log \frac{x}{0} = ∞, ha x > 0 konvenciót alkalmazzuk.)

Bizonyítás. Fel fogjuk használni, hogy az első fejezetben bevezetett és vizsgált g(x) = x log x, x ≥ 0, függvény konvex. A g(x) függvény a konvexitását az u_{i} = \frac{a_{i}}{b_{i}} koordináták, és p_{i} = _{\frac{b_{i}}{∑_{i} b_{i}}} = \frac{b_{i}}{b} súlyok választásával fogom alkalmazni. (Nyilván p_{i} ≥ 0, és ∑_{i} p(i) =

1.) A g(x) függvény konvexitását felhasználva azt kapjuk, hogy

∑_{i} a_{i} log \frac{a_{i}}{b_{i}} = b ∑_{i} p_{i}g(u_{i}) ≥ bg (∑_{i} p_{i}u_{i}) = bg (\frac{a}{b}) = a log \frac{a}{b}.

A g(·) szigorú konvexitásából következik, hogy egyenlőség csak a lemmában megadott esetben van.

Megjegyzés. A fenti lemmát könnyen redukálni lehet arra a speciális esetre, amikor ∑_{i} a_{i} = ∑_{i} b_{i} = 1. (Azt használhatjuk ki, hogy a bizonyítandó egyenlőtlenség két oldalának különbsége az α illetve β paraméter homogén függvénye, ha az a_{i} számokat αa_{i} vagy a b_{i} számokat βb_{i} számokkal helyettesítjük valamely α > 0 és β > 0 számmal.) Ebben az esetben az egyenlőtlenség jobboldalán 0 áll. Ez a redukált egyenlőtlenség felfogható az alábbi egyenlőtlenség speciális esetének. Legyen μ és ν két valószínűségi mérték ugyanazon az (X, X) mérhető téren, és legyen a ν mérték abszolút folytonos a μ mértékre nézve. Jelölje \frac{dν}{dμ} a ν mértéknekek a μ mérték szerinti Radon–Nikodym deriváltját. Ekkor ∫_{X} log \frac{dν}{dμ}(x) dν(x) ≥ 0. Ez az egyenlőtlenség tekinthető úgy, mint a később bevezetendő I-divergencia egy fontos tulajdonsága. Egyébként ez az egyenlőtlenség a lemmához hasonlóan bizonyítható.

A most ismertetett lemma segít az alábbi eredmény bizonyításában.

Tétel egyértelműen dekódolható és prefix kódok hosszának várható értékéről. Vegye fel egy ξ valószínűségi változó értékeit egy X = {x_{1}, …, x_{M}} halmazon, amelynek az eloszlását a P (ξ = x_{i}) = p(i), 1 ≤ i ≤ M, képlet adja meg. Legyen u(x_{i}), x_{i} ∈ X, az X halmaznak egy az Y = {1, …, d} halmaz segítségével definiált prefix, vagy általánosabban, egyértelműen dekódolható kódja, és jelölje n(i) az u(x_{i}) kódszó szóhosszát. Ekkor az u(ξ) véletlen kódszó |u(ξ)| hosszának a várható értéke teljesíti az

E|u(ξ)| = ∑_{i=1}^{M} p(i)n(i) ≥ \frac{H(ξ)}{log d}

egyenlőtlenséget. Megfordítva, létezik az X halmaznak olyan prefix kódja, amelyre

E|u(ξ)| = ∑_{i=1}^{M} p(i)n(i) ≤ \frac{H(ξ)}{log d} + 1.

Bizonyítás. Legyen u(x_{i}), 1 ≤ i ≤ M, az X halmaznak az Y = {1, …, d} ABC segítségével definiált egyértelműen dekódolható kódja, és legyen n(i) az u(x_{i}) kódszó

kódhossza. Tudjuk, hogy ekkor ∑_{i=1}^{M} d^{−n(i)} ≤ 1. Alkalmazzuk az előző lemmában bi-

zonyított egyenlőtlenséget a_{i} = p(i) és b_{i} = d^{−n(i)}, 1 ≤ i ≤ M, választással. Ekkor

a = ∑_{i=1}^{M} a_{i} = 1, és b = ∑_{i=1}^{M} b_{i} ≤ 1, ahonnan

∑_{i=1}^{M} p(i) log(p(i)d^{n(i)}) = ∑_{i=1}^{M} a_{i} log \frac{a_{i}}{b_{i}} ≥ a log \frac{a}{b} ≥ 0.

Tehát log d · ∑_{i=1}^{M} n(i)p(i) ≥ − ∑_{i=1}^{M} p(i) log p(i), azaz log d · E|u(ξ)| ≥ H(ξ), és ezt kellett

belátni.

Láttuk, hogy a tétel második felének igazolása érdekében olyan n(i), 1 ≤ i ≤

M, pozitív egész számokat kell találnunk, amelyekre ∑_{i=1}^{M} d^{−n(i)} ≤ 1, és az E|u(ξ)| =

∑_{i=1}^{M} p(i)n(i) várható érték viszonylag kicsi. Természetes olyan n(i) számokat választani,

amelyekre az E|u(ξ)| várható értékre adott alsó becslés bizonyításában felhasznált Idivergencia típusú becslést megfogalmazó lemmában szereplő egyenlőtlenség majdnem egyenlőséggel teljesül. Ezért válasszunk olyan n(i) egész számokat, amelyekre d^{−n(i)} ≤ p(i), és a d^{−n(i)} szám olyan közel van a p(i) számhoz, amennyire ez a feltétel megengedi. Ennek alapján a következő választást tesszük. Legyen minden 1 ≤ i ≤ M indexre n(i) az

az egész szám, amelyre \frac{p(i)}{d} ≤ d^{−n(i)} ≤ p(i). Ekkor ∑_{i=1}^{M} d^{−n(i)} ≤ ∑_{i=1}^{M} p(i) = 1, azaz létezik

a kívánt hosszúságú kódszavakkal rendelkező prefix kód. Másrészt n(i) ≤ −\frac{log p(i)}{log d} + 1,

és ezért E|u(ξ)| = ∑_{i=1}^{M} p(i)n(i) ≤ − ∑_{i=1}^{M} \frac{p(i) log p(i)}{log d} + ∑_{i=1}^{M} p(i) = \frac{H(ξ)}{log d} + 1, tehát e prefix

kód hosszának a várható értéke teljesíti a kívánt egyenlőtlenséget.

Az egyértelműen dekódolható és prefix kódok hosszának várható értékéről szóló tétel felső becslésének bizonyításában definiált prefix kód hossza közel van az optimumhoz, de nem feltétlenül egyenlő vele. Ugyanakkor ismert az optimális, úgynevezett Huffman kód konstrukciója is. (Lásd Robert Ash: Information Theory, Lemma 2.6.2), amely eléggé bonyolult. Ezért e kód tulajdonságai nehezen vizsgálhatóak, és jelentősége korlátozott. Emiatt mi a Huffman kódot nem tárgyaljuk.

Hasonló jelenséggel találkoztunk, amikor független valószínűségi változók n hosszúságú sorozataiból álló viszonylag kis elemszámú majdnem 1 valószínűségű, alkalmasan definiált halmazok elemszámát becsültük. Ott sem az optimális halmaz elemszámát becsültük. Ez a legvalószínűbb sorozatok alkalmas elemszámú halmaza lett volna. Ehelyett egy olyan csak aszimptotikusan optimális halmazt tekintettünk, amelynek elemszámát a nagy számok törvénye segítségével jól tudtuk becsülni.

Megjegyzés. A most bizonyított eredmények viszonylag rövid, hibátlanul dekódolható forráskódolást biztosítanak prefix kódok segítségével. Gyakorlati szempontból azonban a most ismertetett prefix kódok eredeti formájukban nem jól használhatóak. A fő probléma az, hogy ha egy prefix kód dekódolása során egyszer hibáztunk, akkor ennek a hibának a következtében az összes további üzenet dekódolása hibás lehet. Ugyanis nem tudjuk, hogy az üzenet további dekódolandó jelei hol kezdődtek. Az ilyen problémák leküzdésére érdemes olyan kissé lassúbb módszereket kidolgozni, amelyekbe bizonyos javítási lehetőségeket építenek be. Az ilyen, úgynevezett ‘error correcting codes’ módszereknek külön elmélete van. Ezzel azonban itt nem foglalkozunk.

3. Csatorna kódolás és dekódolás.

E fejezet fő témája az a kérdés, hogy hogyan lehet egy a jeleket esetleg hibával közvetítő csatornán keresztül viszonylag biztosan és gyorsan üzeneteket átadni. A következő fejezetben tárgyalom azt a kérdést, hogy az ebben és az előző fejezetekben bizonyított eredmények segítségével hogyan lehet egy hírforrás közvetítését egy csatornán keresztül jól továbbítani.

Egy üzenetnek egy (hírközlési) csatorna segítségével végrehajtott továbbadása azt jelenti szemléletesen, hogy a csatorna bemeneti végén leadnak egy jelet, és ennek hatására valamilyen másik jel jelenik meg a csatorna másik, kimeneti végén. A kimeneti jel értéke függhet a véletlentől, és az, hogy a kimeneti oldalon milyen valószínűséggel milyen jel jelenik meg, attól függ, hogy mi volt a bemeneti jel. Egy felhasználó, aki a kimeneti jelet megismeri, megpróbál ennek alapján visszakövetkeztetni a leadott bemeneti jelre. Olyan eljárást akarunk kidolgozni a csatorna tulajdonságainak az ismeretében, amely lehetővé teszi, hogy a felhasználó viszonylag nagy valószínűséggel helyesen következtessen a leadott bemeneti jelre akkor is, ha a bemeneti jelek száma viszonylag nagy. Fogalmazzuk meg ezt a vázlatosan leírt problémát pontosabban. Ennek érdekében bevezetem először a (hírközlési) csatorna fogalmát.

(Hírközlési) csatorna és e csatorna által összekapcsolt valószínűségi változók definiciója. Legyen adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálhatóan végtelen halmaz. Egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűség függvényt a V és Ṽ halmaz közötti csatornának nevezünk. Az, hogy a p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ függvény átmenetvalószínűség függvény azt jelenti, hogy p(ṽ_{j}|v_{i}) ≥ 0 minden v_{i} ∈ V és ṽ_{j} ∈ Ṽ párra, és ∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i}) = 1 minden v_{i} ∈ V elemre. A V halmazt

a csatorna bemeneti, a Ṽ halmazt a csatorna kimeneti oldalának fogjuk hívni, a v_{i} ∈ V pontokat bemeneti, a ṽ_{j} ∈ Ṽ pontokat pedig kimeneti jeleknek fogjuk nevezni. Azt mondjuk hogy két η és η̃ valószínűségi változó össze van kapcsolva a p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, csatornával ha η(ω) ∈ V, η̃(ω) ∈ Ṽ minden ω elemi eseményre, és P (η̃ = ṽ_{j}|η = v_{i}) = p(ṽ_{j}|v_{i}) minden v_{i} ∈ V és ṽ_{j} ∈ Ṽ elempárra.

Ha egy csatornán leadunk valamely v_{i} ∈ V bemeneti jelet, akkor a felhasználó p(ṽ_{j}|v_{i}) valószínűséggel kapja a ṽ_{j} kimeneti jelet. Ezen kimeneti jel segítségével próbálja megtalálni a bemeneti jel értékét. Ennek érdekében természetes a következő típusú eljárás alkalmazása. A bemeneti oldalon alkalmas módon kiválasztunk néhány v_{i_{1}} ∈ V, …, v_{i_{N}} ∈ V elemet bizonyos N elemszámmal, és ezen jelek valamelyikét adjuk le a csatornán. Ezeknek a bemeneti jeleknek a kiválasztását nevezzük csatorna kódolásnak. Úgy kívánjuk ezt a kiválasztást végrehajtani, hogy az egyes kiválasztott elemeket a csatornán leadva, azok nagy valószínűséggel különböző halmazokba essenek. Ez a következőt jelenti. Ha egy v_{i} ∈ V jelet leadunk a csatornán, akkor jelölje az η̃(v_{i}) valószínűségi változó a kimenő jel értékét. Olyan v_{i_{1}} ∈ V, …, v_{i_{N}} ∈ V elemeket akarunk a kódolásban választani, amelyekhez találhatóak olyan diszjunt B_{1} ⊂ Ṽ, …, B_{N} ⊂ Ṽ diszjunkt halmazok, amelyekre a P (η̃(v_{i_{k}}) ∈ B_{k}) valószínűségek minden 1 ≤ k ≤ N indexre viszonylag nagyok. Ha a kimeneti oldalon egy olyan ṽ_{j} jel jelent meg, amelyre ṽ_{j} ∈ B_{k}, akkor tekintse a felhasználó a v_{i_{k}} jelet a bemeneti jelnek. A B_{k}, 1 ≤ k ≤ N, halmazok kiválasztását és a B_{k} → v_{i_{k}} leképezés megadását csatorna

dekódodolásnak nevezzük. E definiciót úgy adtam meg, hogy amennyiben ṽ_{j} ∉ ⋃_{i=k}^{N} B_{k}

akkor az itt ismertetett eljárás szerint nem dekódoljuk a ṽ_{j} kimenetet. Az azonban, hogy ezt az elvet követjük-e, vagy olyan eljárást adunk, amelyikben mindig tudunk dekódolni csak apró ízlésbeli kérdés. A B_{k} halmazok kiterjesztésével ugyanis azt is elérhetjük, hogy ezek a halmazok ne csak diszjunktak legyenek, hanem egyben a Ṽ halmaz egy particióját is szolgáltassák. Ilyen választással minden kimenetet tudunk dekódolni, és az eljárásban a jó dekódolás valószínűsége a B_{k} halmazok kiterjesztése által nem csökkent. Célunk viszonylag sok kódszó kiválasztása úgy, hogy a dekódolás nagy valószínűséggel jó legyen. A későbbi eredmények pontos megfogalmazásának az érdekében vezessük be a következő definiciót.

Egy csatorna által λ megkülönböztethető elemekből álló halmaz definiciója. Legyen adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálhatóan végtelen halmaz és köztük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ csatorna. Ha egy v_{i_{1}} ∈ V, …, v_{i_{N}} ∈ V sorozat elemeihez léteznek olyan B_{1} ⊂ Ṽ, … B_{N} ⊂ Ṽ diszjunkt halmazok, amelyekre

P (B_{k}|v_{i_{k}}) = ∑_{j∈B_{k}} p(ṽ_{j}|v_{i_{k}}) ≥ 1 − λ minden 1 ≤ k ≤ N indexre,

akkor azt mondjuk, hogy az A = {v_{i_{1}}, …, v_{i_{N}} } halmaz elemei λ megkülönböztethetőek.

Megjegyzés. Az előbbi definicióban felírt egyenlőtlenséget úgy is megfogalmazhatjuk, hogy amennyiben η és η̃ két a csatornával összekapcsolt valószínűségi változó, akkor

P (η̃ ∈ B_{k}|η = v_{i_{k}}) ≥ 1 − λ minden 1 ≤ k ≤ N indexre.

A későbbiekben többször ezt a jellemzését fogjuk használni az egy csatorna által λ megkülönböztethető elemekből álló halmazoknak.

Egy az előbb leírt módon definiált jó, azaz kis hibájú csatorna kódolás, dekódolás definiciója egy λ megkülönböztethető elemekből álló v_{i_{1}} ∈ V, …, v_{i_{N}} ∈ V sorozat megadását jelenti kis λ > 0 paraméterrel az e sorozatokhoz tartozó B_{1} ⊂ Ṽ, …, B_{N} ⊂ Ṽ halmazokkal együtt. A minket érdeklő feladatokban valójában nem egy jelet, hanem egy jelsorozat elemeit adjuk le egymás után a csatornán, és célunk ennek a jelsorozatnak a minél pontosabb azonosítása. Minket az az eset érdekel elsősorban, amikor a jelsorozat egyes jelei egymástól függetlenül, és ugyanolyan törvényszerűségek szerint mennek át a csatornán. Ebben a jegyzetben csak ezt az esetet fogom tárgyalni. A probléma pontos megfogalmazása érdekében bevezetem az emlékezet nélküli csatorna fogalmát.

Emlékezet nélküli csatorna definiciója. Legyen adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált csatorna. Az e csatorna által definiált n hosszúságú emlékezet nélküli csatorna olyan csatorna, amelynek bemeneti jelei a V^{n}, kimeneti jelei a Ṽ^{n} halmaz elemei, azaz az n hosszúságú v_{i_{k}} illetve ṽ_{j_{k}}, 1 ≤ k ≤ n, elemekből álló sorozatok, átmenetvalószinűsége pedig p((ṽ_{j_{1}}, …, ṽ_{j_{n}})|(v_{i_{1}}, …, v_{i_{n}})) =

∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}) tetszőleges v = (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n}, és ṽ = (ṽ_{j_{1}}, …, ṽ_{j_{n}}) ∈ Ṽ^{n} soroza-

tokra.

Az emlékezet nélküli csatorna természetes megfelelője a független, egyforma eloszlású valószínűségi változók sorozatainak. Azt a kérdést fogjuk vizsgálni, hogy egy n hosszúságú emlékezet nélküli csatorna bemeneti oldalán aszimptotikusan hány a csatorna által λ megkülönböztethető elemet tartalmazó halmazt lehet kiválasztani nagy n és rögzített 0 < λ < 1 szám esetén. Be fogjuk látni, hogy nagyon általános feltételek mellett ez a szám 2^{Cn(1+o(1))}, ahol a C szám, amelyet csatorna kapacitásnak fogunk hívni, a csatorna tulajdonságaitól függ. Ahhoz, hogy az eredményt pontosan megfogalmazzam definiálni kell a csatorna kapacitást. Ennek érdekében bevezetem először két valószínűségi változó kölcsönös információjának a fogalmát.

A kölcsönös információ fogalma. Legyen η és η̃ két értékeiket egy V = {v_{1}, v_{2}, … } illetve Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmazon felvevő valószínűségi változó, és jelölje r(v_{i}, ṽ_{j}) = P (η = v_{i}, η̃ = v_{j}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, az együttes eloszlásukat.

Vezessük be a p(v_{i}) = P (η = v_{i}) = ∑_{ṽ_{j} Ṽ} r(v_{i}, ṽ_{j}) és q(ṽ_{j}) = P (η̃ = ṽ_{j}) = ∑_{v_{i}∈V} r(v_{i}, v_{j}),

v_{i} ∈ V, ṽ_{j} ∈ Ṽ, mennyiségeket is. Ezzel a jelöléssel az η és η̃ valószínűségi változók kölcsönös információja az

I(η ∧ η̃) = ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}) log (\frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})})

kifejezéssel egyenlő. Az I(η ∧ η̃) kölcsönös információt kifejező összegben csak olyan (v_{i}, ṽ_{j}) párokra összegezünk, amelyekre r(v_{i}, ṽ_{j}) > 0.

Megjegyzés. Az I(η ∧ η̃) kölcsönös információt kifejező összeg mindig értelmes, mert az összeg negatív értékű tagjainak az összege mindig konvergens. Ugyanis

I(η ∧ η̃) = ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} p(v_{i})q(ṽ_{j})g (\frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})})

ahol g(x) = x log x, és egyrészt ez a g(x) függvény alulról korlátos a [0, ∞) intervallumban, másrészt ∑ p(v_{i})q(ṽ_{j}) = 1.

Tétel a kölcsönös információ viselkedéséről. Érvényes az I(η ∧ η̃) ≥ 0 egyenlőtlenség, és egyenlőség akkor és csak akkor áll fenn ebben a formulában, ha η és η̃ függetlenek.

Bizonyítás. Alkalmazzuk az r(v_{i}, ṽ_{j}) = P (η = v_{i}, η̃ = ṽ_{j}), és p(v_{i}) = ∑_{ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}),

q(ṽ_{j}) = ∑_{v_{i}∈V} r(v_{i}, ṽ_{j}) v_{i} ∈ V, ṽ_{j} ∈ Ṽ, jelöléseket. Azt kapjuk, felhasználva a g(x) =

x log x függvény szigorú konvexitását, hogy

I(η ∧ η̃) = ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}) log (\frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})}) = ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} p(v_{i})q(ṽ_{j})g (\frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})})

≥ g ( ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j})) = g(1) = 0,

Ebben a számolásban a g(x) függvény konvexitását alkalmaztuk a p(v_{i})q(ṽ_{j}) súlyfüggvénnyel. Vegyük észre, hogy ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} p(v_{i})q(ṽ_{j}) = 1, és p(v_{i})q(ṽ_{j}) ≥ 0 minden i és

j indexre. Továbbá felhasználtuk azt is, hogy mivel a g(x), x ≥ 0, függvény alulról korlátos, ezért jogunk van a bizonyításban használt konvexitási tulajdonságot akkor is használni, ha végtelen sok osztópontot tekintünk. Egyenlőség a g(x) függvény szigorú konvexitása miatt csak akkor teljesül, ha \frac{r(v_{i},ṽ_{j})}{p(v_{i})q(ṽ_{j})} = α egy az i és j indextől nem függő α számmal minden i és j indexre. (Ha p(v_{i})q(ṽ_{j}) = 0, akkor r(v_{i}, ṽ_{j}) = 0, és ekkor ezt a törtet tetszőleges módon definiálhatjuk.) De mivel ∑_{v_{i},ṽ_{j}} p(v_{i})q(ṽ_{j}) = ∑_{v_{i},ṽ_{j}} r(v_{i}, ṽ_{j}) = 1,

ez csak akkor lehetséges, hogy α = 1, azaz az η és η̃ valószínűségi változók függetlenek.

1. megjegyzés. Ha az η̃ valószínűségi változó entrópiája teljesíti a H(η̃) < ∞ feltételt (vagy H(η) < ∞), akkor az η és η̃ valószínűségi változók kölcsönös információja egyszerűbben is kifejezhető, és az előző tétel állítása következik az entrópia már bizonyított tulajdonságaiból is. Ekkor

I(η ∧ η̃) = ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}) log (\frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})})

= ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}) log \frac{r(v_{i}, ṽ_{j})}{p(v_{i})} − ∑_{v_{i}∈V,ṽ_{j}∈Ṽ} r(v_{i}, ṽ_{j}) log q(ṽ_{j})

= H(η̃) − H(η̃|η), ahonnan (Iη ∧ η̃) = H(η̃) − H(η̃|η) ≥ 0, és egyenlőség csak akkor áll fenn, ha η és η̃ független valószínűségi változók. Ha a H(η) < ∞ feltétel is teljesül, akkor I(η ∧ η̃) = H(η) + H(η̃) − H(η, η̃) = H(η) − H(η|η̃) = H(η̃) − H(η̃|η).

2. megjegyzés. Érdemes felidézni az első fejezetben tárgyalt eredményeket és tárgyalni azok kapcsolatát a kölcsönös információ fogalmával. Először azt a példát tárgyaltuk, hogy ha egy mérkőzéssorozat ξ_{1}, …, ξ_{n} eredményei egymástól független és egy ξ valószínűségi változóval azonos eloszlású valószínűségi változók, akkor körülbelül 2^{nH(ξ)} szelvényt kell kitölteni annak érdekében, hogy majdnem biztosan legyen telitalálatunk. Ha ismerjük egy másik mérkőzéssorozat η_{1}, …, η_{n} eredményeit, és a (ξ_{1}, η_{1}), …, (ξ_{n}, η_{n}) eredménypárok egymástól független, és egy (ξ, η) véletlen vektorral azonos eloszlású valószínűségi változók, akkor az η_{1}, …, η_{n} mérkőzéssorozat eredményeinek ismeretében körülbelül 2^{nH(ξ|η)} szelvényt kell kitöltenünk a majdnem biztos telitalálat eléréséhez, tehát körülbelül 2^{−n(H(ξ)−H(ξ|η))} = 2^{−nI(ξ∧η)}-szorosát annak amennyi szelvényt akkor kell kitöltenünk, ha az η_{1}, …, η_{n} mérkőzéssorozat eredményeit nem ismerjük.

Ezt az eredményt heurisztikusan úgy is interpretálhatjuk, hogy az η_{j} valószínűségi változó ismerete I(ξ ∧η)-vel csökkenti a ξ_{j} valószínűségi változó megismeréséhez szükséges információt. Az I(ξ∧η) = H(ξ)−H(ξ|η) = H(η)−H(η|ξ) azonosság azt jelenti, hogy a kölcsönös információnak ebben az interpretációjában a ξ és η valószínűségi változók szerepe felcserélhető.

Bevezetem a csatorna kapacitás fogalmát.

A csatorna kapacitás fogalma. Legyen adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált csatorna. A csatorna kapacitását a

C = sup_{η,η̃} I(η ∧ η̃)

képlet adja meg, ahol a szuprémumban az összes a csatorna által összekapcsolt (η, η̃) valószínűségi változó párt tekintjük.

Megjegyzés. Láttuk, hogy egy csatorna kapacitása mindig nagyobb vagy egyenlő, mint nulla. Sőt, jellemezni lehet azt az esetet is, amikor a csatorna kapacitás nullával egyenlő. Ez akkor következik be, ha bármely két a csatornával összekapcsolt η és η̃ valószínűségi változó független. Nem nehéz belátni, hogy ez akkor és csak akkor lehetséges, ha a csatornát meghatározó p(ṽ_{j}|v_{i}) átmenetvalószínűségek nem függnek a v_{i} bemeneti jel értékétől. Ez azt jelenti, hogy bármely bemeneti jel leadása esetén ugyanolyan valószínűséggel kapjuk bármely kimeneti jelet. Ekkor a kimeneti jel ismerete semmilyen információt nem nyújt arról, hogy milyen bemeneti jelet adtak le.

E fejezet fő eredményei arra adnak becslést, hogy, milyen nagy, azaz hány λ megkülönböztethető elemet tartalmazó halmazt lehet konstruálni egy n hosszúságú emlékezet nélküli csatorna bemeneti oldalán. A következő eredményeket fogom belátni.

Csatorna kódolási tétel. Legyen adva adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált C < ∞ csatorna kapacitású csatorna. Tekintsünk egy ezen csatorna által definiált n hosszúságú emlékezet nélküli csatornát. Minden 0 < λ < 1 és ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε, λ) küszöbindex úgy, hogy amennyiben n ≥ n_{0}, akkor létezik N ≥ 2^{(1−ε)Cn} n hosszúságú (v_{j_{1}}^{(k)}, …, v_{j_{n}}^{(k)}) ∈ V^{n}, 1 ≤ k ≤ N, alakú λ megkülönböztethető sorozatot tartalmazó halmaz ennek az n hosszúságú emlékezet nélküli csatornának a bemeneti oldalán.

A fenti eredmény megfordítását, azaz egy λ megkülönböztethető halmaz elemszámára adott felső becslést csak véges állapotterű csatornákra fogom bizonyítani. Egy csatornát véges állapotterűnek nevezek, ha mind a bemeneti jelek V mind a kimeneti jelek Ṽ halmaza véges elemszámú.

A csatorna kódolási tétel megfordítása. Legyen adva két V = {v_{1}, …, v_{m}} és Ṽ = {ṽ_{1}, …, ṽ_{n}} véges halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált véges állapotterű C < ∞ csatorna kapacitású csatorna. Tekintsünk egy ezen csatorna által definiált n hosszúságú emlékezet nélküli csatornát. Legyen A a V^{n} halmaz egy λ megkülönböztethető sorozatokat tartalmazó részhalmaza valamely 0 < λ < 1 számmal. Ekkor létezik olyan n_{0} = n_{0}(ε, λ) küszöbindex, hogy amennyiben n ≥ n_{0}, akkor az A halmaz elemszáma kisebb, mint 2^{(1+ε)Cn}. Sőt, igaz a következő élesebb becslés. Minden n ≥ 1 számra az adott tulajdonságú A halmaz elemszáma kisebb, mint \frac{2}{1−λ}2^{Cn+K\sqrt{n}/\sqrt{1−λ}} egy alkalmas, a csatorna tulajdonságaitól függő K konstanssal.

Megjegyzés. Az előbb megfogalmazott eredményt az irodalomban gyakran a a csatorna kódolási tétel erős megfordításának hívják. E tétel bizonyításában ki fogjuk használni, hogy a tekintett csatorna véges állapotterű. Általános, nem feltétlenül véges állapotterű csatornák esetében csak egy gyengébb állítást tudnak bizonyítani, amelyet a csatorna kódolási tétel gyenge megfordításának neveznek. Mi ezzel az eredménnyel nem fogunk foglalkozni. Megelégszünk a csatorna kódolási tétel erős megfordításának a bizonyításával abban a speciális esetben, amikor a csatorna véges állapotterű.

Mielőtt rátérnék a fenti tételek bizonyítására, heurisztikus magyarázatot adok arra, hogy miért természetes ilyen eredményeket várni.

Ha adva van egy csatornát meghatározó p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűség függvény, akkor tekintsünk egy ehhez az átmenetvalószínűséghez adaptált μ mértéket a V × Ṽ halmazon, azaz egy olyan μ valószínűségi mértéket, amelyre egy μ eloszlású (η, η̃) véletlen vektor teljesíti a P (η̃ = ṽ_{j}|η_{i} = v_{i}) = p(ṽ_{j}|v_{i}) azonosságot minden v_{i} ∈ V és ṽ_{j} ⊂ Ṽ pontra. Válasszuk ezt a μ mértéket úgy, hogy egy μ eloszlású (η, η̃) párra I(η ∧ η̃) = C, vagy legalábbis I(η ∧ η̃) nagyon közel van a C csatorna kapacitáshoz. Tekintsük a μ mérték μ^{n} n-ik hatványát a V^{n}×Ṽ^{n} szorzattéren, és jelölje ν_{1}^{n} és ν_{2}^{n} a μ^{n} mérték vetületét a V^{n} illetve Ṽ^{n} térre. Próbáljunk a λ megkülönböztethető v_{1} ∈ V^{n}, v_{2} ∈ V_{n}, …, sorozatokat a ν_{1}^{n} mérték szerint tipikus sorozatok közül kiválasztani, és válasszuk a v_{k} vektornak megfelelő B_{k} halmazt úgy, mint a μ^{n}(·|v_{k}) feltételes mérték szerinti tipikus sorozatok halmazát, illetve ezen halmaz kis módosítását. Ezt a módosítást a B_{k} halmazok diszjunktságának a biztosítása érdekében tesszük. Annak érdekében, hogy megbecsüljük hány ilyen (v_{k}, B_{k}) párt tudunk választani becsüljük meg a B_{k} halmazok ν_{2}^{n} mértékét. Az első fejezet eredményei alapján a B_{k} halmaz körülbelül 2^{nH(η̃|η)} sorozatból áll, és az egyes sorozatok ν_{2}^{n} mértéke körülbelül 2^{−nH(η̃)}. Ezért ν_{2}^{n}(B_{k}) ∼ 2^{nH(η̃|η)−nH(η̃)} = 2^{−nI(η∧η̃)}, és körülbelül 2^{nI(η∧η̃)} B_{k} halmaz fedi le a Ṽ^{n} teret. Viszont, ha ennél sokkal kevesebb, nevezetesen csak 2^{n(1−ε)C} ∼ 2^{(1−ε)nI(η∧η̃)} számú B_{k} halmazt választunk, akkor bízhatunk abban, hogy ily módon egy a csatorna kódolási tételt teljesítő rendszert kapunk. A csatorna kódolási tétel bizonyítása tekinthető úgy, mint a fenti heurisztikus okoskodás rendbe tétele.

Arra, hogy a fenti módon végzett konstrukció éles eredményt ad csak kevésbé meggyőző heurisztikus érvet tudok adni. Mindenesetre jegyezzük meg, hogy bár a v_{k} sorozatokat és a B_{k} hozzátartozó halmazokat ebben a konstrukcióban egy véletlen szorzatmérték szerint választottuk ki, ez a választás kevésbé speciális, mint ahogy az első pillanatban látszik. A függetlenségből csak azt használtuk ki, hogy a (v_{i}, ṽ_{j}) párok relatív gyakorisága elő van írva, és a tekintett μ mérték megválasztásával ezt a relatív gyakoriságot írtuk elő. Ha jól írjuk elő a kiválasztandó v_{k} vektorokban szereplő jelek relatív gyakoriságát akkor ezzel a megszorítással nem csökkentettük lényegesen a keresett λ megkülönböztethető sorozatokból álló A halmaz nagyságát. Ezért szép esetekben a véletlen választás jó eredményt ad.

A csatorna kódolási tétel bizonyítása két lemmán alapszik. Az első az emlékezet nélküli csatorna kapacitásáról szól.

Lemma az emlékezet nélküli csatorna kapacitásáról. Legyen adva adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálhatóan végtelen számosságú halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált C < ∞ csatorna kapacitású csatorna. Adva két olyan η és η̃ valószínűségi változó, amelyek össze vannak kapcsolva ezzel a csatornával, tekintsük független, az (η, η̃) párral azonos eloszlású véletlen vektorok egy (η_{1}, η̃_{1}), …, (η_{n}, η̃_{n}) sorozatát, és definiáljuk az ι_{k} = ι_{η_{k}∧η̃_{k}}, 1 ≤ k ≤ n, valószínűségi változókat a következő képlet segítségével: ι_{k} = log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})}, ha η_{k} = v_{i} és η̃_{k} = ṽ_{j}, ahol q(ṽ_{j}) = P (η̃ = ṽ_{j}). Minden ε > 0 számhoz megadhatóak olyan a csatornával összekapcsolt η és η̃ valószínűségi változók,

amelyekre \frac{1}{n} ∑_{k=1}^{n} ι_{k} = \frac{1}{n} ∑_{k=1}^{n} ι_{η_{k}∧η̃_{k}} ⇒ I(η ∧η̃), ahol ⇒ sztochasztikus konvergenciát jelöl,

és I(η ∧ η̃) > (1 − ε)C.

Ha feltesszük, hogy a tekintett csatorna olyan, hogy bármely e csatornával összekapcsolt η és η̃ valószínűségi változó párra teljesül a H(η̃) < ∞ reláció is, akkor az is igaz, hogy egy az e csatorna által definiált n hosszúságú emlékezet nélküli csatorna csatorna kapacitása nC-vel egyenlő.

Megjegyzés. Valójában, e lemmának csak az első, könnyen bizonyítható részére lesz szükségünk. A második részben megfogalmazott eredmény tárgyalásának inkább elvi okai vannak. Ezen eredmény szemléletes tartalma az, hogy egy emlékezet nélküli csatorna kapacitását, azaz két ezen csatornával összekapcsolt valószínűségi változó kölcsönös információját nem lehet blokkosítással növelni. A legjobb, amit tenni tudunk az, hogy az egyes koordinátáknak megfelelő bemeneti és kimeneti jeleket egymástól függetlenül optimálisan választjuk. Ez egyébként azt is jelenti, hogy nem lehet a kódolási tétel becslését triviális blokkosítással javítani. A csatorna kódolási tétel megfordításának általunk megfogalmazott és később bizonyítandó alakjából következik, hogy ez nem lehetséges véges állapotterű csatornákban. A fent megfogalmazott lemma eredménye kizárja az ilyen típusú javítás lehetőségét általánosabb csatornák esetében is. A H(η̃) < ∞ feltétel szerepeltetésének e lemma megfogalmazásában technikai okai vannak. E feltétel teljesülése vizsgálatainkat egyszerűbbé teszi, mert ekkor elkerülünk bizonyos nem feltétlenül abszolút konvergens sorok átrendezésével kapcsolatos kényelmetlen számolásokat.

Bizonyítás. Válasszunk olyan a csatornával összekapcsolt η és η̃ valószínűségi változókat amelyekre I(η ∧ η̃) ≥ (1 − ε)C, ahol C a csatorna kapacitása. Ekkor

Eι_{k} = ∑_{v_{i},ṽ_{j}} P (η = v_{i}, η̃ = ṽ_{j}) log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} = ∑_{v_{i},ṽ_{j}} r(v_{i}, ṽ_{j}) log \frac{r(v_{i}, ṽ_{j})}{p(v_{i})q(ṽ_{j})}
= I(η ∧ η̃) ≥ (1 − ε)C,

ahol r(v_{i}, ṽ_{j}) = P (η = v_{i}, η̃ = ṽ_{j}), p(v_{i}) = P (η = v_{i}), és q(ṽ_{j}) = P (η̃ = ṽ_{j}). Ezért a

nagy számok gyenge törvénye alapján \frac{1}{n} ∑_{k=1}^{n} ι_{k} ⇒ I(η ∧ η̃), ha n → ∞, és I(η ∧ η̃) ≥

(1 − ε)C.

Egy n hosszúságú emlékezet nélküli csatorna kapacitásának a kiszámolása érdekében tekintsünk két ezen emlékezet nélküli csatorna által összekapcsolt η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}) véletlen vektort, és becsüljük meg az I(η ∧ η̃) kölcsönös információt.

Ennek érdekében először megmutatom, hogy H(η̃|η) = ∑_{k=1}^{n} H(η̃_{k}|η_{k}). (Nem tettem fel,

hogy az η illetve η̃ vektor koordinátái függetlenek.)

Vezessük be a következő jelöléseket:

p(v_{i_{1}}, …, v_{i_{n}}) = P (η_{1} = v_{i_{1}}, …, η_{n} = v_{i_{n}}),
q(ṽ_{j_{1}}, …, ṽ_{j_{n}}) = P (η̃_{1} = ṽ_{j_{1}}, …, η̃_{n} = ṽ_{j_{n}}),
r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) = P (η_{1} = v_{i_{1}}, …, η_{n} = v_{i_{n}}, η̃_{1} = ṽ_{j_{1}}, …, η̃_{n} = ṽ_{j_{n}}).

Ezekkel a jelölésekkel r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) = p(v_{i_{1}}, …, v_{i_{n}}) ∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}), és

H(η̃|η) = ∑_{(v_{i_{1}} ,...,v_{in}),(ṽ_{j_{1}} ,...,ṽ_{jn})} r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) log (∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}))

= ∑_{(v_{i_{1}} ,...,v_{in}),(ṽ_{j_{1}} ,...,ṽ_{jn})} r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) (∑_{k=1}^{n} log p(ṽ_{j_{k}}|v_{i_{k}}))

= ∑_{k=1}^{n} ∑_{(v_{i_{1}} ,...,v_{in}),(ṽ_{j_{1}} ,...,ṽ_{jn})} r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) log p(ṽ_{j_{k}}|v_{i_{k}}).

Vezessük be a következő mennyiségeket is: r_{k}(v_{i_{k}}, ṽ_{j_{k}}) = P (η_{k} = v_{i_{k}}, η̃_{k} = ṽ_{j_{k}}), 1 ≤ k ≤ n. Azt állítom, hogy ezzel a jelöléssel az utolsó azonosság jobb oldalán lévő kifejezés belső összegét a következő módon írhatjuk fel rögzített k indexre:

∑_{(v_{i_{1}} ,...,v_{in}),(ṽ_{j_{1}} ,...,ṽ_{jn})} r(v_{i_{1}}, …, v_{i_{n}}, ṽ_{j_{1}}, …, ṽ_{j_{n}}) log p(ṽ_{j_{k}}|v_{i_{k}})

= ∑_{(v_{i_{k}} ,ṽ_{j_{k}})} r_{k}(v_{i_{k}}, ṽ_{j_{k}}) log p(ṽ_{j_{k}}|v_{i_{k}}).

Valóban, rögzítve a tekintett összegzésben a v_{i_{k}}, és ṽ_{j_{k}} argumentumokat, és összegezve az összes többi argumentum szerint az r_{k}(v_{i_{k}}, ṽ_{j_{k}}) log p(ṽ_{j_{k}}|v_{i_{k}}) kifejezést kapjuk, majd ezekre az argumentumokra is összegezve megkapjuk az előbb felírt azonosságot. Ezt az azonosságot összegezve a k változó szerint, és felhasználva az előző azonosságot azt kapjuk, hogy

H(η̃|η) = ∑_{k=1}^{n} ∑_{(v_{i_{k}} ,ṽ_{j_{k}})} r_{k}(v_{i_{k}}, ṽ_{j_{k}}) log p(ṽ_{j_{k}}|v_{i_{k}}) = ∑_{k=1}^{n} H(η̃_{k}|η_{k}),

amint azt állítottam.

Vegyük észre, hogy feltételeink teljesülése esetében H(η̃) ≤ ∑_{k=1}^{n} H(η̃_{k}) < ∞, ezért

I(η ∧ η̃) = H(η̃) − H(η̃|η) ≤ ∑_{k=1}^{n}(H(η̃_{k}) − H(η̃_{k}|η_{k})) = ∑_{k=1}^{n} I(η_{k} ∧ η̃_{k}). Továbbá, ha

az η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}) véletlen vektorok az emlékezet nélküli csatorna szerinti összekapcsolt valószínűségi változók, akkor ezek (η_{k}, η̃_{k}), 1 ≤ k ≤ n, koordinátái összekapcsolt valószínűségi változók azon kiinduló csatorna szerint, amelynek a segítségével az emlékezet nélküli csatornát definiáltuk. Ezért I(η_{k} ∧ η̃_{k}) ≤ C, és a bizonyított egyenlőtlenségből az is következik, hogy I(η ∧ η̃) ≤ nC. Mivel ez tetszőleges az emlékezet nélküli csatorna szerint összekapcsolt η és η̃ véletlen vektorokra igaz, innen következik, hogy egy n hosszúságú emlékezet nélküli csatorna csatorna kapacitása kisebb vagy egyenlő, mint nC.

Annak érdekében, hogy belássuk, hogy az n hosszúságú emlékezet nélküli csatorna kapacitása valójában egyenlő az nC mennyiséggel tekintsünk egymástól független, és az emlékezet nélküli csatornát meghatározó csatornával összekapcsolt (η_{k}, η̃_{k}), 1 ≤ k ≤ n, valószínűségi párokat. Ekkor az η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}) véletlen vektorok

összekapcsoltak az emlékezet nélküli csatorna által, és I(η ∧ η̃) = ∑_{k=1}^{n} I(η_{k} ∧ η̃_{k}). Mivel

minden ε > 0 számra az (η_{k}, η̃_{k}) párokat úgy is választhatjuk, hogy az I(η_{k} ∧η̃_{k}) ≥ C −ε reláció teljesüljön, innen következik, hogy egy n hosszúságú emlékezet nélküli csatorna csatorna kapacitása nagyobb vagy egyenlő, mint nC. A lemmát beláttuk.

A következő lemmában olyan alsó becslést adunk egy alkalmasan konstruált λ megkülönböztethető halmaz elemszámáról, amely lehetővé teszi, hogy az előző lemma segítségével bebizonyítsuk a csatorna kódolási tételt.

Alsó becslés alkalmasan konstruált λ megkülönböztethető elemeket tartalmazó halmaz elemszámáról. Legyen adva adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált csatorna. Legyen η és η̃ két e csatornával összekapcsolt valószínűségi változó, és vezessük be a ι_{η∧η̃} valószínűségi változót is a következő képlet segítségével: ι_{η∧η̃} = log \frac{p(v_{i}|ṽ_{j})}{q(ṽ_{j})}, ha η = v_{i}, és η̃ = ṽ_{j}, ahol q(ṽ_{j}) = P (η̃ = ṽ_{j}). Tetszőleges z > 0 és 0 < λ < 1 számokra létezik a bemeneti jelek V halmazának olyan λ megkülönböztethető elemekből álló részhalmaza, amelynek N elemszáma teljesíti az

N ≥ 2^{z}(λ − P (ι_{η∧η̃} < z))

egyenlőtlenséget.

Mielőtt leírnám a bizonyítást ismertetem annak fő gondolatát. Egy {v_{i_{1}}, …, v_{i_{N}} } λ megkülönböztethető elemekből álló halmazt keresünk viszonylag nagy N elemszámmal, valamint a v_{i_{k}} pontokhoz olyan diszjunkt B_{k} halmazokat akarunk társítani, amelyekre ∑_{ṽ_{j}∈B_{k}} p(ṽ_{j}|v_{i_{k}}) ≥ 1 − λ. Érdemes olyan B_{k} halmazokat választani, amelyekre a P (η̃ ∈

B_{k}) = ∑_{ṽ_{j}∈B_{k}} q(ṽ_{j}) valószínűségek kicsik. Mivel ∑_{ṽ_{j}∈B_{k}} p(ṽ_{j}|v_{i_{k}}) ≥ 1−λ. (egy heurisztikus

okoskodásban feltehetjük, hogy az utolsó képletben egyenlőség van,) ez azt sugallja, hogy a v_{i_{k}} elem megválasztása után olyan B_{k} halmazt érdemes definiálni, amelynek ṽ_{j} ∈ B_{k} elemeire \frac{q(ṽ_{j})}{p(ṽ_{j}|v_{i_{k}})} kicsi. Ezért a B_{k} halmazt B_{k} = Ṽ \ \{ṽ_{j}: \frac{p(ṽ_{j}|v_{i_{k}})}{q(ṽ_{j})} ≤ 2^{z}\} alakban keressük, ahol a z számot a tekintett csatorna tulajdonságaitól függően alkalmasan választjuk meg. Úgy akarjuk a λ megkülönböztethető v_{i_{k}} ∈ V pontokat választani, hogy a v_{i_{k}} pont a neki megfelelő B_{k} halmazzal együtt teljesítse a ∑_{ṽ_{j}∈B_{k}} p(ṽ_{j}|v_{i_{k}}) ≥

1 − λ egyenlőtlenséget. Valójában kissé másképpen kell eljárni annak érdekében, hogy diszjunkt B_{k} halmazokat válasszunk. Ha a v_{i_{1}}, …, v_{i_{k−1}} pontokat és B_{1}, …, B_{k−1} halmazokat már kiválasztottuk, akkor próbálunk olyan v_{i_{k}} ∈ V pontot és hozzátartozó

B_{k} = (Ṽ \ ⋃_{j=1}^{k−1} B_{j})\\{ṽ_{j}: \frac{p(ṽ_{j}|v_{i_{k}})}{q(ṽ_{j})} ≤ 2^{z}\} halmazt találni, amelyekre ∑_{ṽ_{j}∈B_{k}} p(ṽ_{j}|v_{i_{k}}) ≥ 1−λ.

Ezt az eljárást addig folytatjuk szukcesszive, amíg meg nem akadunk. A lemma arról szól, hogy ilyen módon mekkora λ megkülönböztethető elemekből álló halmazt tudunk konstruálni.

A lemma bizonyítása. Definiáljuk a W ⊂ V × Ṽ halmazt, mint

W = \{(v_{i}, ṽ_{j}): (v_{i}, ṽ_{j}) ∈ V × Ṽ , \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} < 2^{z}\} ,

és ennek a halmaznak a metszeit a {v_{i}} × Ṽ halmazzal minden v_{i} ∈ V pontra, mint

W^{v_{i}} = {ṽ_{j}: ṽ_{j} ∈ Ṽ , (v_{i}, ṽ_{j}) ∈ W }, v_{i} ∈ V,

Egy olyan v_{i_{1}} ∈ V pontot választunk, amelyre P (η̃ ∈ Ṽ \ W^{v_{i_{1}}} |η = v_{i_{1}}) ≥ 1 − λ, feltéve, hogy ilyen pont létezik. Ebben az esetben legyen B_{1} = Ṽ \W^{v_{i_{1}}} . Ha nincs ilyen v_{i_{1}} ∈ V pont, akkor a procedurát befejezzük egyetlen pont kiválasztása nélkül. A v_{i_{1}} ∈ V, …, v_{i_{k}} ∈ V pontokat szukcesszive választjuk egymás után, és a v_{i_{p}} ponthoz társított B_{p} halmazt a

B_{1} = Ṽ \ W^{v_{1}}, B_{p} = ( ⋂_{l=1}^{p−1} W^{v_{i_{l}}} ) \ W^{v_{ip}} , p = 2, 3, ….

képlettel definiáljuk. Ezek a B_{1}, B_{2}, … halmazok diszjunktak. Ha a v_{i_{1}} ∈ V, …, v_{i_{k}} ∈ V pontok már ki vannak választva, akkor a k + 1-k lépésben olyan v_{i_{k+1}} ∈ V

pontot keresünk, amelyre P (η̃ ∈ ( ⋂_{l=1}^{k} W^{v_{i_{l}}} ) \ W^{v_{i_{k+1}}} | η = v_{i_{k+1}}) ≥ 1 − λ, ugyan-

is ez jelenti azt, hogy P (η̃ ∈ B_{k+1}|η = v_{i_{k+1}}) ≥ 1 − λ. Ha ez a feltétel teljesül, akkor választunk egy kívánt tulajdonságú v_{i_{k+1}} ∈ V pontot, ha nem teljesül, akkor a v_{i_{p}} pontok választását a k-ik lépésben befejezzük. A lemmában szereplő N számot választhatjuk úgy, mint a legnagyobb olyan k számot, amelyre választottunk v_{i_{k}} pontot. Ugyanis az A = {v_{i_{1}}, …, v_{i_{N}} } halmaz pontjai a B_{1}, …, B_{N} halmazokkal együtt λ megkülönböztethető pontok.

Azon k index nagyságára kell tehát jó alsó becslést adni, amelyikre még tudjuk folytatni az algoritmusunkat, és megfelelő tulajdonságú v_{i_{k}} ∈ V pontot találni. A k-ik lépés után akkor és csak akkor tudunk megfelelő tulajdonságú v_{i_{k+1}} ∈ V pontot találni,

ha inf_{v_{i}∈V} P (η̃ ∈ Ṽ (k) ∪ W^{v_{i}}|η = v_{i}) < λ, ahol Ṽ (1) = Ṽ, és Ṽ (k) = ⋃_{l=1}^{k}(Ṽ \ W^{v_{i_{l}}}), k =

1, 2, . . .. Az alábbi becslések segítségével meg tudjuk mutatni, hogy ez az egyenlőtlenség teljesül bizonyos számunkra érdekes esetekben.

inf_{v_{i}∈V} P (η̃ ∈ Ṽ (k) ∪ W^{v_{i}}|η = v_{i}) ≤ ∑_{v_{i}∈V} P (η = v_{i})P (η̃ ∈ Ṽ (k) ∪ W^{v_{i}}|η = v_{i})

= ∑_{v_{i}∈V} P (η = v_{i}, η̃ ∈ Ṽ (k) ∪ W^{v_{i}}) = P ((η, η̃) ∈ (V × Ṽ (k)) ∪ W)

≤ P (η̃ ∈ Ṽ (k)) + P ((η, η̃) ∈ W).

Másrészt P ((η, η̃) ∈ W) = P (ι_{η∧η̃} < z), és a Ṽ (k) halmaz definiciója alapján

P (η̃ ∈ Ṽ (k)) ≤ ∑_{l=1}^{k} P (η̃ ∈ Ṽ \ W^{v_{i_{l}}}) = ∑_{l=1}^{k} ∑_{ṽ_{j}: \frac{p(ṽ_{j} |v_{i_{l}})}{q(ṽ_{j})} ≥2^{z}} q(ṽ_{j})

≤ ∑_{l=1}^{k} ∑_{ṽ_{j}: \frac{p(ṽ_{j} |v_{i_{l}})}{q(ṽ_{j})} ≥2^{z}} 2^{−z}p(ṽ_{j}|v_{i_{l}}) ≤ ∑_{l=1}^{k} ∑_{ṽ_{j}∈Ṽ} 2^{−z}p(ṽ_{j}|v_{i_{l}}) = ∑_{l=1}^{k} 2^{−z} = k2^{−z}.

A fenti becslésekből következik, hogy

inf_{v_{i}∈V} P (η̃ ∈ Ṽ (k) ∪ W^{v_{i}}|η = v_{i}) ≤ P (ι_{η∧η̃} < z) + k2^{−z},

ezért inf_{v_{i}∈V} P (η̃ ∈ Ṽ (k) ∪ W^{v_{i}}|η = v_{i}) < λ, ha k < 2^{z}(λ − P (ι_{η∧η̃} < z)). Ez azt

jelenti, hogy a kívánt tulajdonságú v_{i_{k}} ∈ V pontok választását tudjuk folytatni a k̄ = [2^{z}(λ−P (ι_{η∧η̃} < z))]+1 értékig, ahol [x] az x szám egész részét jelöli. Innen következik a lemma állítása.

A csatorna kódolási tétel bizonyítása. Válasszunk olyan (η′, η̃′) valószínűségi változó párt, amelynek tagjai össze vannak kapcsolva az emlékezet nélküli csatornát meghatározó csatornával, és I(η′∧η̃′) ≥ (1− \frac{ε}{4})C, ahol C ennek a csatornának a kapacitása. Legyen (η_{1}, η̃_{1}), (η_{2}, η̃_{2}), …, (η_{n}, η̃_{n}) független, az (η′, η̃′) véletlen vektorral azonos eloszlású véletlen vektorok sorozata, és a ι_{k} valószínűségi változót definiálja a ι_{k} = log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})}, ha η_{k} = v_{i}, és η̃_{k} = ṽ_{j} képlet. Vezessük be az η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}) véletlen vektorokat, és definiáljuk segítségükkel a ι_{η∧η̃} valószínűségi változót úgy, mint az Alsó becslés alkalmasan konstruált λ megkülönböztethető elemeket tartalmazó hal-

maz elemszámáról eredmény megfogalmazásában tettük. Ekkor ι_{η∧η̃} = ∑_{k=1}^{n} ι_{k}, ezért az

emlékezet nélküli csatorna kapacitásáról szóló lemma (első) eredménye alapján létezik olyan n_{0} küszöbindex, amelyre igaz, hogy P (ι_{η∧η̃} < (1 − \frac{ε}{2})Cn) ≤ \frac{λ}{2}, ha n ≥ n_{0}. Ezért alkalmazva az Alsó becslés alkalmasan konstruált λ megkülönböztethető elemeket tartalmazó halmaz elemszámáról nevű lemma eredményét z = (1 − \frac{ε}{2})Cn választással azt kapjuk, hogy N ≥ 2^{z}(λ − P (ι_{η∧η̃} < z)) ≥ 2^{(1−ε/2)Cn} \frac{λ}{2} ≥ 2^{(1−ε)Cn}, ha n ≥ n_{0}(ε, λ). A tétel bizonyítását befejeztük.

Megjegyzés. Véges állapotterű csatornák esetén érvényes a csatorna kódolási tétel becslésének a következő a csatorna kódolási tétel megfordításában szereplő becsléshez hasonló élesítése. Az n hosszúságú emlékezet nélküli csatornának létezik olyan λ megkülönböztethető sorozatokból álló halmaza, amelynek N = N(n) elemszámára teljesül az N ≥ \frac{λ}{2}2^{Cn−K\sqrt{n}/\sqrt{λ}} egyenlőtlenség alkalmas K > 0 számmal, ahol C a csatorna kapacitása.

Valóban, ebben az esetben, mint látni fogjuk, létezik olyan (η′, η̃′) a csatornával összekapcsolt valószínűségi változó pár, amelyre I(η′ ∧ η̃′) = C, és ha η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}), ahol (η_{k}, η̃_{k}), ≤ n ≤ k, az (η, η̃′) valószínűségi változó pár független példányai, akkor nem nehéz belátni a Csebisev egyenlőtlenség segítségével — felhasz-

nálva az ι_{η∧η̃} = ∑_{k=1}^{n} ι_{η_{k}∧η̃_{k}} azonosságot, — hogy létezik olyan K > 0 szám, amelyre

P (ι_{η∧η̃} ≤ Cn − K\sqrt{\frac{n}{λ}}) = P ( ∑_{k=1}^{n}(ι_{η_{k}∧η̃_{k}} − Eι_{η_{k}∧η̃_{k}}) ≤ −K\sqrt{\frac{n}{λ}}) ≤ \frac{λ}{2}. Ezért az Alsó

becslés alkalmasan konstruált λ megkülönböztethető elemeket tartalmazó halmaz elemszámáról eredményéből az említett egyenlőtlenséget kapjuk z = Cn−K \begin{matrix}√ & \overline{n} \\ √ & \overline{λ} \end{matrix} választással.

A csatorna kódolási tétel megfordításának a bizonyítása véges állapotterű csatornákra azon alapul, hogy ebben az esetben a csatorna kapacitást definiáló szuprémum felvétetik, és explicit módon lehet jellemezni azokat a csatornával összekapcsolt valószínűségi változó párok eloszlását, amelyek kölcsönös információja egyenlő a csatorna kapacitással. Az alábbi eredményt fogom bebizonyítani.

Tétel véges állapotterű csatorna optimális bemenetének a jellemzéséről. Legyen adva két V = {v_{1}, …, v_{m}} és Ṽ = {ṽ_{1}, …, ṽ_{n}} véges halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált véges állapotterű C < ∞ csatorna kapacitású csatorna. Létezik olyan e csatornával összekapcsolt η, η̃ valószínűségi változó pár, amelyre I(η ∧ η̃) = C. Egy e csatornával összekapcsolt η, η̃ valószínűségi változó párra akkor és csak akkor igaz az I(η ∧ η̃) = C egyenlőség, ha a p(v_{i}) = P (η = v_{i}), v_{i} ∈ V, és q(ṽ_{j}) = P (η̃ = ṽ_{j}), ṽ_{j} ∈ Ṽ, valószínűségek teljesítik a

∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i}) log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} ≤ C minden v_{i} ∈ V pontban  (3.1)

egyenlőtlenségeket, és ha p(v_{i}) > 0, akkor a v_{i} pontnak megfelelő reláció élesíthető, és egyenlőséget is írhatunk az egyenlőtlenség helyett.

Megjegyzés. A (3.1) képlet úgy értendő, hogy p(ṽ_{j}|v_{i}) log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} = 0, ha p(ṽ_{j}|v_{i}) = 0. A tétel azt is állítja, hogy q(ṽ_{j}) > 0, ha p(ṽ_{j}|v_{i}) > 0 valamilyen v_{i} bemenő állapotra (egy az I(η ∧ η̃) = C feltételt teljesítő a csatornával összekapcsolt η, η̃ pár által definiált q(ṽ_{j}) = P (η̃ = ṽ_{j}) valószínűségre). Ellenkező esetben nem teljesülne a (3.1) egyenlőtlenség, mert annak baloldala ∞ lenne, mivel tartalmazna egy p(ṽ_{j}|v_{i}) log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} = ∞ alakú összeadandót. Igaz a

∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i}) log \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} ≥ 0 minden v_{i} ∈ V pontban

egyenlőtlenség is. Ez következik például a második fejezetben bizonyított Egy I-diver-gencia típusú lemmábol az a_{j} = p(ṽ_{j}|v_{i}) és b_{j} = q(ṽ_{j}) szereposztással felhasználva az A = ∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i}) = 1 és B = ∑_{ṽ_{j}∈Ṽ} q(ṽ_{j}) = 1 relációkat.

A tétel bizonyítása két függvények konvexitásával (vagy konkávításával) kapcsolatos eredményen alapul. Az első lemma arról szól, hogy egy függvény, amely a kölcsönös információt definiáló függvény természetes kiterjesztésének tekinthető a pozitív ortánsra konkáv.

Lemma egy függvény konkávitásáról. Legyenek adva bizonyos p(i, j), 1 ≤ i ≤ M, 1 ≤ j ≤ N számok, amelyekre 0 ≤ p(i, j) ≤ 1 minden 1 ≤ i ≤ M és 1 ≤ j ≤ N indexre,

és ∑_{j=1}^{N} p(i, j) = 1 minden 1 ≤ i ≤ M indexre. Definiáljuk segítségükkel az

F (u_{1}, …, u_{M}) = ∑_{i=1}^{M} ∑_{j=1}^{N} u_{i}p(i, j) log \frac{p(i, j)}{y_{j}}, u_{i} ≥ 0 minden 1 ≤ i ≤ M indexre

függvényt, ahol y_{j} = y_{j}(u_{1}, …, u_{M}) = ∑_{i=1}^{M} p(i, j)u_{i}. Az F (u_{1}, …, u_{M}) függvény folyto-

nos és konkáv az A = {(u_{1}, …, u_{M}): u_{i} ≥ 0, 1 ≤ i ≤ M} halmazon.

1. megjegyzés. Az F függvényt definiáló összeg úgy értendő, hogy csak azon (i, j) párokra összegzünk, amelyekre p(i, j) > 0. Tehát az u_{i}p(i, j) log \frac{p(i,j)}{y_{j}} = 0 konvenciót fogjuk alkalmazni a p(i, j) = 0 esetben akkor is, ha y_{j} = 0. Szükséges még definiálni az u_{i}p(i, j) log \frac{p(i,j)}{y_{j}} kifejezést akkor, ha az u_{i} = 0, mert ekkor is előfordulhat, hogy y_{j} = 0.

Ebben az esetben az u_{i}p(i, j) log \frac{p(i,j)}{y_{j}} = 0, ha u_{i} = 0 konvenciót fogjuk alkalmazni. A következő számolásokban az egyszerűbb jelölés kedvéért a log természetes és nem 2 alapú logaritmust fog jelölni, de ennek nincs nagy jelentősége. A természetes logaritmusról a 2 alapú logaritmusra való áttérés csak log_{2} e-vel való szorzást jelent.

2. megjegyzés. Értsük meg, miért hasznos számunkra a fenti lemma. Célunk egy véges állapotterű csatorna csatorna kapacitásának a meghatározása. A lemmában szereplő F (u_{1}, …, u_{M}) segítségével ezt a problémát természetes módon át tudjuk fogalmazni egy feltételes szélsőérték feladattá, ahol az F (u_{1}, …, u_{M}) függvény maximumát keressük a

∑_{i=1}^{M} u_{i} = 1 feltétel mellett.

Valóban, tekintsünk egy olyan csatornát, amelyre p(ṽ_{j}|v_{i}) = p(i, j), és legyen η egy

olyan valószínűségi változó, amelyre P (η = v_{i}) = u_{i}, 1 ≤ i ≤ M, (∑_{i=1}^{M} u_{i} = 1). Ha η̃

olyan valószínűségi változó, amelyre η és η̃ össze vannak kapcsolva ezzel a csatornával, akkor P (η̃ = ṽ_{j}) = y_{j}, 1 ≤ j ≤ N, és F (u_{1}, …, u_{M}) = I(η ∧ η̃). Innen látható, hogy a csatorna kapacitás meghatározása valóban a fent említett feltételes szélsőérték feladathoz vezet. Ilyen típusú feladatokat érdemes az úgynevezett Kuhn–Tucker tétel segítségével vizsgálni, és mi is ennek az eredménynek egy egyszerű speciális esetét fogjuk alkalmazni. Ahhoz azonban, hogy ezt megtehessük, tudnunk kell, hogy a lemmában definiált F függvény konkáv.

A lemma bizonyítása. Az F függvény folytonos, ha azt a határon úgy definiáljuk, ahogy az első megjegyzésben tettük. Ezen állítás egyetlen részletesebb indoklást igénylő része az, hogy az olyan (i, j) indexpárokra, amelyekre p(i, j) > 0 az u_{i}p(i, j) log \frac{p(i,j)}{y_{j}} függvény folytonos az olyan u pontokban is, amelyek i-ik koordinátája u_{i} = 0. Azt kell ellenőrizni, hogy ha u_{i}^{(n)} → 0, akkor u_{i}^{(n)}p(i, j) log _{\frac{p(i,j)}{y_{j}^{(n)}}} → 0. De ekkor _{\frac{p(i,j)}{y_{j}^{(n)}}} ≤ _{\frac{1}{u_{i}^{(n)}}} ,

ezért u_{i}^{(n)}p(i, j) log _{\frac{p(i,j)}{y_{j}^{(n)}}} ≤ u_{i}^{(n)}p(i, j) log _{\frac{1}{u_{i}^{(n)}}} → 0, és ezt kellett belátni. Ha u_{i} > 0

(és p(i, j) > 0), akkor y_{j} > 0, és az u_{i}p(i, j) log \frac{p(i,j)}{y_{j}} függvény folytonossága könnyen látható.

Az F függvény konkávitásának bizonyításához elég megmutatni, hogy a (\frac{∂^{2}F}{∂u_{k}∂u_{l}} ), 1 ≤ k, l ≤ M, mátrix negatív szemidefinit minden (u_{1}, …, u_{M}), u_{i} > 0, 1 ≤ i ≤ M pontban. (Mivel az F függvény folytonos elég csak azokat a pontokat tekinteni, amelyek koordinátái szigorúan pozitívak.) Számoljuk ki e mátrix elemeit. Felírhatjuk, hogy

\frac{∂F}{∂u_{k}} = ∑_{j: p(k,j)>0} p(k, j) log p(k, j)− ∑_{j: p(k,j)>0} p(k, j) log y_{j}−∑_{i=1}^{M} ∑_{j: p(k,j)>0} u_{i}p(i, j)\frac{p(k, j)}{y_{j}}.

Az utolsó kifejezésben szereplő kettős szumma valójában konstans. Ugyanis

∑_{i=1}^{M} ∑_{j: p(k,j)>0} u_{i}p(i, j)\frac{p(k, j)}{y_{j}} = ∑_{j: p(k,j)>0} \frac{p(k, j)}{y_{j}} (∑_{i=1}^{M} u_{i}p(i, j)) = ∑_{j=1}^{N} p(k, j)\frac{y_{j}}{y_{j}} = 1.

Innen

\frac{∂F}{∂u_{k}} = ∑_{j: p(k,j)>0} p(k, j) log \frac{p(k, j)}{y_{j}} − 1,  (3.2)

és mivel y_{j} > 0 az {(u_{1}, …, u_{M}): u_{i} > 0, 1 ≤ i ≤ M} halmazon

\frac{∂^{2}F}{∂u_{k}∂u_{l}} = −\frac{∂}{∂u_{l}} (∑_{j=1}^{N} p(k, j) log y_{j}) = − ∑_{j=1}^{N} \frac{p(k, j)p(l, j)}{y_{j}}.

Az F függvény konkávitásának a bizonyításához azt kell belátni, hogy tetszőleges ((α(1), …, α(M)) vektorra

∑_{k=1}^{M} ∑_{l=1}^{M} \frac{∂^{2}F}{∂u_{k}∂u_{l}} α(k)α(l) ≤ 0.

Viszont

∑_{k=1}^{M} ∑_{l=1}^{M} \frac{∂^{2}F}{∂u_{k}∂u_{l}} α(k)α(l) = − ∑_{k=1}^{M} ∑_{l=1}^{M} ∑_{j=1}^{N} \frac{p(k, j)p(l, j)}{y_{j}}α(k)α(l)

= − ∑_{j=1}^{N} \frac{1}{y_{j}} ∑_{k=1}^{M} ∑_{l=1}^{M} p(k, j)p(l, j)α(k)α(l) = − ∑_{j=1}^{N} \frac{1}{y_{j}} (∑_{k=1}^{M} p(k, j)α(k))^{2} ≤ 0.

Szükségünk lesz még az előző lemma egy kiegészítésére is, amelyik a \frac{∂F}{∂u_{k}} (u) parciális derivált viselkedését olyan u vektorokra is leírja, amelyeknek van 0 koordinátája. Amikor a k-ik koordináta szerinti parciális deriváltat tekintjük meg kell különböztetnünk azt az esetet, amikor az u vektor u_{k} koordinátája az u_{k} > 0 és amikor az u_{k} = 0 relációt teljesíti. Be fogjuk látni, hogy az első esetben a parciális derivált folytonos, és teljesíti a (3.2) formulát. A második esetben azt állítom, hogy ekkor is létezik (az egyoldali) parciális derivált, és az egyenlő a parciális derivált iránymenti határértékével. Ez az iránymenti határérék azonban végtelen is lehet.

Az, hogy a \frac{∂F}{∂u_{k}} (u) függvénynek létezik iránymenti határértéke az u = (u_{1}, …, u_{M}) pontban azt jelenti, hogy létezik a G_{k}(u) = lim_{t→0+} \frac{∂F}{∂u_{k}} (u+tũ) esetleg végtelennel egyenlő

határérték minden olyan ũ = (ũ_{1}, …, ũ_{M}) vektorra, amelynek k-ik koordinátája ũ_{k} = 1, és u + tũ ∈ A elég kis t > 0 számokra. Továbbá ez a határérték nem függ az ũ vektor választásától. A lim_{t→0+} azt jelenti, hogy szigorúan pozitív t > 0 számokkal tekintjük ezt a limeszt. (A most bevezetett iránymenti határértékhez hasonló fogalommal találkoztunk a komplex függvénytanban is, amikor egy hatványsor esetleges folytonosságát vizsgálják a hatványsor konvergenciakörének egy pontjában.) Nem nehéz megmutatni, hogy ha a G_{k}(u) iránymenti határérték létezik egy olyan u = (u_{1}, …, u_{M}) pontban, amelyre u_{k} = 0, akkor G_{k}(u) = \frac{∂F}{∂u_{k}} (u), ahol \frac{∂F}{∂u_{k}} (u) a megfelelő féloldali parciális deriváltat jelöli.

Kiegészítés az egy függvény konkávitásáról szóló lemmához. A lemmában tekintett F függvény \frac{∂F}{∂u_{k}} parciális deriváltja folytonos függvény az

A_{k} = {(u_{1}, …, u_{M}): u_{i} ≥ 0 minden 1 ≤ i ≤ M indexre, és u_{k} > 0}

halmazon minden 1 ≤ k ≤ M indexre, és teljesíti a (3.2) formulát.

Ha az u = (u_{1}, …, u_{M}) ∈ A pontban u_{k} = 0, akkor is létezik a \frac{∂F}{∂u_{k}} (u) függvény G_{k}(u) iránymenti határértéke az u pontban. Ha az ilyen u pontokban a \frac{∂F}{∂u_{k}} (u) parciális deriváltat úgy definiáljuk, mint ezen iránymenti határértéket, akkor a (3.2) formula érvényes lesz minden u ∈ A pontban. Ez az iránymenti határérték akkor és csak akkor véges, ha az y_{j} = y_{j}(u) számra y_{j} > 0 minden olyan j indexre, amelyre p(k, j) > 0.

Bizonyítás. Mivel u_{k} > 0 egy u = (u_{1}, …, u_{k}) ∈ A_{k} pontra, ezért az A_{k} halmaz pontjaiban y_{j} = y_{j}(u) ≥ u_{k}p(k, j) > 0 minden olyan j indexre, amelyre p(k, j) > 0. Ezt felhasználva kapjuk, hogy a (3.2) formula, illetve az ezen azonosság bizonyításában felhasznált formulák az u ∈ A_{k} pontokban is érvényesek. Ezután a (3.2) formula segítségével az is könnyen látható, hogy a \frac{∂F}{∂u_{k}} parciális derivált folytonos az A_{k} halmaz pontjaiban.

Ha u = (u_{1}, …, u_{M}) ∈ A olyan pont, amelyre u_{k} = 0, és az ũ = (ũ_{1}, …, ũ_{M}) pontra ũ_{k} = 1, és u + tũ ∈ A elég kis t > 0 számra, akkor az u + tũ ∈ A_{k} reláció is teljesül kis t > 0 számokra. Ezért a \frac{∂F}{∂u_{k}} (u + tũ) kifejezésre érvényes a (3.2) formula, és a \frac{∂F}{∂u_{k}} derivált iránymenti határértékének létezéséhez az u pontban azt kell ellenőrizni, hogy az e formula jobb oldalán szereplő kifejezésnek van az ũ vektortól független határértéke, amely egyenlő a (3.2) formula jobboldalán levő kifejezés értékével az u pontban. Ez azonban könnyen látható felhasználva, hogy lim_{t→0} y_{j}(u + tũ) = y_{j}(u) minden 1 ≤ j ≤ M indexre. Továbbá ez a limesz akkor és csak akkor végtelen, ha létezik olyan j index, amelyre p(k, j) > 0, és y_{j} = 0.

A másik lemma, amely hasznos lesz az egy véges állapotterű csatorna optimális bemenetének a jellemzésében az úgynevezett Kuhn–Tucker tételnek egy speciális és egyszerűbben bizonyítható esete. A Kuhn–Tucker tétel a konvex programozás egyik alapvető eredménye. Bár a Kuhn–Tucker tétel általános alakjára nem lesz szükségünk, röviden, bizonyítás nélkül ismertetni fogom ezt az eredményt is. A bizonyítás megtalálható például Jir̆í Matous̆ek és Bernd Gärtner Understanding and Using Linear Programming című könyvében (Proposition 8.7.2). Bizonyítani csak a következő eredményt fogom.

A Kuhn–Tucker tétel egy speciális esete. Legyen adva egy folytonos és konkáv F (u_{1}, …, u_{M}) függvény az A = {(u_{1}, …, u_{M}): u_{i} ≥ 0, 1 ≤ i ≤ M} halmazon, amelyre a \frac{∂F}{∂u_{k}} parciális derivált létezik és folytonos az A_{k} = \{(u_{1}, …, u_{M}): u_{i} ≥ 0, 1 ≤ i ≤ M, és u_{k} > 0\} halmazon minden 1 ≤ k ≤ M indexre, továbbá létezik a \frac{∂F}{∂u_{k}} parciális derivált iránymenti határértéke azon u = (u_{1}, …, u_{M}) ∈ A pontokban is, amelyekre u_{k} = 0. Definiáljuk a \frac{∂F}{∂u_{k}} parciális deriváltat ezekben a pontokban, mint ezt az

iránymenti deriváltat, és keressük az F (u_{1}, …, u_{M}) függvény maximumát a ∑_{i=1}^{M} u_{i} = 1

feltétel mellett, azaz az A ∩ B halmazon, ahol B = {(u_{1}, …, u_{M}): ∑_{i=1}^{M} u_{i} = 1}. Egy

ū = (ū_{1}, …, ū_{M}), ū ∈ A ∩ B, vektor akkor és csak akkor megoldása ennek a szélsőérték feladatnak, ha létezik olyan D < ∞ konstans, amelyre \frac{∂F}{∂u_{i}} (ū) ≤ D minden 1 ≤ i ≤ M indexre, és ebben a relációban egyenlőség áll azon i indexekre, amelyekre ū_{i} > 0.

Bizonyítás. Legyen ū = (ū_{1}, …, ū_{M}) a szélsőérték feladat megoldása. Válasszuk ki e vektor két ū_{i} és ū_{j} koordinátát úgy, hogy ū_{i} > 0. Jelölje u(i, j) azt az M-dimenziós vektort, amelynek az i-ik koordinátája −1, a j-ik koordinátája 1, és az összes többi koordinátája 0. Ekkor az ū(ϑ) = ū + ϑu(i, j) vektorra ū(ϑ) ∈ A ∩ B, sőt ū(ϑ) ∈ A_{i} ∩ A_{j} ∩ B, ha a ϑ > 0 szám elég kicsi. Innen azt kapjuk, hogy a g(ϑ) = \frac{F (ū(ϑ))−F (ū)}{ϑ} függvény kis ϑ > 0 paraméterrel teljesíti a

0 ≥ g(ϑ) = \frac{dF (u(ϑ))}{dϑ}(ϑ′) = (−\frac{∂F}{∂u_{i}} (ū + ϑ′ū(i, j)) + \frac{∂F}{∂u_{j}} (ū + ϑ′ū(i, j)))

relációt alkalmas 0 < ϑ′ < ϑ számmal. A ϑ → 0 határátmenetet alkalmazva ebben a képletben azt kapjuk, hogy \frac{∂F}{∂u_{j}} (ū) ≤ \frac{∂F}{∂u_{i}} (ū). Legyen D = \frac{∂F}{∂u_{i}} (ū). Ekkor \frac{∂F}{∂u_{j}} (ū) ≤ D minden 1 ≤ j ≤ M indexre. De mivel a fenti érvelésben tetszőleges olyan i indexet választhatunk, amelyre ū_{i} > 0 innen az is következik, hogy D = \frac{∂F}{∂u_{i}} (ū) minden olyan i indexre, amelyre ū_{i} > 0.

Megfordítva, legyen ū = (ū_{1}, …, ū_{M}) ∈ A∩B olyan vektor, amelyikre létezik olyan D < ∞ szám, amelyre \frac{∂F}{∂u_{i}} (ū) ≤ D minden 1 ≤ i ≤ M indexre, és ebben a relációban egyenlőség van azon i indexekre, amelyekre ū_{i} > 0. Ekkor, mivel F konkáv függvény

F (ϑu + (1 − ϑ)ū) ≥ ϑF (u) + (1 − ϑ)F (ū)

minden u ∈ A ∩ B vektorra és 0 ≤ ϑ ≤ 1 számra, ami úgy is írható, hogy

\frac{F (ū + ϑ(u − ū)) − F (ū)}{ϑ} ≥ F (u) − F (ū).

Másrészt, az F̄(s) = F (ū + s(u − ū)), 0 ≤ s ≤ 1, függvény segítségével azt írhatjuk, hogy

\frac{F (ū + ϑ(u − ū)) − F (ū)}{ϑ} = \frac{1}{ϑ} ∫_{0}^{ϑ} \frac{dF̄(s)}{ds} ds = \frac{1}{ϑ} ∫_{0}^{ϑ} ∑_{i=1}^{M} \frac{∂F}{∂u_{i}} (ū + s(u − ū))(u_{i} − ū_{i}) ds.

Innen ϑ → 0 határátmenettel kapjuk felhasználva \frac{∂F}{∂u_{k}} parciális deriváltak folytonossági tulajdonságait az ū pontban, hogy

∑_{i=1}^{M} \frac{∂F}{∂u_{i}} (ū)(u_{i} − ū_{i}) ≥ F (u) − F (ū).

Azt állítom, hogy ∑_{i=1}^{M} \frac{∂F}{∂u_{i}} (ū)(u_{i} − ū_{i}) ≤ 0. Valóban, abban a speciális esetben, amikor

\frac{∂F}{∂u_{i}} (ū) = D minden 1 ≤ i ≤ M indexre ez a reláció egyenlőséggel is érvényes, mert

∑_{i=1}^{M} ū_{i} = ∑_{i=1}^{M} u_{i} = 1 az u ∈ B és ū ∈ B feltétel miatt. A \frac{∂F}{∂u_{i}} (ū) < D szigorú

egyenlőtlenség csak olyan i indexekre érvényes, amelyekre ū_{i} = 0. Ezenkívül u_{i} ≥ 0 az u ∈ A reláció miatt, ezért ebben az esetben \frac{∂F}{∂u_{i}} (ū)(u_{i} − ū_{i}) ≤ D(u_{i} − ū_{i}). In-

nen ∑_{i=1}^{M} \frac{∂F}{∂u_{i}} (ū)(u_{i} − ū_{i}) ≤ ∑_{i=1}^{M} D(u_{i} − ū_{i}) = 0, amint állítottam. Azt kaptuk, hogy

F (u) − F (ū) ≤ 0 minden u ∈ A ∩ B vektorra, tehát a ū pont a vizsgált szélsőérték feladat megoldása. A tételt beláttuk.

Megfogalmazom a Kuhn–Tucker tétel eredeti alakját.

Kuhn–Tucker tétel. Tekintsük a

min f(x_{1}, …, x_{N})
Ax^{∗} = b^{∗}
x_{i} ≥ 0 minden 1 ≤ i ≤ N indexre

optimalizációs feladatot, ahol f(x_{1}, …, x_{N}) egy mindenütt differenciálható, konvex függvény, b = (b_{1}, …, b_{M}) ∈ R^{M}, A egy N×M méretű mátrix, x^{∗} az x vektor transzponáltját jelöli, és x = (x_{1}, …, x_{N}). Egy x̄ = (x̄_{1}, …, x̄_{N}) ∈ R^{N}, x_{i} ≥ 0, 1 ≤ i ≤ N, Ax̄^{∗} = b^{∗}, vektor akkor és csak akkor megoldása ennek az optimalizációs feladatnak, ha létezik olyan m = (m_{1}, …, m_{M}) ∈ R^{M} vektor, amelyre

\frac{∂f}{∂x_{j}} (x̄_{1}, …, x̄_{N}) + (m, a_{j}) \{ \begin{matrix}= 0 ha x̄_{j} > 0 \\ ≥ 0 ha x_{j} = 0, \end{matrix}

ahol a_{j} az A mátrix j-ik oszlopát, és (x, y) az x és y vektorok skalárszorzatát jelöli.

Az előzőleg tárgyalt konkáv függvény maximalizációs problémája átfogalmazható ilyen konvex optimalizációs problémává −1-gyel való szorzás segítségével. Az optimalizáció ott kimondott feltétele is átfogalmazható az e tételben kimondott alakra. Ebben az esetben az 1 × N méretű A mátrix szerepét a csupa 1 számot tartalmazó vektor játssza, és az 1 dimenziós m vektor −D-vel egyenlő, a tételben szerelő D számmal. Az e jegyzetben bizonyított tétel, — ha eltekintünk az F függvényre tett simasági feltételektől — a Kuhn–Tucker tétel speciális esetének tekinthető ezzel a szereposztással.

A Kuhn–Tucker tétel lényeges újdonsága az általunk tárgyalt eredményhez képest az, hogy több lineáris feltétel megkövetelése esetén is jellemzi az optimális megoldásokat. A bizonyítás lényegesen új gondolatok felhasználását igényelte. A tétel igazolásának fő nehézsége a benne szereplő feltétel szükségességének, vagyis annak a ténynek a bizonyítása, hogy ha egy x = (x_{1}, …, x_{N}) vektor megoldása a minimum feladatnak, akkor az teljesíti a megadott egyenlőségekből és egyenlőtlenségekből álló feltételt. Különösen fontos a feltételben szereplő m vektor megtalálása. Ezt meg lehet tenni a lineáris programozás dualitás tételének a segítségével. Az eredeti optimalizációs feladat megoldása teljesít egy lineáris optimalizációs feladatot (implicit módon definiált együtthatókkal), és az m vektor e lineáris programozási feladat duáljának a megoldása.

Maga a Kuhn–Tucker tétel jellege hasonlít a Lagrange-féle multiplikátor módszerre. A lényeges különbség a két eredmény között az, hogy a Kuhn–Tucker tétel az nemcsak szükséges, hanem elégséges feltételét is ad arra, hogy egy vektor az optimálizációs feladat megoldása legyen, és az optimum keresésekor a tartomány határpontjait is figyelembe veszi. Ennek viszont az az ára, hogy csak viszonylag speciális problémákat lehet ezzel a módszerrel vizsgálni. Így például a problémában szereplő kényszer feltételek lineárisak.

Az előzőleg igazolt eredmények segítenek az alábbi bizonyításban.

A véges állapotterű csatorna optimális bemenetének a jellemzéséről szóló tétel bizonyítása. Ha egy a a csatornával összekapcsolt η, η̃ valószínűségi változó pár p(v_{i}) = P (η = v_{i}) valószínűségeit az egy függvény konkávitásáról szóló lemmában szereplő u_{i}, a csatorna p(ṽ_{j}|v_{i}) átmenetvalószínűségeit az e lemmában szereplő p(i, j) számokkal azonosítjuk, akkor q(ṽ_{j}) = P (η̃ = ṽ_{j}) = y_{j} a szintén e lemmában szereplő y_{j} számokkal. Továbbá, ha η és η̃ két a csatornával összekapcsolt valószínűségi változó, és P (η = v_{i}) = u_{i}, 1 ≤ i ≤ M, akkor I(η ∧ η̃) = F (u_{1}, …, u_{M}) a lemmában definiált F (·) függvénnyel. Ezért egy olyan η, η̃ a csatornával összekapcsolt valószínűségi változó pár eloszlásának a jellemzése, amelyre I(η ∧ η̃) = C, ahol C a csatorna kapacitása, ekvivalens azzal a feladattal, hogy találjuk meg a lemmában definiált (konkáv) F (u_{1}, …, u_{M}), u_{i} ≥ 0,

1 ≤ i ≤ M, függvény maximumát a ∑_{i=1}^{M} u_{i} = 1 kényszerfeltétel mellett. E feladatban egy

folytonos függvény maximumát keressük egy kompakt halmazon, tehát ez a maximum létezik.

A keresett maximum megtalálása érdekében alkalmazhatjuk a A Kuhn–Tucker tétel egy speciális esete néven megfogalmazott állítást, mert a minket érdeklő feladatban e tétel feltételei teljesülnek. Továbbá a (3.2) formulában kiszámoltuk a \frac{∂F}{∂u_{k}} parciális deriváltakat. E képlet és az előbb említett tétel azt adják, hogy egy a csatornával összekapcsolt η, η̃ valószínűségi változó párra akkor és csak akkor teljesül az I(η∧η̃) = C reláció, ha az η̃ valószínűségi változó q(ṽ_{j}) = P (η̃ = ṽ_{j}), 1 ≤ j ≤ N, eloszlása teljesíti a

∑_{j=1}^{N} p(ṽ_{j}|v_{k}) log \frac{p(ṽ_{j}|v_{k})}{q(ṽ_{j})} = D, ha p(v_{k}) > 0,

∑_{j=1}^{N} p(ṽ_{j}|v_{k}) log \frac{p(ṽ_{j}|v_{k})}{q(ṽ_{j})} ≤ D, ha p(v_{k}) = 0

(3.3)

relációt valamilyen D < ∞ számmal minden 1 ≤ k ≤ M indexre. (A (3.3) formulában szereplő összegek úgy értendőek, hogy p(ṽ_{j}|v_{k}) log \frac{p(ṽ_{j}|v_{k})}{q(ṽ_{j})} = 0, ha p(ṽ_{j}|v_{k}) = 0.) A k-ik egyenletet vagy egyenlőtlenséget megszorozva p(v_{k})-val egyenlőséget kapunk minden k indexre. Ezeket összeadva azt kapjuk, hogy

∑_{k=1}^{M} ∑_{j=1}^{N} r(v_{k}, ṽ_{j}) log \frac{p(ṽ_{j}|v_{k})}{q(ṽ_{j})} = D,

ahol r(v_{k}, ṽ_{j}) = P (η = v_{k}, η̃ = ṽ_{j}), 1 ≤ k ≤ M, 1 ≤ j ≤ N. Ennek az egyenletnek a baloldala egyenlő az I(η ∧ η̃) = C számmal. Tehát egy a csatornával összekapcsolt η, η̃ valószínűségi változó párra akkor és csak akkor érvényes az I(η ∧ η̃) = C reláció, ha az η̃ valószínűségi változó q(ṽ_{j}) = P (η̃ = ṽ_{j}), 1 ≤ j ≤ M, eloszlása teljesíti a (3.3) relációt a D = C számmal. A tételt beláttuk.

Megfogalmazok egy lemmát, amely segít a csatorna kódolási tétel megfordításának a bizonyításában.

Felső becslés egy λ megkülönböztethető elemeket tartalmazó halmaz elemszámáról. Legyen adva adva két V = {v_{1}, v_{2}, … } és Ṽ = {ṽ_{1}, ṽ_{2}, … } véges vagy megszámlálható halmaz, és közöttük egy p(ṽ_{j}|v_{i}), v_{i} ∈ V, ṽ_{j} ∈ Ṽ, átmenetvalószínűségekkel definiált csatorna. Legyen η és η̃ két e csatornával összekapcsolt valószínűségi változó. Vezessük be a q(ṽ_{j}) = P (η̃ = ṽ_{j}), ṽ_{j} ∈ Ṽ, valószínűségeket és az

A(v_{i}) = \{ṽ_{j}: ṽ_{j} ∈ Ṽ , \frac{p(ṽ_{j}|v_{i})}{q(ṽ_{j})} ≥ 2^{ϑ}\} , v_{i} ∈ V,

halmazokat egy alkalmasan választott ϑ paraméterrel. Tegyük fel, hogy teljesül a

P (η̃ ∈ A(v_{i})|η = v_{i}) = ∑_{ṽ_{j}: p(ṽ_{j}|v_{i})≥2^{ϑ}q(ṽ_{j})} p(ṽ_{j}|v_{i}) ≤ γ  (3.4)

egyenlőtlenség valamely γ < 1 számmal minden v_{i} ∈ V pontra. Legyen γ + λ < 1 valamely λ > 0 számmal. Ekkor tetszőleges A = {v_{i_{1}}, …, v_{i_{N}} } ⊂ V λ megkülönböztethető pontokból álló halmaz N elemszámára N ≤ \frac{2^{ϑ}}{1−λ−γ}.

1. megjegyzés. A (3.4) formulában szereplő feltételes valószínűséget az ott felírt összegként definiáljuk abban az esetben is, ha P (η = v_{i}) = 0. Az A(v_{i}) halmaz definiciójában nem egyértelmű, hogy azok a ṽ_{j} ∈ Ṽ pontok, amelyekre mind a p(ṽ_{j}|v_{i}) = 0 mind a q(ṽ_{j}) = 0 azonosság teljesül beletartoznak-e az A(v_{i}) halmazba. Ennek azonban nincs jelentősége, mert az ilyen ṽ_{j} pontok hozadéka nulla a (3.4) képletben szereplő összegben. Kényelmi okokból azt fogom feltételezni, hogy az ilyen pontok nincsenek benne az A(v_{i}) halmazban.

2. megjegyzés. Mind itt, mind a csatorna kódolási tételben tekintettünk egy a csatornával összekapcsolt (η, η̃) valószínűségi változó párt. A csatorna kódolási tételben olyan (v_{i}, A(v_{i})), v_{i} ∈ V, A(v_{i}) ⊂ Ṽ párokat kerestünk, amelyekre A(v_{i}) = A(v_{i}, ϑ) = \{ṽ_{j}: \frac{q(ṽ_{j})}{p(ṽ_{j}|v_{i})} ≤ 2^{ϑ}\} egy kis ϑ számmal, és a P (η̃ ∈ A(v_{i})|η = v_{i}) feltételes valószínűség

nagy. Így tudtunk ugyanis olyan (v_{i}, B_{i}) párokat találni alkalmas, (diszjunkt) B_{i} ⊂ A(v_{i}) halmazokkal, amelyekre P (η̃ ∈ B_{i}|η = v_{i}) ≥ 1 − λ, és a B_{i} halmazok kicsik abban az értelemben, hogy a P (η̃ ∈ B_{i}) valószínűségek kicsik. A fenti, a csatorna kódolási tételt előkészítő eredményben azt állítjuk, hogy ha egy ellenkező írányú tulajdonság érvényes, nevezetesen, ha a P (η̃ ∈ A(v_{i}, ϑ)|η = v_{i}) feltételes valószínűségek kicsik minden v_{i} ∈ V feltétel esetén még viszonylag nagy ϑ számokra is, akkor csak viszonylag kevés λ megkülönböztethető v_{i} ∈ V elem létezik. (Ez az állítás kissé eltérő, de ekvivalens formában van megfogalmazva a fenti eredményben.) Ennek oka, mint a bizonyításból látszódni fog, az, hogy ebben az esetben minden olyan B ⊂ Ṽ halmazra, amelyre P (η̃ ∈ B|η = v_{i}) > 1 − λ, a P (η̃ ∈ B) valószínűség is nagy.

Bizonyítás. Adva egy A = {v_{i_{1}}, …, v_{i_{N}} } ⊂ V λ megkülönböztethető pontokból álló halmaz válasszunk olyan B_{1} ∈ Ṽ, …, B_{N} ∈ Ṽ diszjunkt halmazokat, amelyekre P (η̃ ∈ B_{k}|η = v_{i_{k}}) ≥ 1 − λ minden 1 ≤ k ≤ N indexre. Ekkor

1 − λ − γ ≤ P (η̃ ∈ B_{k} \ A(v_{i_{k}})|η = v_{i_{k}}) = ∑_{ṽ_{j}: ṽ_{j}∈B_{k}, p(ṽ_{j}|v_{i_{k}})≤2^{ϑ}q(ṽ_{j})} p(ṽ_{j}|v_{i_{k}})

≤ 2^{ϑ} ∑_{ṽ_{j}: ṽ_{j}∈B_{k}, p(ṽ_{j}|v_{i_{k}})≤2^{ϑ}q(ṽ_{j})} q(ṽ_{j}) = 2^{ϑ}P (η̃ ∈ B_{k} \ A(v_{i_{k}})) ≤ 2^{ϑ}P (η̃ ∈ B_{k})

minden 1 ≤ k ≤ N indexre. Összegezve ezeket az egyenlőtlenségeket minden 1 ≤ k ≤ N indexre és felhasználva, hogy a B_{k} halmazok diszjunktak azt kapjuk, hogy

N(1 − λ − γ) ≤ 2^{ϑ}.

A lemmát beláttuk.

A csatorna kódolási tétel megfordításának a bizonyítása. Legyen η′ és η̃′ két olyan egy V véges és C kapacitású csatornával összekötött valószínűségi változó, amelyekre I(η′ ∧η̃′) = C. Legyen (η_{1}, η̃_{1}), …, (η_{n}, η̃_{n}) az (η′, η̃′) véleten vektorral azonos eloszlású, független véletlen vektorok sorozata, amelyeket a V által meghatározott V^{n} emlékezet nélküli csatorna köt össze. Vezessük be az η = (η_{1}, …, η_{n}) és η̃ = (η̃_{1}, …, η̃_{n}) jelölést. A csatorna kódolási tétel megfordításának a bizonyításában az előbb bizonyított felső becslés eredményét fogom alkalmazni egy λ megkülönböztethető elemeket tartalmazó halmaz elemszámáról az η, η̃ valószínűségi változó párra és V^{n} csatornára a ϑ = Cn + K \begin{matrix}√ & \overline{n} \\ √ & \overline{1−λ} \end{matrix} paraméterrel, ahol K egy a csatornától függő elég nagy szám.

Ezen becslés alapján a csatorna kódolási tétel megfordításának a bizonyításához elég megmutatni, hogy

P ((η̃_{1}, …, η̃_{n}) ∈ A((v_{i_{1}}, …, v_{i_{n}}))|η_{1} = v_{i_{1}}, …, η_{n} = v_{i_{n}}) ≤ \frac{1 − λ}{2}  (3.5)

minden (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n} vektorra, ahol

A((v_{i_{1}}, …, v_{i_{n}}))

= \{(ṽ_{j_{1}}, …, ṽ_{j_{n}}): (ṽ_{j_{1}}, …, ṽ_{j_{n}}) ∈ Ṽ^{n}, \frac{∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}})}{∏_{k=1}^{n} q(ṽ_{j_{k}})} ≥ 2^{Cn+K\sqrt{n}/\sqrt{1−λ}}\} ,

egy elég nagy K > 0 konstanssal, mely képletben p(ṽ_{j}|v_{i}) jelöli az emlékezet nélküli csatornát meghatározó csatorna átmenetvalószínűségeit, és q(ṽ_{j}) = P (η̃′ = ṽ_{j}). Ugyanis, ha ez az egyenlőtlenség igaz, akkor az előbb említett felső becslés ϑ = Cn + K \begin{matrix}√ & \overline{n} \\ √ & \overline{1−λ} \end{matrix} és γ = \frac{1−λ}{2} szereposztással a tételben megfogalmazott eredményt szolgáltatja.

A bizonyítandó egyenlőtlenségnek megadjuk egy jobban vizsgálható, ekvivalens átfogalmazását. Ennek érdekében rögzítünk valamilyen v_{i_{1}} ∈ V, …, v_{i_{n}} ∈ V pontokat, és olyan ζ_{1}(v_{i_{1}}), …, ζ_{n}(v_{i_{n}}) független valószínűségi változókat definiálunk, amelyekre a ζ_{k}(v_{i_{k}}) valószínűségi változó eloszlását a P (ζ_{k}(v_{i_{k}}) = ṽ_{j}) = p(ṽ_{j}|v_{i_{k}}), ṽ_{j} ∈ Ṽ, képlet adja meg minden 1 ≤ k ≤ n indexre. Mivel P ((ζ_{1}(v_{i_{1}}), …, ζ_{n}(v_{i_{n}})) = (ṽ_{j_{1}}, …, ṽ_{j_{k}})) = P ((η̃_{1}, …, η̃_{n}) = (ṽ_{j_{1}}, …, ṽ_{j_{n}}))|η_{1} = v_{i_{1}}, …, η_{n} = v_{i_{n}}) minden (ṽ_{j_{1}}, …, ṽ_{j_{n}}) vektorra ezzel a jelöléssel a (3.5) egyenlőtlenség a következő alakban írható:

P ((ζ_{1}(v_{i_{1}}), …, ζ_{n}(v_{i_{n}})) ∈ A((v_{i_{1}}, …, v_{i_{n}}))

= P (∏_{i=1}^{n} \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))} ≥ 2^{Cn+K\sqrt{n}/\sqrt{1−λ}}) ≤ \frac{1 − λ}{2}.

Az utolsó formulában a valószínűségen belül logaritmust véve azt kapjuk, hogy a

P (∑_{i=1}^{n} log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))} ≥ Cn + \frac{K\sqrt{n}}{\sqrt{1 − λ}}) ≤ \frac{1 − λ}{2}  (3.6)

egyenlőtlenséget kell bizonyítanunk minden (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n} vektorra.

Vegyük észre, hogy a (3.6) formula szummájában szereplő tagok várható értéke

E log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))} = ∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i_{k}}) log \frac{p(ṽ_{j}|v_{i_{k}})}{q(ṽ_{j})}.

Továbbá, mivel I(η′ ∧ η̃′) = C, ahol C az emlékezet nélküli csatornát meghatározó csatorna csatorna kapacitása, ezt az egyenletet összehasonlítva a lemma az emlékezet nélküli csatorna kapacitásáról eredményében szereplő (3.1) képlettel azt kapjuk, hogy a tekintett várható érték kisebb vagy egyenlő, mint C, és a C számmal egyenlő azon v_{i_{k}} ∈ V pontokra, amelyekre P (η′ = v_{i_{k}}) > 0. Továbbá létezik olyan D < ∞ konstans, amelyre

E (log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))})^{2} = ∑_{ṽ_{j}∈Ṽ} p(ṽ_{j}|v_{i_{k}}) (log \frac{p(ṽ_{j}|v_{i_{k}})}{q(ṽ_{j})})^{2} ≤ D minden v_{i} ∈ V pontra,

mert a fenti kifejezésben egy olyan véges tagszámú összeg szerepel, amelynek mindegyik tagja véges. (Tudjuk, hogy ha p(ṽ_{j}|v_{i}) > 0, akkor q(ṽ_{j}) > 0, és csak véges sok különböző összeget kell tekintenünk.)

A most bizonyított összefüggések és a Csebisev egyenlőtlenség a következő becslést adják (3.6) képletben szereplő független valószínűségi változók összegének az eloszlására.

P (∑_{i=1}^{n} log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))} ≥ Cn + \frac{K\sqrt{n}}{\sqrt{1 − λ}})

≤ P (∑_{i=1}^{n} (log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))} − E log \frac{p(ζ_{k}(v_{i_{k}})|v_{i_{k}})}{q(ζ_{k}(v_{i_{k}}))}) ≥ \frac{K\sqrt{n}}{\sqrt{1 − λ}})

≤ \frac{Dn(1 − λ)}{K^{2}n} ≤ \frac{1 − λ}{2},

ha a K konstanst elég nagynak (K^{2} > 2D) választjuk. Így a (3.6) formulát, és ezzel a tételt is bebizonyítottuk.

Érdemes lehet heurisztikus szinten áttekinteni, hogy milyen gondolatokra épül a csatorna kódolási tételnek illetve e tétel megfordításának a bizonyítása.

Legyen (η, η̃) olyan a csatornával összekapcsolt valószínűségi változó pár, amelyre I(η ∧ η̃) = C, ahol C a csatorna kapacitása, vagy ha ilyen pár nincs akkor az I(η ∧ η̃) szám nagyon közel van ehhez a C értékhez. Annak bizonyítása, hogy alkalmas feltételek mellett mind a két tétel érvényes azon állítás igazolásán alapul, hogy egy n hosszúságú emlékezet nélküli csatornában az

A(v) = \{ṽ = (ṽ_{j_{1}}, …, ṽ_{j_{n}}) ∈ Ṽ_{n}: ∏_{k=1}^{n} \frac{p(ṽ_{j_{k}}|v_{i_{k}})}{q(ṽ_{j_{k}})} ∼ 2^{Cn}\}

halmaz teljesíti a P ((η̃_{1}, …, η̃_{n}) ∈ A(v)|(η_{1}, …, η_{n}) = v) ∼ 1 relációt tipikus v = (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n} pontokban, ahol (η_{1}, η̃_{1}), …, (η_{n}, η̃_{n}) az (η, η̃) párral azonos eloszlású, független véletlen vektorok sorozata, és q(ṽ_{j}) = P (η̃ = ṽ_{j}). (A csatorna kódolási tétel bizonyításában a ∼ 2^{Cn} kifejezés helyett ≥ 2^{Cn(1−o(1))}-t, a csatorna kódolási tétel megfordításának a bizonyításában pedig ≤ 2^{Cn(1+o(1))}-et érdemes írni az A(v) halmaz definiciójában.) A most használt ‘tipikus’ kifejezés első közelítésben azt jelenti, hogy a reláció igaz a v = (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n} vektorok majdnem egy valószínűségi halmazára azon valószínűségi mérték szerint, amelyet az (η_{1}, …, η_{n}) vektor eloszlása határoz meg. A bizonyítás részletesebb vizsgálata során a ‘tipikus’ szó jelentését pontosítani kell. Érdemes megjegyezni, hogy az A(v) halmazra felírt reláció

úgy is írható, hogy ∑_{k=1}^{n} log \frac{p(η̃_{k}|v_{i_{k}})}{q(η̃_{k})} ∼ Cn majdnem 1 valószínűséggel ha (η̃_{1}, …, η̃_{n})

eloszlását a P (η̃_{1} = ṽ_{j_{1}}, …, η̃_{n} = ṽ_{j_{n}}) = ∏_{k=1}^{n} p(v_{i_{k}})p(ṽ_{j_{k}}|v_{i_{k}}) képlet adja meg. Továbbá

E log \frac{p(η̃_{k}|η_{k})}{q(η̃_{k})} = ∑_{i,j} P (η_{k} = v_{i}, η̃_{k} = ṽ_{j}) log \frac{P (η_{k}=v_{i},η̃_{k}=ṽ_{j})}{P (η_{k}=v_{i})P (η̃_{k}=ṽ_{j})} = I(η_{k} ∧ η̃_{k}) = C. Ezért az

előbb felírt reláció olyan tényt fejez ki, hogy független valószínűségi változók összege közel van az összeg várható értékéhez.

Az A(v) halmazra megfogalmazott tulajdonság egyik következménye az, hogy egy tipikus v ∈ V^{n} pontra

P ((η̃_{1}, …, η̃_{n}) ∈ A(v)) = ∑_{ṽ∈A(v)} q(ṽ) = ∑_{ṽ∈A(v)} q(ṽ)\frac{p(ṽ|v)}{q(ṽ)} \frac{q(ṽ)}{p(ṽ|v)}

∼ 2^{−Cn} ∑_{ṽ∈A(v)} q(ṽ)\frac{p(ṽ|v)}{q(ṽ)} = 2^{−Cn} ∑_{ṽ∈A(v)} p(ṽ|v) ∼ 2^{−Cn},

ahol q(ṽ) = ∏_{k=1}^{n} q(ṽ_{j_{k}}), és p(ṽ|v) = ∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}). Ha egy olyan B(v) ⊂ Ṽ^{n} halmazt

keresünk egy v ∈ V^{n} ponthoz, amelyre P ((η̃_{1}, …, η̃_{n}) ∈ B(v)|(η_{1}, …, η_{n}) = v) ≥ 1 − λ valamely kis λ > 0 számra, akkor a B(v) halmaz az előbb definiált A(v) halmaz kis módosítása a P (·|(η_{1}, …, η_{n}) = v) mérték szerint. Sőt, néhány számunkra nem lényeges feltétel teljesülése esetén az is igaz, hogy az A(v) halmazhoz hasonlóan a B(v) halmaz teljesíti a P ((η̃_{1}, …, η̃_{n})) ∈ B(v)) ∼ 2^{−nC} relációt. Ezért, ha olyan (v^{(1)}, B^{(1)}), …, (v^{(N)}, B^{(N)}), v^{(k)} ∈ V^{n}, B^{(k)} ⊂ Ṽ^{n}, minden 1 ≤ k ≤ N indexre, párokat keresünk, amelyekre P ((η̃_{1}, …, η̃_{n}) ∈ B^{(k)}|(η_{1}, …, η_{n}) = v^{(k)}) > 1 − λ minden k indexre, és a B^{(k)} halmazok diszjunktak, akkor legfeljebb N = 2^{Cn(1+o(1)}) ilyen párt választhatunk, és ezt mondja ki a csatorna kódolási tétel megfordítása. A csatorna kódolási tétel viszont az állítja, hogy ennyi (v^{(k)}, B^{(k)}) párt ki is lehet választani.

Természetesen, az előbb vázolt gondolatmenetek pontos kidolgozása az érvelés finomítását igényli több ponton. Ezek részleteit azonban itt nem tárgyalom, mert a már leírt bizonyítás tartalmazza azokat. Csak egy figyelemre méltó részletet említek. A csatorna kódolási tétel megfordításában az A(v) halmazokra felírt aszimptotikus relációt nem elegendő csak ‘tipikus’ v ∈ V^{n} pontokra belátni, azokat minden v ∈ V^{n} pontra igazolni kell. Ez okozza a fő nehézséget e tétel bizonyításában. E probléma leküzdésében a véges állapotterű csatorna optimális bemenetének a jellemzéséről szóló tétel eredménye segít. Ez teszi lehetővé a vizsgálandó feltételes valószínűség becslését minden v ∈ V^{n} vektorra.

4. Kis hibájú és viszonylag gyors információ továbbítás a forrás és csatorna kódolási tétel segítségével.

E fejezetben a következő problémával fogunk foglalkozni. Legyen adva egy információ forrás, azaz legyen adva egy értékeit egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2} … } halmazon felvevő ξ valószínűségi változó, és legyen ξ_{1}, ξ_{2}, … független, és a ξ valószínűségi változóval azonos eloszlású valószínűségi változók sorozata, amit információ forrásnak fogunk nevezni. Legyen ezenkívül adva egy emlékezet nélküli csatorna, amelyet egy olyan csatorna határoz meg, amely valamely V = {v_{1}, v_{2}, … } bemeneti jelek halmazát átviszi kimeneti jelek valamely Ṽ = {ṽ_{1}, ṽ_{2}, … } halmazába, és p(ṽ_{j}|v_{i}) annak a feltételes valószínűsége, hogy a csatorna ṽ_{j} kimeneti jelet közli, feltéve, hogy a v_{i} bemeneti jelet adtuk le. A forrás jeleit akarjuk közölni a felhasználóval úgy, hogy az (emlékezet nélküli) csatornán leadjuk bemeneti jelek egy sorozatát, aminek hatására a felhasználó kimeneti jelek valamilyen sorozatát kapja, és ennek alapján próbálja rekonstruálni az információ forrás ξ_{1}, ξ_{2}, … értékeit.

Tegyük fel, hogy az információ forrás ξ_{1}, ξ_{2}, … jelei egységnyi sebességgel érkeznek, és mi is egységnyi sebességgel tudjuk továbbítani a v_{i} jeleket a csatornán keresztül. Olyan módszert szeretnénk kidolgozni, amely lehetővé teszi, hogy a felhasználó a forrás minden jelét ε-nál kisebb hibával rekonstruálni tudja, ahol ε > 0 egy előre rögzített nagyon kicsi szám. Emellett azt szeretnénk, hogy a felhasználó minden jelet annak megérkezése után véges időn belül megismerjen. Pontosabban megfogalmazva azt követeljük meg, hogy bármilyen nagy n számra a felhasználó az n-ik időpontban ismerje az összes 1 ≤ j ≤ n − K időintervallumban leadott ξ_{j} jelet, ahol K egy rögzített szám, amely függhet az ε hibakorláttól, de nem függ az n időponttól.

A következő két a forrás és csatorna kódolásról szóló eredményeken alapuló tételben azt mutatom meg, hogy ilyen információ továbbítás lehetséges akkor, ha a csatorna kapacitása nagyobb, mint a forrás entrópiája, de nem lehetséges akkor, ha a forrás entrópiája nagyobb, mint a csatorna kapacitása.

Tétel a jó információ továbbítás lehetőségéről, ha a csatorna kapacitása nagyobb, mint a forrás entrópiája. Legyen adva egy értékeit egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2} … } halmazon felvevő ξ valószínűségi változó és e ξ valószínűségi változóval azonos eloszlású, független ξ_{1}, ξ_{2}, … valószínűségi változók egy sorozata. Legyen ezenkívül adva egy emlékezet nélküli csatorna, amelyet egy olyan csatorna határoz meg, amely valamely V = {v_{1}, v_{2}, … } bemeneti jelek halmazát átviszi kimeneti jelek valamely Ṽ = {ṽ_{1}, ṽ_{2}, … } halmazába, és p(ṽ_{j}|v_{i}) annak a feltételes valószínűsége, hogy a csatorna a kimeneti oldalon a ṽ_{j} jelet közli, feltéve, hogy v_{i} volt a bemeneti jel. Tegyük fel, hogy a csatorna C csatorna kapacitása nagyobb, mint a ξ valószínűségi változó H(ξ) entrópiája. Egy rögzített ε > 0 számra alkalmazzuk a következő módszert annak érdekében, hogy megismertessük a ξ_{1}, ξ_{2}, … sorozat jeleit a felhasználóval.

Az ε > 0 számhoz válasszunk először egy n_{0} = n_{0}(ε) küszöbindexet, majd definiáljuk az emlékezet nélküli csatorna n_{0} hosszúságú bemeneti jeleiből álló V^{n_{0}} halmaznak egy A = A(n_{0}) = {v^{(n_{0})}(l) = (v_{1}(l), …, v_{n_{0}}(l)), 1 ≤ l ≤ N(n_{0})} ⊂ V^{n_{0}} részhalmazát valamely N = N(n_{0}) elemszámmal, és minden v^{(n_{0})}(l) ∈ A(n_{0}) vektorhoz adjunk meg az n_{0} hosszúságú kimeneti jelek egy egy alkalmas B_{l} ⊂ Ṽ^{n_{0}} részhalmazát úgy, hogy ezek a B_{l}, 1 ≤ l ≤ N(n_{0}), halmazok a Ṽ^{n_{0}} halmaz egy particióját adják. Definiáljunk ezenkívül egy f: X^{n_{0}} → A(n_{0}) függvényt, amelyet kódoló, és egy g: A(n_{0}) → X^{n_{0}} függvényt, amelyet dekódoló függvénynek fogunk nevezni.

Tekintsük a ξ_{1}, ξ_{2}, … sorozat egymást követő diszjunkt n_{0} hosszúságú ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}} blokkjait minden l = 0, 1, 2, … számra. Helyettesítsük be az l-ik blokk értékeit az f(·) kódfüggvénybe, azaz tekintsük a (véletlen) f(ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}}) ∈ A(n_{0}) sorozatot minden l = 1, 2, … indexre, és küldjük a felhasználónak a csatornán keresztül ezt a sorozatot. Ő végezze a kapott (véletlen) (ṽ_{j_{1}}, …, ṽ_{j_{n_{0}}} ) ∈ Ṽ^{n_{0}} sorozat dekódolását a következő módon. Válassza ki azt a B_{l} ∈ Ṽ^{n_{0}} halmazt, amelyre (ṽ_{j_{1}}, …, ṽ_{j_{n_{0}}} ) ∈ B_{l}, és vegye a neki megfelelő v_{l}^{(n_{0})} = (v_{i_{1}}(l), …, v_{i_{n_{0}}} (l)) ∈ A(n_{0}) sorozatot. Alkalmazza erre a sorozatra a g(·) dekódoló függvényt, azaz vegye a g(v_{i_{1}}(l), …, v_{i_{n_{0}}} (l)) ∈ X^{n_{0}} sorozatot, és válassza ezt a ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}} sorozatnak.

Az n_{0} küszöbindexet, az A = A(n_{0}) ⊂ V^{n_{0}} részhalmazt, a Ṽ^{n_{0}} halmaznak a v^{(n_{0})}(l) ∈ A(n_{0}) vektoroknak megfelelő B_{l}, 1 ≤ l ≤ N(n_{0}), particióját, valamint az f: X^{n_{0}} → A(n_{0}) kódoló és a g: A(n_{0}) → X^{n_{0}} dekódoló függvényt alkalmasan választva elérhetjük, hogy a felhasználó ezen eljárás segítségével legalább 1 − ε valószínűséggel a forrás által leadott ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}} sorozatot válassza a leadott sorozat l-ik blokkjának, azaz az l-ik blokkot legalább 1 − ε valószínűséggel jól dekódolja.

A tétel bizonyítása. Ha a csatorna kapacitása nagyobb, mint a forrás entrópiája, akkor létezik olyan δ > 0 szám, amelyre C > H(ξ) + 2δ. Válasszunk egy ilyen δ > 0 számot. Ekkor a csatorna kódolási tétel alapján van olyan n_{0} = n_{0}(ε, δ) küszöbindex, hogy minden n ≥ n_{0} indexre létezik egy 2^{(C−δ)n} ≥ N(n) ≥ 2^{(H(ξ)+δ)n} elemszámú A(n) ⊂ V^{n} halmaz, valamint a Ṽ^{n} halmaznak egy olyan B_{1}, …, B_{N(n)} particiója, amely teljesíti a P (B_{l}|v^{(n)}(l)) = ∑_{ṽ^{(n)}∈B_{l}} p(ṽ^{(n)}|(v^{(n)}(l)) ≥ 1 − \frac{ε}{2} egyenlőtlenséget a

v^{(n)}(l) = (v_{i_{1}}(l), …, v_{i_{n}}(l)) ∈ A(n) vektorra és a neki megfelelő B_{l} ⊂ Ṽ^{n} halmazra minden 1 ≤ l ≤ N(n_{0}) indexre, ahol p(ṽ^{(n)}|(v^{(n)}(l)) az emlékezet nélküli csatorna

átmenetvalószínűsége, azaz p(ṽ^{(n)}|(v^{(n)}(l)) = ∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}(l)) a ṽ^{(n)} = (ṽ_{j_{1}}, …, ṽ_{j_{n}}) és

v^{(n)}(l) = (v_{i_{1}}(l), …, v_{i_{n}}(l)) jelöléssel. Továbbá, mivel N(n) ≥ 2^{(H(ξ)+δ)n}, a második fejezetben bizonyított független, egyforma eloszlású valószínűségi változókból álló forrás kis hibájú kódolásáról és dekódolásáról szóló tétel alapján van olyan f: X^{n} → A(n), kódoló és g: A(n) → X^{n} dekódoló függvény, amelyre P (g(f(ξ_{1}, …, ξ_{n})) = (ξ_{1}, …, ξ_{n})) ≥ 1 − \frac{ε}{2}, ha n ≥ n_{0}(ε, δ) egy esetleg nagyobb n_{0} küszöbindexszel.

Válasszunk egy olyan n_{0} indexet, amelyre létezik a kívánt tulajdonságú A(n_{0}) ⊂ V^{n_{0}} halmaz a Ṽ^{n_{0}} halmaz hozzátartozó B_{1}, …, B_{N(n_{0})} particiójával együtt, valamint létezik a megfelelő tulajdonságú f kódoló és g dekódoló függvény is. Ezzel a választással a tételben leírt dekódolási eljárás hibája kisebb, mint ε. Valóban, tekintsük az információ forrás által leadott ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}} sorozat f(ξ_{ln_{0}+1}, …, ξ_{(l+1)n_{0}}) = v_{l}^{n_{0}} ∈ A(n_{0}) kódját. A felhasználó legalább 1− \frac{ε}{2} valószínűséggel azonosítani fogja ezt a jelet a csatornán keresztül kapott jel segítségével. Ezután a g(·) dekódoló függvény segítségével végzett dekódolás is legfeljebb \frac{ε}{2} valószínűséggel fogja döntése hibáját növelni.

A második tételt, amely azt állítja, hogy ha C < H(ξ) akkor nem lehetséges az adott módon kis hibájú, gyors adatátvitelt bizosítani csak abban az esetben bizonyítom, ha a tekintett csatorna véges állapotterű, mert csak ebben az esetben bizonyítottam a csatorna kódolási tétel megfordítását, amely fontos szerepet játszik ezen állítás igazolásában. Olyan állítást fogok bizonyítani, amely szerint a C < H(ξ) esetben minden 1 > ε > 0 számhoz megadható egy olyan n_{0} = n_{0}(ε) küszöbindex, hogy egy n ≥ n_{0} hosszúságú blokknak tetszőleges a csatornán kereszül történő továbbításának a hibája legalább 1 − ε. Azután egy következményben megmutatom, hogy a viszonylag rövid blokkoknak is bármely a csatornán keresztül történő továbbításának a hibája alulról becsülhető egy a forrástól és a csatornától függő pozitív számmal.

A tétel pontos megfogalmazása érdekében először azt definiálom, hogy mit jelent egy n hosszúságú sorozat továbbítása a csatornán keresztül. Az egyszerűbb jelölés érdekében csak a ξ_{1}, …, ξ_{n} sorozat csatornán keresztül történő továbbításáról fogok beszélni, bár a fogalmat hasonlóan definiálhatnánk és a megfelelő eredményt hasonlóan bizonyíthatnánk tetszőleges ξ_{l+1}, …, ξ_{l+n}, l = 0, 1, 2, …, sorozatra is.

Az ξ_{1}, …, ξ_{n} sorozat egy a csatornán keresztül történő továbbítását a következő mennyiségek segítségével fogjuk definiálni. Vezessünk be egy f: X^{n} → V^{n} kódfüggvényt, amely az n hosszúságú (x_{1}, …, x_{n}) ∈ X^{n} sorozatokat képezi a csatorna bemeneti jeleinek (v_{1}, …, v_{n}) ∈ V^{n} sorozataiba. Definiáljuk a csatorna Ṽ kimeneti jeleinek n hosszúságú sorozataiból álló Ṽ^{n} halmaznak egy N = N(n) elemű B_{1}, …, B_{N} particióját. Ezenkívül rendeljük hozzá e partició mindegyik B_{l}, 1 ≤ l ≤ N, eleméhez az X^{n} halmaz valamely x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) ∈ X^{n} elemét úgy, hogy a partició különböző elemeihez különböző sorozatot rendelünk hozzá, azaz x^{(n)}(l) ≠ x^{(n)}(l′), ha l ≠ l′. Alkalmazzuk a következő információ továbbítási és dekódolási eljárást. Ha megérkezik a forrásból a ξ_{1}, …, ξ_{n} sorozat, akkor alkalmazzuk rá az f kódfüggvényt. Így egy f(ξ_{1}, …, ξ_{n}) = (v_{i_{1}}, …, v_{i_{n}}) ∈ V^{n} sorozatot kapunk. Ezt átengedjük az emlékezet nélküli csatornán és kapunk egy (ṽ_{j_{1}}, …, ṽ_{j_{n}}) ∈ Ṽ^{n} sorozatot, amelyet tartalmaz a B_{1}, …, B_{N} partició egyik eleme. Ha (ṽ_{j_{1}}, …, ṽ_{j_{n}}) ∈ B_{l}, 1 ≤ l ≤ N, akkor legyen a dekódolt sorozat a B_{l} halmaznak megfeleltetett x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) sorozat. Jelöljük ezt az x^{(n)}(l) ‘dekódoló’ (véletlen) sorozatot (ζ_{1}, …, ζ_{n})-nel. Akkor tekintjük az információ továbbítási és dekódolási eljárást jónak, ha (ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n}).

A következő tételt fogom bizonyítani.

Tétel a jó információ továbbítás lehetőségeinek a korlátairól, ha a csatorna kapacitása kisebb, mint a forrás entrópiája. Legyen adva egy értékeit egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2} … } halmazon felvevő ξ valószínűségi változó és e ξ valószínűségi változóval azonos eloszlású, független ξ_{1}, ξ_{2}, … valószínűségi változók egy sorozata. Legyen ezenkívül adva egy emlékezet nélküli csatorna, amelyet egy olyan csatorna határoz meg, amely valamely V = {v_{1}, v_{2}, … } bemeneti jelek véges halmazát átviszi kimeneti jelek valamely Ṽ = {ṽ_{1}, ṽ_{2}, … } véges halmazába, és p(ṽ_{j}|v_{i}) annak a feltételes valószínűsége, hogy a csatorna kimeneti jele a ṽ_{j} pont, feltéve, hogy a bemeneti jele v_{i} volt. Tegyük fel, hogy a csatorna C csatorna kapacitása kisebb, mint a ξ valószínűségi változó H(ξ) entrópiája. Ekkor minden rögzített ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε) küszöbindex, amelyre igaz a következő állítás.

Adva egy n ≥ n_{0} szám, tekintsünk egy f: X^{n} → V^{n} kódfüggvényt, és vegyük a Ṽ^{n} halmaznak egy N = N(n) elemű B_{1}, …, B_{N} particióját. Ezenkívül rendeljük hozzá e partició mindegyik B_{l}, 1 ≤ l ≤ N, eleméhez az X^{n} halmaz egyik x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) ∈ X^{n} elemét úgy, hogy x^{(n)}(l) ≠ x^{(n)}(l′), ha l ≠ l′. Alkalmazzuk az ezen f kódfüggvény, B_{1}, …, B_{N} partició és B_{l} → X^{(n)} megfeleltetés által meghatározott az e tétel előtt leírt információ továbbítási és dekódolási eljárást. Ezen információ továbbítási és dekódolási eljárás hibája legalább 1 − ε, ha n ≥ n_{0} = n_{0}(ε), ami azt jelenti, hogy P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})) ≤ ε.

A tétel bizonyítása. Azt állítom, hogy ha H(ξ) > C, akkor minden ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε) küszöbindex, hogy ha az előbb leírt eljárást alkalmazzuk n ≥ n_{0} hosszúságú sorozatokra, akkor bárhogy is választjuk az f(·) kódoló függvényt, a Ṽ^{n} halmaz B_{1}, …, B_{N} particióját és bárhogy is adjuk meg a B_{l} halmaz elemeinek a B_{l} → x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) hozzárendelését az X^{n} halmaz valamely eleméhez, a dekódolás legfeljebb ε valószínűséggel ad helyes eredményt, azaz P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})) ≤ ε.

A bizonyítást indirekt módon végzem el. Feltételezem, hogy van olyan n ≥ n_{0} szám bármely n_{0} küszöbindexre, amelyre létezik olyan f(·) kódfüggvény, a Ṽ^{n} halmaz olyan B_{1}, …, B_{N} particiója, illetve e particióknak olyan B_{l} → x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) megfeleltetése, amelyre a tétel megfogalmazása előtt leírt módon konstruált (ζ_{1}, …, ζ_{n}) sorozatra P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})) ≥ ε. Megmutatom, hogy e feltevésből következik egy olyan állítás, ami ellentmond a csatorna kódolási tétel megfordításában megfogalmazott eredménynek. Olyan nagy N számra fogok N darab v^{(n)}(l) ∈ V pontot és diszjunkt, a p(B_{(u(l)}|v^{(n)}(l)) ≥ ε tulajdonságot teljesítő B_{u(l)} ∈ Ṽ, 1 ≤ l ≤ N, halmazt konstruálni, amekkora N szám esetén ez az említett eredmény szerint ez nem lehetséges.

Mivel H(ξ) > C, választhatunk olyan δ > 0 számot, amelyre H(ξ)(1 − δ)^{4} > C. Először azt mutatom meg, hogy feltevésünkből következik, hogy ha n ≥ n_{0} = n_{0}(ε, δ) valamely n_{0} küszöbindexszel akkor létezik N_{1} = N_{1}(n) ≥ 2^{(1−δ)^{2}H(ξ)n} darab olyan x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) ∈ X^{n} sorozat, amelyekre

P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})|(ξ_{1}, …, ξ_{n}) = x^{(n)}(l)) ≥ \frac{ε}{2} minden 1 ≤ l ≤ N_{1} indexre.

Ezt igazolandó, vegyük észre, hogy ha definiáljuk az

\begin{aligned}A = A(n) & = \{(x_{i_{1}}, …, x_{i_{n}}): (x_{i_{1}}, …, x_{i_{n}}) ∈ X^{n}, \\ & P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})|(ξ_{1}, …, ξ_{n}) = (x_{i_{1}}, …, x_{i_{n}})) ≥ \frac{ε}{2}\} \end{aligned} (4.1)

halmazt, akkor P ((ξ_{1}, …, ξ_{n}) ∈ A) ≥ \frac{ε}{2}. Ugyanis feltevésünk szerint

ε ≤ P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})) ≤ P ((ξ_{1}, …, ξ_{n}) ∈ A) + \frac{ε}{2}(1 − P ((ξ_{1}, …, ξ_{n}) ∈ A)),

ahonnan következik ez az állítás. Viszont innen az is következik, hogy ha n ≥ n_{0} egy elég nagy n_{0} számmal, akkor az A(n) halmaz elemszáma nagyobb, mint 2^{(1−δ)^{2}H(ξ)n}. Valóban, vezessük be az

A_{1} = A_{1}(n) = {(x_{i_{1}}, …, x_{i_{n}}): (x_{i_{1}}, …, x_{i_{n}}) ∈ X^{n},
P ((ξ_{1}, …, ξ_{n}) = (x_{i_{1}}, …, x_{i_{n}})) < 2^{−(1−δ)H(ξ)n}}

halmazt. Láttuk korábban, hogy P ((ξ_{1}, …, ξ_{n}) ∈ A_{1}) ≥ 1 − \frac{ε}{4}. Ezért P ((ξ_{1}, …, ξ_{n}) ∈ A ∩ A_{1}) ≥ \frac{ε}{4}, ahonnan az A ∩ A_{1}, következésképpen az A = A(n) halmaz elemszáma nagyobb, mint \frac{ε}{4}2^{(1−δ)H(ξ)n} ≥ 2^{(1−δ)^{2}H(ξ)n}, és valójában az A halmaz elemszámára ilyen alsó becslést kívántunk adni.

Tekintsük a (4.1) formulában definiált A(n) halmazt, és soroljuk fel az elemeit A(n) = {x^{(n)}(l), 1 ≤ l ≤ N(n)} alakban. Láttuk, hogy N(n) ≥ 2^{(1−δ)^{2}H(ξ)n}. Feleltessünk meg mindegyik x^{(n)}(l) ∈ A(n) vektornak azt a (v^{(n)}(l), B_{u(l)}) párt, amelyre v^{(n)}(l) = f(x^{(n)}(l)) ∈ V^{n} a tekintett modellben szereplő f(·) kódfüggvénnyel, és B_{u(l)} ⊂ Ṽ^{(n)} a Ṽ^{(n)} halmaz B_{1}, …, B_{N} particiójának az a B_{r} eleme, amelyre a tekintett modellben adott megfeleltetésben a B_{r} → x^{(n)}(l) reláció teljesül. (Létezik egy ilyen B_{r} halmaz a P ((ζ_{1}, …, ζ_{n}) = x^{(n)}(l)|(ξ_{1}, …, ξ_{n}) = x^{(n)}(l)) > 0 tulajdonság miatt.) Vegyük észre, hogy

p(B_{u(l)}|v^{(n)}(l)) = ∑_{ṽ^{(n)}∈B_{u(l)}} p(ṽ^{(n)}|v^{(n)}(l)) ≥ \frac{ε}{2},

ahol p(ṽ^{(n)}|v^{(n)}(l)) az emlékezet nélküli csatorna átmenetvalószínűsége, azaz

p(ṽ^{(n)}|v^{(n)}(l)) = ∏_{k=1}^{n} p(ṽ_{j_{k}}|v_{i_{k}}(l)),

ha ṽ^{(n)} = (ṽ_{j_{1}}, …, ṽ_{j_{n}}), és v^{(n)}(l) = (v_{i_{1}}(l), …, v_{i_{n}}(l)). A felírt egyenlőtlenség azért igaz, mert annak a valószínűségét tekintettük, hogy ha egy x^{(n)}(l) ∈ A(n) sorozatot veszünk, tekintjük annak az f(·) leképezés szerinti v^{(n)}(l) = f(x^{(n)}(l)) képét, azt átengedjük a csatornán, majd a kapott jelet az általunk leírt módon dekódoljuk, akkor a kapott (ζ_{1}, …, ζ_{n}) sorozat teljesíti a (ζ_{1}, …, ζ_{n}) = x^{(n)}(l) azonosságot. Ennek valószínűsége pedig legalább \frac{ε}{2}. Vegyük észre azt is, hogy bár lehetséges, hogy v^{(n)}(l) = v^{(n)}(l′) akkor is, ha l ≠ l′, azaz lehet két különböző x^{(n)}(l) ∈ A(n) és x^{(n)}(l′) ∈ A(n) vektor, amelyekre l ≠ l′, és f(x^{(n)}(l)) = f(x^{(n)}(l′)), viszont bármely v^{(n)} ∈ V^{n} vektorra az f(x^{(n)}(l)) = v^{(n)} reláció legfeljebb \frac{2}{ε} különböző l indexre állhat fenn. Valóban, mivel a B_{u(l)} halmazok diszjunktak különböző l indexekre, ezért

∑_{l:f(x^{(n)}(l))=v^{(n)}} p(B_{u(l)}|v^{(n)}(l)) = p ( ⋃_{l:f(x^{(n)}(l))=v^{(n)}} B_{u(l)}| v^{(n)}) ≤ 1,

és az összeg mindegyik tagjának az értéke legalább \frac{ε}{2}. Ezért igaz ez az állítás.

Tekintsük a C = C(n) = {v^{(n)}(l) = f(x^{(n)}(l)): x^{(n)}(l) ∈ A(n)} halmazt, ahol v^{(n)}(l) = v^{(n)}(l′) esetén e két vektor közül csak az egyiket soroljuk fel a C = C(n) halmaz definiciójában. Társítsuk mindegyik v^{(n)}(l) ∈ C vektorhoz a neki megfelelő B_{u(l)} halmazt a Ṽ^{n} halmaz B_{1}, …, B_{N} particiójából. Láttuk, hogy p(B_{u(l)}|v^{(n)}(l)) ≥ \frac{ε}{2}, ami azt jelenti, hogy a C halmaz elemei a csatornára nézve \frac{ε}{2} megkülönböztethető elemek. Másrészt azt is láttuk, hogy a C halmaz elemszáma nagyobb, mint \frac{ε}{2}2^{(1−δ)^{2}H(ξ)n} ≥ 2^{(1−δ)^{3}H(ξ)n} ≥ 2^{Cn/(1−δ)}, ha n ≥ n_{0}. Ez viszont ellentmond a a csatorna kódolási tétel megfordításának. Ezért ilyen tulajdonságú legalább ε pontosságú információ továbbítás és dekódolás nem létezhet, ha n ≥ n_{0}(ε) egy elég nagy n_{0} számmal.

Következmény. Tekintsük azt az esetet, amikor teljesüljenek a jó információ továbbítás lehetőségeinek a korlátairól szóló tétel feltételei, speciálisan H(ξ) > C. Rögzítsünk egy tetszőleges n ≥ 1 számot, definiáljunk egy f: X^{n} → V^{n} kódfüggvényt, és vegyük a Ṽ^{n} halmaznak egy N = N(n) elemű B_{1}, …, B_{N} particióját. Ezenkívül rendeljük hozzá e partició mindegyik B_{l}, 1 ≤ l ≤ N, eleméhez az X^{n} halmaz egyik x^{(n)}(l) = (x_{i_{1}}(l), …, x_{i_{n}}(l)) ∈ X^{n} elemét úgy, hogy x^{(n)}(l) ≠ x^{(n)}(l′), ha l ≠ l′. Alkalmazzuk azt az ezen f kódfüggvény, B_{1}, …, B_{N} partició és B_{l} → X^{(n)} megfeleltetés által meghatározott információ továbbítási és dekódolási eljárást, amelyet az előbbi tétel megfogalmazása előtt vezettem be. Létezik olyan a forrástól és csatornától függő, de az n számtól független α > 0 szám, hogy ezen információ továbbítási és dekódolási eljárás hibája legalább α, azaz P ((ξ_{1}, …, ξ_{n}) = (ζ_{1}, …, ζ_{n})) ≤ 1 − α.

A következmény indoklása. Azt kell megindokolni, hogy a H(ξ) > C esetben kis n számokra sem lehet n hosszúságú blokkok segítségével nagyon jó információ továbbítást elérni. Beláttuk, hogy ha H(ξ) > C, akkor minden ε > 0 számhoz létezik olyan n_{0} = n_{0}(ε) küszöbindex, hogy az n ≥ n_{0} számokra minden n hosszúságú blokkokon alapuló információ továbbítás és dekódolás hibája legalább ε. Ezt az eredményt fogjuk alkalmazni ε = \frac{1}{2} választással. Tekintsük az n_{0} = n_{0}(\frac{1}{2}) küszöbindexet. Azt állítom, hogy az n < n_{0} hosszúságú blokkokon alapuló információ továbbítás és dekódolás hibája nagyobb vagy egyenlő, mint \frac{1}{2n_{0}} . Innen adódik a Következmény állítása.

A bizonyítás alapgondolata az, hogy ha létezne olyan módszer, amely \frac{1}{2n_{0}} -nél kisebb dekódolási hibát biztosít, akkor ezt alkalmazva n_{0} egymás utáni blokkra olyan információ továbbítási és dekódolási eljárást kapnánk valamely n_{0}-nál hosszabb blokkra, amelynek a hibája kisebb, mint \frac{1}{2}. Viszont tudjuk, hogy ez nem lehetséges.

Valóban, rögzítsünk egy n < n_{0} számot. Egy n hosszúságú blokkokon alapuló információ továbbítást és dekódolást egy f: X^{n} → V^{n} kódoló függvény, a Ṽ^{n} halmaz egy B_{1}, …, B_{N} particiója valamint e partició elemeinek egy B_{l} → x^{(n)}(l), 1 ≤ l ≤ N, leképezése az X^{n} térbe határoz meg. Definiáljunk e mennyiségeknek megfelelő objektumokat az n_{0}n hosszúságú sorozatok terén a következő módon. Definiáljuk az f̄ kódolási függvényt, amely az X^{n_{0}n} teret a V^{n_{0}n} térbe képezi az f̄(x_{1}, …, x_{n_{0}n}) = (f(x_{kn+1}, …, x_{(k+1)n}), k = 0, …, n_{0} − 1) képlet segítségével, a Ṽ^{n_{0}n} halmaz N^{n_{0}} elemű particióját pedig a következő módon: E partició elemei a B(l_{i(1)}, …, l_{i(n_{0})}) = B_{l_{i(1)}} × ⋯ × B_{l_{i(n_{0})}} halmazok, ahol 1 ≤ i(j) ≤ N minden 1 ≤ j ≤ n_{0} indexre. Végül e partició B(l_{i(1)}, …, l_{i(n_{0})}) elemének a x^{(n)}(l_{i(1)}) × ⋯ × x^{(n)}(l_{i(n_{0})}) ∈ X^{n_{0}n} vektort feleltetjük meg.

Nem nehéz belátni, hogy ha az eredeti n hosszúságú blokkokon alapuló információ továbbításban és dekódolásában a ξ_{ln+1}, …, ξ_{(l+1)n}, 0 ≤ l < n_{0}, blokkok hibás dekódolásának a valószínűsége kisebb, mint \frac{1}{2n_{0}} , (a dekódolás hibája nem függ az l számtól), akkor az n_{0}n hosszúságú sorozatok ‘szorzatterében’ az új objektumok által meghatározott információ továbbítás és dekódolás hibájának a valószínűsége kisebb, mint n_{0} \frac{1}{2n_{0}} = \frac{1}{2}. Ugyanis a ‘szorzattérben’ az új dekódolás valójában úgy működik, hogy az egyes kn+1 ≤ n̄ ≤ (k+1)n blokkokat, k = 0, …, n_{0}−1, egymástól függetlenül az n hosszúsági blokkokon érvényes szabály szerint továbbítjuk a csatornán keresztül, majd dekódoljuk őket. Ha ezen n_{0} blokk dekódolása mindegyik k-ra kevesebb, mint \frac{1}{2n_{0}} valószínűséggel hibás, akkor igaz az említett becslés. De mivel az n_{0}n hosszú sorozatokkal végzett dekódolások hibája legalább \frac{1}{2}, innen következik az n < n_{0} hosszú sorozatok hibájáról megfogalmazott állítás.

5. Az entrópia fogalmának Kolmogorov-féle általánosítása és e fogalom alkalmazása egy probléma vizsgálatában.

Ebben a fejezetben egy olyan problémát fogok tárgyalni, amelynek látszólag nincs köze az információelmélethez. Mégis, meglepő módon, e probléma megoldásában kulcsszerepet játszik az entrópia, pontosabban e fogalom egy alkalmas általánosítása. A vizsgálandó kérdés megfogalmazásának érdekében először felidézem a valószínűségszámításban gyakran használt Bernoulli rendszer definicióját.

A Bernoulli rendszer definiciójának megadása előtt ismertetem annak informális leírását. Veszünk egy (Ω, A, P) valószínűségi mezőt, és azon egy véges sok, mondjuk az 1, 2, …, r értékeket felvevő ξ valószínűségi változót. Minden egész l számra tekintjük ennek a rendszernek egy ezzel az l számmal indexelt példányát, és vesszük ezek direkt szorzatát. Ezután definiáljuk azt az eltolást ezen a szorzattéren, amelynek hatására a ξ_{l} valószínűségi változó a ξ_{l+1} változóba megy át. Alább egy olyan rendszert definiálunk, ahol ilyen valószínűségi változókat és azok eltoltjait természetes módon be lehet vezetni.

Bernoulli rendszer definiciója. Legyen adva egy r ≥ 2 egész szám, és olyan p_{j} ≥ 0,

1 ≤ j ≤ r, számok, amelyekre ∑_{j=1}^{r} p_{j} = 1. Az r ≥ 2, és p_{j}, 1 ≤ j ≤ r, számok

által meghatározott Bernoulli rendszeren az alábbi (Ω, A, P) valószínűségi mezőt és az Ω halmazon definiált T úgynevezett shift (eltolás) transzformációt értjük. Az Ω halmaz elemei azon ω = (…, x_{−1}, x_{0}, x_{1}, …) sorozatok, amelyekre x_{j} ∈ {1, …, r}, minden −∞ < j < ∞ indexre. Az A σ-algebra az alábbi A(k, j_{−k}, …, j_{k}) ⊂ Ω úgynevezett hengerhalmazok által generált legszűkebb σ-algebra:

A(k, j_{−k}, …, j_{k}) = {ω = (…, x_{−1}, x_{0}, x_{1}, …): x_{s} = j_{s}, −k ≤ s ≤ k},

ahol k tetszőleges pozitív egész szám, és j_{s} ∈ {1, …, r} minden −k ≤ s ≤ k indexre. A

hengerhalmazok P valószínűségét a P (A(k, j_{−k}, …, j_{k}) = ∏_{s=−k}^{k} p_{j_{s}} képlet adja meg, és

a P mérték e valószínűség kiterjesztése a A σ-algebrára. Végül egy

ω = (…, x_{−2}, x_{−1}, x_{0}, x_{1}, …) ∈ Ω

elemi esemény T ω shiftje (eltoltja) a

T ω = (…, x_{−1}, x_{0}, x_{1}, x_{2} …) ∈ Ω

sorozat, azaz az ω-t definiáló sorozat x_{s}, s-ik koordinátáját eggyel eltoljuk balra. Ez azt jelenti az x_{s} szám a T ω-t definiáló sorozat s − 1-ik koordinátájában jelenik meg.

Megjegyzés. A Bernoulli rendszerek definiciójában nem jelentek meg az e fogalom informális ismertetésében említett ξ_{l}, l = 0, ±1, …, független és egyforma eloszlású valószínűségi változók. De ilyen valószínűségi változókat egyszerű és természetes módon definiálhatunk egy Bernoulli rendszerben. Nevezetesen, legyen ξ_{l}(ω) = x_{l}, l = 0, ±1, …, ha ω = (…, x_{−1}, x_{0}, x_{1}, …).

Azzal a kérdéssel fogunk foglalkozni, hogy két különböző Bernoulli rendszer mikor izomorf egy alább ismertetendő természetes izomorfia fogalom szerint, mely izomorfia szemléletesen a két dinamikus rendszer hasonlóságát fejezi ki. Érdemes ezt a kérdést általánosabban megfogalmazni. Bevezetem az (invertálható shift transzformációval rendelkező) dinamikus rendszerek fogalmát, és definiálom ezek izomorfiáját. A minket érdeklő kérdés arról szól, hogy bizonyos speciális dinamikus rendszerek mikor izomorfak.

(Invertálható) dinamikus rendszerek definiciója. Egy (Ω, A, P) valószínűségi mezőt, és egy az Ω halmazt önmagába képező, mérhető T leképezést dinamikus rendszernek nevezünk, ha T mértéktartó transzformáció, azaz P (T^{−1}(A)) = P (A) minden A ∈ A halmazra. Egy dinamikus rendszert invertálhatónak nevezünk, ha a T transzformáció automorfizmus, azaz minden ω ∈ Ω pontra pontosan egy olyan ω̃ ∈ Ω pont van, amelyre T ω̃ = ω.

Nem nehéz belátni, hogy egy Bernoulli rendszer (az ott definiált) shift transzformációval invertálható dinamikus rendszer. A jobb érthetőség kedvéért mutatok egy a Bernoulli rendszerhez hasonló nem invertálható dinamikus rendszert, amelyet féloldali Bernoulli rendszernek fogok nevezni.

Féloldali Bernoulli rendszer definiciója. Legyen adva egy r ≥ 2 egész szám,

és olyan p_{j} ≥ 0, 1 ≤ j ≤ r, számok, amelyekre ∑_{j=1}^{r} p_{j} = 1. Az r ≥ 2, és p_{j},

1 ≤ j ≤ r, számok által meghatározott féloldali Bernoulli rendszeren az alábbi (Ω, A, P) valószínűségi mezőt és az Ω halmazon definiált T úgynevezett shift (eltolás) transzformációt értjük. Az Ω halmaz elemei azon ω = (x_{0}, x_{1}, …) sorozatok, amelyekre 1 ≤ x_{j} ≤ r, és x_{j} egész szám minden 0 ≤ j < ∞ indexre. Az A σ-algebra az Ω halmaz az alábbi A(k, j_{0}, …, j_{k}) úgynevezett hengerhalmazok által generált σ-algebra: A(k, j_{0}, …, j_{k}) = {ω = (x_{0}, x_{1}, x_{2}, …): x_{s} = j_{s}, 0 ≤ s ≤ k}, k = 1, 2, …, 1 ≤ j_{s} ≤ r minden 0 ≤ s ≤ k indexre. A hengerhalmazok P valószínűségét a P (A(k, j_{0}, …, j_{k}) =

∏_{s=0}^{k} p_{j_{s}} képlet adja meg, és a P mérték e valószínűség kiterjesztése a A σ-algebrára.

Végül egy ω = (x_{0}, x_{1}, x_{2}, …) ∈ Ω elemi esemény T ω shiftje a T ω = (x_{1}, x_{2}, x_{3}, …) ∈ Ω sorozat, azaz az ω-t definiáló sorozat x_{s}, s-ik koordinátáját eggyel eltoljuk balra, és az x_{0} koordináta ‘elveszik’.

Legyen adva két (Ω, A, P, T) és (Ω̃, Ã, P̃, T̃) dinamikus rendszer. Természetesnek látszana ezek valamely φ izomorfiáját úgy definiálni, mint az Ω halmaznak olyan kölcsönösen egyértelmű, mértéktartó φ leképezését az Ω̃ halmazba, amely a T shift transzformációt a T̃ shift transzformációba viszi, azaz φ(T ω) = T̃φ(ω) minden ω ∈ Ω pontban. Mint a következő példa mutatja, érdemes ezt a definiciót kissé finomítani. Lehetséges ugyanis, hogy valamelyik dinamikus rendszernek van egy olyan rossz null mértékű részhalmaza, amely kizárja az ilyen értelemben vett izomorfiát, de ha ezt a null mértékű halmazt elhagyjuk akkor minden rendben lesz.

Tekintsük a következő példát. Vegyük azt az (Ω, A, P) valószínűségi mezőt, amelyre Ω = {1}, A az Ω halmaz összes részhalmaza, (ez valójában az {1} halmaz és az üres halmaz), és P ({1}) = 1. Definiáljuk a T shift transzformációt az Ω halmazon, mint az identitás transzformációt. Vezessük be az (Ω̃, Ã, P̃) valószínűségi mezőt, amelyre Ω̃ = {0, 1}, Ã az Ω̃ halmaz összes részhalmaza, P̃({1}) = 1, és P̃({0}) = 0. Definiáljuk a T̃ shift transzformációt az Ω̃ halmazon, mint az identitás transzformációt. Ekkor, mind (Ω, A, P, T) mind (Ω̃, Ã, P̃, T̃) dinamikus rendszer egy invertálható shift transzformációval. A két rendszer nem izomorf az előbb vázolt értelemben, mert Ω egy, Ω̃ pedig két elemből áll. Viszont a Ω̃ halmazból kihagyva a null mértékű {0} halmazt már két izomorf dinamikus rendszert kapunk. Ezért érdemes dinamikus rendszerek izomorfiáját az alább megadandó módon definiálni, mert az jobban kifejezi két dinamikus rendszer hasonlóságát. A definició szemléletes tartalma az, hogy két dinamikus rendszert akkor tekintünk izomorfnak, ha egy rossz null mértékű halmazt kihagyva mind a két dinamikus rendszerből olyan rendszereket kapunk, amelyek az előbb jelzett erősebb értelemben is izomorfak.

Dinamikus rendszerek izomorfiájának a definiciója. Legyen adva két (Ω, A, P, T) és (Ω̃, Ã, P̃, T̃) dinamikus rendszer. A két rendszer izomorf, ha létezik két olyan Ω_{0} ∈ A és Ω̃_{0} ∈ Ã halmaz és egy (mérhető) kölcsönösen egyértelmű φ: Ω_{0} → Ω̃_{0} leképezés, amelyekre

1.) P (Ω_{0}) = 1, P̃(Ω̃_{0}) = 1, az Ω_{0}, és Ω̃_{0} halmazok invariánsak a T illetve T̃ shift transzformációra, azaz Ω_{0} ⊂ T^{−1}Ω_{0}, és Ω̃_{0} ⊂ T̃^{−1}Ω̃_{0}. Ez ekvivalensen úgy is

megfogalmazható, hogy T Ω_{0} ⊂ Ω_{0}, és T Ω̃_{0} ⊂ Ω̃_{0}.

2.) A φ: Ω_{0} → Ω̃_{0} leképezés mértéktartó, azaz ha A ⊂ Ω_{0}, Ã ⊂ Ω̃_{0}, és Ã = φ(A),

akkor A ∈ A akkor és csak akkor, ha Ã ∈ Ã, és ebben az esetben P (A) = P̃(Ã). 3.) A φ leképezés felcserélhető a T, T̃ shift párral, azaz φ(T ω) = T̃φ(ω) tetszőleges

ω ∈ Ω_{0} pontra.

Ha a fenti tulajdonságok teljesülnek valamely Ω_{0}, Ω̃_{0} párral és φ leképezéssel, akkor azt mondjuk, hogy az (Ω, A, P, T) és (Ω̃, Ã, P̃, T̃) dinamikus rendszerek izomorfak az (Ω_{0}, Ω̃_{0}, φ) hármason keresztül.

Megjegyzés. Tetszőleges dinamikus rendszerek izomorfiáját definiáltuk, de a fő eredményekben csak invertálható dinamikus rendszerek izomorfiáját fogjuk vizsgálni. A minket érdeklő Bernoulli rendszerek invertálható dinamikus rendszerek, és vizsgálataink bizonyos részeiben ezt ki fogjuk használni.

Ha két rendszer izomorfiáját akarjuk vizsgálni valamilyen izomorfia fogalom szerint, akkor természetes az izomorfia invariánsait, azaz olyan tulajdonságokat és menynyiségeket keresni, amelyek nem változnak akkor, ha egy rendszerből egy másik vele izomorf rendszerbe térünk át. Minél több invariánst ismerünk annál jobban tudjuk az izomorfiát vizsgálni.

Tekintsünk invertálható dinamikus rendszereket, és vizsgáljuk ezek előbb bevezetett izomorfiáját. Először a következő nem triviális az izomorfiára invariáns tulajdonságot találták. Adva egy (Ω, A, P, T) invertálható dinamikus rendszer, természetes módon definiálhatjuk a következő Hilbert teret és rajta definiált unitér operátort. Álljon a Hilbert tér az (Ω, A, P) téren értelmezett négyzetesen integrálható függvényekből a szokásos L_{2} normával, és vezessük be e téren az alábbi U operátort. Ha ∫ f^{2}(ω)P ( dω) < ∞, akkor definiáljuk az f függvény Uf képét az Uf(ω) = f(T ω) képlettel. Nem nehéz belátni, hogy (a T shift transzformáció mértéktartó tulajdonsága és invertálhatósága miatt) az előbb definiált U operátor unitér. Továbbá, ha két invertálható dinamikus rendszer izomorf, akkor a nekik megfelelő Hilbert tér a rajtuk definiált U unitér operátorral izomorf. Felmerült a kérdés, hogy ez a tény milyen információt ad két Bernoulli rendszer izomorfiájáról.

Kiderült, hogy bármely két Bernoulli rendszerhez tartozó az előbbi módon bevezetett Hilbert tér a rajta definiált unitér operátorral együtt izomorf. Ezen eredmény bizonyítását ismertetem e fejezet kiegészítésében. Sokáig azt hitték, hogy ez az a lényeges izomorfiára invariáns tulajdonág, amely eldönti, hogy két Bernoulli rendszer izomorf-e. Ezért többen azt sejtették, hogy bármely két Bernoulli rendszer izomorf. Sőt, Paul Halmos bebizonyította, hogy ezen sejtés igazolásához elegendő lenne azt belátni, hogy az r = 3, p_{1} = p_{2} = p_{3} = \frac{1}{3} illetve r = 4, p_{1} = p_{2} = p_{3} = p_{4} = \frac{1}{4} paraméterekkel meghatározott Bernoulli rendszerek izomorfak. Később Kolmogorov bebizonyította, hogy ez a sejtés hamis, mert létezik olyan további a dinamikus rendszerek izomorfiájára invariáns mennyiség, amelynek létezéséből következik például, hogy a fent említett Bernoulli rendszerek nem izomorfak.

Kolmogorov bevezette a Shannon-féle entrópia egy természetes általánosítását. Definiálta dinamikus rendszerek entrópiáját, és megmutatta, hogy egymással izomorf dinamikus rendszerek entrópiája egyenlő. Ezenkívül olyan eredményt bizonyított, amely segített az entrópia kiszámolásában bizonyos esetekben. Speciálisan megmutatta, hogy egy r, p_{1}, …, p_{r}, paraméterekkel meghatározott Bernoulli rendszer entrópiája H =

− ∑_{j=1}^{r} p_{j} log p_{j}, és az általa bevezetett entrópia tekinthető úgy, mint a Shannon-féle

entrópia általánosítása. Később David Ornstein egy mély eredményben bebizonyította, hogy két Bernoulli rendszer, amelyeknek megegyezik az entrópiája, izomorf.

Ebben a fejezetben Kolmogorov eredményét és annak bizonyítását ismertetem. Nem fogom tárgyalni Ornstein eredményének a bizonyítását. Természetesen Bernoulli rendszerek izomorfiájának a problémája csak egy speciális, bár fontos része annak a kérdéskörnek, hogy két dinamikus rendszer mikor izomorf. Általános dinamikus rendszerek izomorfiájának a kérdésével azonban ebben a jegyzetben nem foglalkozom.

Kolmogorov eredményeinek tárgyalása előtt ismertetek néhány a dinamikus rendszerek izomorfiájával kapcsolatos tényt.

Észrevétel. Dinamikus rendszerek izomorfiája ekvivalencia reláció.

Bizonyítás. Nyilvánvaló, hogy egy dinamikus rendszer önmagával izomorf, azaz az izomorfia reflexiv. Ugyancsak könnyen látható, hogy az izomorfia szimmetrikus tulajdonság. Ha (Ω, A, P, T) izomorf egy (Ω̃, Ã, P̃, T̃) dinamikus rendszerrel egy (Ω_{0}, Ω̃_{0}, φ) hármason keresztül, akkor (Ω̃, Ã, P̃, T̃) izomorf az (Ω, A, P, T) dinamikus rendszerrel az (Ω̃_{0}, Ω_{0}, φ^{−1}) hármason keresztül. Be kell még látni, hogy az izomorfia tranzitív tulajdonság.

Azt kell megmutatni, hogy ha (Ω, A, P, T) izomorf egy (Ω̃, Ã, P̃, T̃) dinamikus rendszerrel egy (Ω_{0}, Ω̃_{0}, φ), és (Ω̃, Ã, P̃, T̃) izomorf egy (Ω′, A′, P′, T′) dinamikus rendszerrel egy (Ω̃_{1}, Ω′_{1}, ψ) hármason keresztül, akkor az (Ω, A, P, T) és (Ω′, A′, P′, T′) dinamikus rendszerek is izomorfak. Ennek érdekében először megmutatom azt, hogy az izomorfiákat biztosító hármasok választhatóak (Ω_{2}, Ω̃_{2}, φ_{2}) és (Ω̃_{2}, Ω′_{2}, ψ_{2}) alakban alkalmas Ω_{2}, Ω̃_{2}, Ω′_{2}, φ_{2} és ψ_{2} mennyiségekkel. A lényeges pont ebben az állításban az, hogy a két hármasban ugyanaz az Ω̃_{2} halmaz szerepel.

Legyen Ω̃_{2} = Ω̃_{0} ∩ Ω̃_{1}. Ha Ω_{2} = φ^{−1}Ω̃_{2}, φ_{2} a φ függvény megszorítása az Ω_{2} halmazra, akkor (Ω, A, P, T) izomorf az (Ω̃, Ã, P̃, T̃) dinamikus rendszerrel az (Ω_{2}, Ω̃_{2}, φ_{2}) hármason keresztül is. Hasonlóan, legyen Ω′_{2} = ψΩ̃_{2}, és ψ_{2} a ψ függvény megszorítása az Ω̃_{2} halmazra. Ekkor (Ω̃, Ã, P̃, T̃) izomorf az (Ω′, A′, P′, T′) dinamikus rendszerrel az (Ω̃_{2}, Ω′_{2}, ψ_{2}) hármason keresztül. Ezt felhasználva kapjuk, hogy az (Ω, A, P, T) és (Ω′, A′, P′, T′) dinamikus rendszrek izomorfak az (Ω_{2}, Ω′_{2}, ρ) hármason keresztül, ahol ρ(ω) = ψ_{2}(φ_{2}(ω)) minden ω ∈ Ω_{2} pontban. (A ρ függvény definiciójában használtuk ki az Ω̃_{2} halmaz fent említett tulajdonságát.)

Szükségünk van még a következő eredményre is.

Lemma izomorf dinamikus rendszerek tulajdonságairól. Legyen (Ω, A, P, T) és (Ω̃, Ã, P̃, T̃) két izomorf dinamikus rendszer egy (Ω_{0}, Ω̃_{0}, φ) hármason keresztül. Ekkor

φ(T^{n}ω) = T̃^{n}φ(ω) minden n = 1, 2, … számra, és minden ω ∈ Ω_{0} pontban. (5.1)

Legyen adva k darab Ã_{j} halmaz, amelyekre Ã_{j} ⊂ Ω̃_{0}, és Ã_{j} ∈ Ã, 1 ≤ j ≤ k, és n_{j} ≥ 0, 1 ≤ j ≤ k, nem negatív egész számok egy sorozata. Ekkor

P (T^{−n_{1}}φ^{−1}(Ã_{1}) ∩ ⋯ ∩ T^{−n_{k}}φ^{−1}(Ã_{k})) = P̃(T̃^{−n_{1}} Ã_{1} ∩ ⋯ ∩ T̃^{−n_{k}} Ã_{k}).  (5.2)

A fenti lemma azt mondja ki, hogy bár dinamikus rendszerek izomorfiájának a definiciójában megengedtük bizonyos null mértékű halmazok kihagyását, a T illetve T̃ shift operátorok hatványai úgy viselkednek, mint abban az egyszerűbb esetben, amikor a null mértékű halmazok ezen kihagyását nem engedjük meg, azaz, ha Ω_{0} = Ω, és Ω̃_{0} = Ω̃.

A lemma bizonyítása. Az (5.1) formulát n szerinti teljes indukcióval láthatjuk be. n = 1-re a formula igaz, és ha igaz n-re, akkor φ(T^{n+1}ω) = φ(T^{n}(T ω)) = T̃^{n}φ(T ω) = T̃^{n}(T̃(φ(ω)) = T̃^{n+1}φ(ω).

Az (5.2) reláció igazolása érdekében először mutassuk meg, hogy amennyiben Ã ∈ Ω̃_{0}, akkor minden n ≥ 0 számra T^{−n}φ^{−1}(Ã) ∩ Ω_{0} = φ^{−1}(T̃^{−n}(Ã) ∩ Ω̃_{0}). Valóban, ω ∈ T^{−n}φ^{−1}(Ã) ∩ Ω_{0} akkor és csak akkor, ha ω ∈ T^{−n}φ^{−1}(Ã) és ω ∈ Ω_{0}, tehát T^{n}ω ∈ φ^{−1}(Ã) és ω ∈ Ω_{0}, azaz φ(T^{n}ω) ∈ Ã, és ω ∈ Ω_{0}.

Másrészt ω ∈ φ^{−1}(T̃^{−n}(Ã) ∩ Ω̃_{0}) azzal ekvivalens, hogy φ(ω) ∈ T̃^{−n}(Ã) ∩ Ω̃_{0}, azaz T̃^{n}φ(ω) ∈ Ã és φ(ω) ∈ Ω̃_{0}. Ez viszont az (5.1) reláció szerint azzal ekvivalens, hogy φ(T^{n}ω) ∈ Ã és ω ∈ Ω_{0}. A felírt azonosság tehát érvényes.

Alkalmazva ezt az azonosságot mindegyik Ã_{j}, 1 ≤ j ≤ k, halmazra n_{j} paraméterrel, és véve az azonosság két oldalán lévő halmazok metszetét azt kapjuk, hogy

T^{−n_{1}}φ^{−1}(Ã_{1}) ∩ ⋯ ∩ T^{−n_{k}}φ^{−1}(Ã_{k}) ∩ Ω_{0} = φ^{−1}(T̃^{−n_{1}} Ã_{1} ∩ ⋯ ∩ T̃^{−n_{k}} Ã_{k} ∩ Ω̃_{0}).

(Jegyezzük meg, hogy a φ függvény φ^{−1} inverzére φ^{1}(A)∩φ^{−1}(B) = φ^{−1}(A∩B).) Ezért a fenti azonosság két oldalán levő halmaz P valószínűsége egyenlő. Az (5.2) azonosság következik ebből az azonosságból és a következő két észrevételből.

P (T^{−n_{1}}φ^{−1}(Ã_{1}) ∩ ⋯ ∩ T^{−n_{k}}φ^{−1}(Ã_{k}) ∩ Ω_{0}) = P (T^{−n_{1}}φ^{−1}(Ã_{1}) ∩ ⋯ ∩ T^{−n_{k}}φ^{−1}(Ã_{k})),

mert P (Ω_{0}) = 1. Másrészt

P (φ^{−1}(T̃^{−n_{1}} Ã_{1} ∩ ⋯ ∩ T̃^{−n_{k}} Ã_{k} ∩ Ω̃_{0}))
= P̃(T̃^{−n_{1}} Ã_{1} ∩ ⋯ ∩ T̃^{−n_{k}} Ã_{k} ∩ Ω̃_{0}) = P̃(T̃^{−n_{1}} Ã_{1} ∩ ⋯ ∩ T̃^{−n_{k}} Ã_{k})

a φ transzformáció mértéktartó tulajdonsága és a P̃(Ω̃_{0}) = 1 reláció miatt.

Bevezetem egy invertálható dinamikus rendszer entrópiájájának a fogalmát. De ezt csak invertálható dinamikus rendszerek esetében fogom megtenni. A definició bevezetése érdekében először bebizonyítok egy egyszerű lemmát. A lemma megfogalmazásában használni fogom a következő jelölést. Legyen (Ω, A, P, T) egy invertálható dinamikus rendszer. Egy e dinamikus rendszerben definiált ξ valószínűségi változó T^{n}ξ eltoltján a T^{n}ξ(ω) = ξ(T^{n}ω) valószínűségi változót értjük minden n = …, −1, 0, 1, … indexre. (Speciálisan T^{0}ξ(ω) = ξ(ω).)

Lemma az entrópia egy tulajdonságáról. Legyen (Ω, A, P, T) invertálható dinamikus rendszer, és legyen ξ(ω) egy A mérhető véges vagy megszámlálhatóan végtelen sok értéket felvevő valószínűségi változó. Ekkor létezik az

lim_{n→∞} H(ξ|T^{−1}ξ, …, T^{−n}ξ).  (5.3)

határérték. Ha H(ξ) < ∞ akkor ez a határérték véges, és

lim_{n→∞} H(ξ|T^{−1}ξ, …, T^{−n}ξ) = lim_{n→∞} \frac{1}{n}H(ξ, T ξ, …, T^{n−1}ξ)

= lim_{n→∞} \frac{1}{2n − 1}H(T^{−n+1}ξ, …, T^{−1}ξ, ξ, T ξ, …, T^{n−1}ξ).

(5.4)

Bizonyítás. Az első fejezet eredményeiből következik, hogy a H(ξ|T^{−1}ξ, …, T^{−k}ξ) feltételes entrópia sorozat a k paraméter monoton csökkenő függvénye. Ezért létezik a

lim_{n→∞} H(ξ|T^{−1}ξ, …, T^{−n}ξ)

határérték, és az véges, ha H(ξ) < ∞. Ebben az esetben felírhatjuk a

\frac{1}{n}H(ξ, T ξ, …, T^{n−1}ξ) = \frac{1}{n} ∑_{k=1}^{n−1} H(T^{k}ξ|T^{k−1}ξ, …, T^{0}ξ) + \frac{H(ξ)}{n}

= \frac{1}{n} ∑_{k=1}^{n−1} H(ξ|T^{−1}ξ, …, T^{−k}ξ) + \frac{H(ξ)}{n}

azonosságot. E formula első azonosságában felhasználtuk az entrópia és feltételes entrópia első fejezetben bizonyított tulajdonságait, a második azonosságban pedig azt a tényt, hogy a (T^{k}ξ, T^{k−1}ξ, …, ξ), illetve (ξ, T^{−1}ξ, …, T^{−k}ξ) vektorok azonos eloszlásúak, ezért H(T^{k}ξ|T^{k−1}ξ, …, T^{0}ξ) = H(ξ|T^{−1}ξ, …, T^{−k}ξ) minden k = 0, 1, … indexre. Innen azt kapjuk, hogy

lim_{n→∞} \frac{1}{n}H(ξ, T ξ, …, T^{n−1}ξ) = lim_{n→∞} (\frac{1}{n} ∑_{k=1}^{n−1} H(ξ|T^{−1}ξ, …, T^{−k}ξ) + \frac{H(ξ)}{n})

= lim_{n→∞} H(ξ|T^{−1}ξ, …, T^{−1}ξ, …, T^{−n}ξ)

azaz igaz az (5.4) formula első azonossága.

Mivel

H(T^{−n+1}ξ, …, T^{−1}ξ, ξ, T ξ, …, T^{n−1}ξ) = H(ξ, T ξ, …, T^{2n−2}ξ)

igaz az (5.4) formula második azonossága is.

Invertálható dinamikus rendszer entrópiájának a definiciója. Legyen adva egy (Ω, A, P, T) invertálható dinamikus rendszer, és tekintsünk ezen egy olyan A mérhető véges vagy megszámlálhatóan végtelen sok értéket felvevő ξ valószínűségi változót. A ξ valószínűségi változó T shift transzformáció szerinti entrópiája a

H(T, ξ) = lim_{n→∞} H(ξ|T^{−1}ξ, …, T^{−n}ξ)  (5.5)

határérték. (Az előző lemma szerint ez a határérték létezik, és véges, ha H(ξ) < ∞.) A T shift transzformáció entrópiája a

H(T) = sup_{ξ} H(T, ξ)  (5.6)

kifejezéssel egyenlő, ahol a szuprémumot az összes A mérhető és véges sok értéket felvevő ξ valószínűségi változóra vesszük.

Megjegyzés. Láttuk, hogy a H(ξ) < ∞ esetben a H(T, ξ) mennyiséget a

H(T, ξ) = lim_{n→∞} \frac{1}{n}H(T^{0}ξ, …, T^{n−1}ξ)

képlet segítségével is kifejezhetjük.

Egy invertálható dinamikus rendszer shift transzformációjának az entrópiáját az irodalomban gyakran kissé más, de ekvivalens módon írják le. Ismertetem ezt a definiciót is. Előtte emlékeztetek arra, hogy egy (véges vagy megszámlálható értéket felvevő) valószínűségi változó természetes módon meghatározza a valószínűségi mező egy particióját. Nevezetesen, e partició elemei a valószínűségi mező azon (nívó)halmazai, ahol a valószínűségi változó egy előírt értéket vesz fel. Továbbá a valószínűségi változó entrópiája csak ezen particiótól függ. Másrészt egy (Ω, A, P) valószínűségi mező minden A mérhető halmazokból álló particiójához létezik olyan A mérhető ξ valószínűségi változó, amely ezt a particiót határozza meg. Ez lehetővé teszi, hogy egy dinamikus rendszer shift transzformációjának az entrópiáját ne valószínűségi változók, hanem particiók segítségével definiáljuk, és az irodalomban gyakran ezt teszik. Megadom ezt a definiciót is, illetve ismertetem kapcsolatát az előbb leírt definicióval. Az egyszerűség kedvéért csak olyan ξ valószínűségi változókkal, illetve nekik megfelelő B particiókkal fogok foglalkozni, amelyekre H(ξ) < ∞.

Legyen adva egy (Ω, A, P, T) invertálható dinamikus rendszer. Vegyük észre, hogy amennyiben egy A mérhető ξ valószínűségi változónak az Ω halmaz egy B particiója felel meg, akkor a T^{n}ξ valószínűségi változónak a B particiónak az e partició B_{j} halmazainak a T^{n} transzformáció szerinti T^{−n}B_{j} ősképeiből álló T^{−n}B particició felel meg. Ha adva vannak az Ω halmaz valamely C_{1}, …, C_{k} particiói, akkor jelölje C_{1} ∧ ⋯ ∧ C_{k} e particiók közös finomítását. Ez az összes C_{j_{1}}(1)∩⋯∩C_{j_{k}}(k) alakú halmazból áll, ahol C_{j_{s}}(s) ∈ C_{s}, 1 ≤ s ≤ k. Ha a ξ, H(ξ) < ∞, valószínűségi változó a B particiót határozza meg, akkor ezzel a jelöléssel a (T^{n_{1}}ξ, …, T^{n_{k}}ξ) vektornak a T^{−n_{1}}B ∧⋯∧T^{−n_{k}}B partició felel meg.

Ha adva van az Ω halmaz egy olyan B = {B_{1}, B_{2}, … } particiója, amelyet egy ξ valószínűségi változó határoz meg, akkor természetes a B partició T shift szerinti entrópióját a

H(T, B) = lim_{n→∞} \frac{1}{n}H(B ∧ ⋯ ∧ T^{−(n−1)}B)

és

H(B ∧ ⋯ ∧ T^{−(n−1)}B) = H(ξ, T ξ, …, T^{n−1}ξ) = − ∑_{j_{1},...,j_{n}} g(P (B_{j_{1}} ∩ ⋯ ∩ T^{−(n−1)}B_{j_{n}}))

képletek segítségével definiálni, ahol g(x) = x log x. Ekkor a

H(T) = sup_{B} H(T, B)

képlet, ahol a szuprémumot az Ω halmaz összes véges és A mérhető particiójára vesszük a T shift transzformáció előbb bevezetett entrópiáját adja.

Megfogalmazom az entrópia invariáns tulajdonságáról szóló eredményt.

Tétel izomorf dinamikus rendszerek entrópiájának egyenlőségéről. Legyen (Ω, A, P, T) és (Ω̃, Ã, P̃, T̃) két izomorf invertálható dinamikus rendszer. Ekkor a T és T̃ shift transzformációk entrópiája egyenlő, azaz H(T) = H(T̃).

Bizonyítás. A jobb megértés érdekében tekintsük először azt a speciális esetet, amikor a két dinamikus rendszer az (Ω, Ω̃, φ) hármason keresztül izomorf, ahol φ az Ω halmaz egy alkalmas kölcsönösen egyértelmű leképezése a Ω̃ halmazba. Azaz azt az esetet tekintjük, amikor az izomorfia definicióját biztosító (Ω_{0}, Ω̃_{0}, φ) hármasban Ω_{0} = Ω és Ω̃_{0} = Ω̃ halmazokat választhatunk.

Ebben az esetben az Ω halmaz egy A mérhető B = {B_{1}, …, B_{r}} véges particiójának feleltessük meg az Ω̃ halmaz Ã mérhető B̃ = {φ(B_{1}), …, φ(B_{r})} mérhető particióját. Az izomorfia tulajdonságai miatt ekkor tetszőleges n számra és 1 ≤ j_{s} ≤ r, 1 ≤ s ≤ n indexekre P (T^{−0}B_{j_{0}} ∩ T^{−1}B_{j_{1}} ∩ ⋯ ∩ T^{−n}B_{j_{n}}) = P̃(T̃^{−0}B̃_{j_{0}} ∩ T̃^{−1}B̃_{j_{1}} ∩ ⋯ ∩ T̃^{−n}B̃_{j_{n}}). Innen következik, hogy tetszőleges A mérhető (véges sok értéket felvevő) ξ valószínűségi változóhoz létezik olyan Ã mérhető (véges sok értéket felvevő) η valószínűségi változó, amelyre H(ξ, T ξ, …, T^{n}ξ) = H(η, T̃η, …, T̃^{n}η) minden n-re, ezért H(T, ξ) = H(T̃, η). Hasonló állítás érvényes akkor is, ha az Ω halmaz és A mérhető particiók illetve a Ω̃ halmaz és Ã mérhető particiók szerepét felcseréljük. Ezért H(T) = H(T̃).

Az általános esetben a fenti érvelést kissé finomítani kell. Szimmetria okokból elég azt belátni, hogy H(T̃) ≤ H(T), és ehhez elég azt bebizonyítani, hogy ha η egy az Ω̃ halmazon definiált véges sok értéket felvevő Ã mérhető valószínűségi változó, akkor létezik olyan az Ω halmazon definiált véges sok értéket felvevő A mérhető ξ valószínűségi változó, amelyre H(T, ξ) = H(T̃, η). Sőt azt is feltehetjük, hogy az η valószínűségi változó nívóhalmazai az Ω̃ halmaznak egy olyan {B̃_{1}, …, B̃_{r}, B̃_{r+1}} par-

ticióját adják, amelyre ⋃_{j=1}^{r} B̃_{j} = Ω̃_{0}, és B̃_{r+1} = Ω̃ \ Ω̃_{0}. Vezessük be az Ω halmaz-

nak azt a {B_{1}, …, B_{r}, B_{r+1}} particióját, amelyre B_{s} = φ^{−1}(B̃_{s}), ha 1 ≤ s ≤ r, és B_{r+1} = Ω \ Ω_{0}. Legyen ξ egy olyan valószínűségi változó, amelynek nívóhalmazai ezek a B_{s}, 1 ≤ s ≤ r + 1, halmazok. Azt állítom, hogy H(T, ξ) = H(T̃, η). Sőt, az is igaz, hogy tetszőleges n számra H(ξ, T ξ, …, T^{n}ξ) = H(η, T̃η, …, T̃^{n}η). Ehhez azt kell észrevenni, hogy az (5.2) azonosság miatt

P (φ^{−1}(C̃_{j_{0}}) ∩ T^{−1}φ^{−1}(C̃_{j_{1}}) ∩ ⋯ ∩ T^{−n}φ^{−1}(C̃_{j_{n}})) = P̃(C̃_{j_{0}} ∩ T̃^{−1}C̃_{j_{1}} ∩ ⋯ ∩ T̃^{−n}C̃_{j_{n}}),

ha 1 ≤ j_{s} ≤ r minden 1 ≤ s ≤ n indexre, és a bizonyítandó azonosságban szereplő két entrópia ezen valószínűségek függvénye. (Azokat a tagokat, amelyekben a C̃_{r+1} vagy C_{r+1} események szerepelnek elhagyhatjuk a megfelelő entrópiák kiszámolásában, mert ezáltal nulla valószínűségű események függvényeit hagyjuk ki a megfelelő entrópiákat kifejező összegekből. A tételt beláttuk.

Annak érdekében, hogy a fenti tételt alkalmazni tudjuk szükségünk van olyan eredményre, amely lehetővé teszi azt, hogy egy invertálható dinamikus rendszer shift transzformációjának az entrópiáját kiszámoljuk. Egy ilyen eredmény megfogalmazásának az érdekében bevezetem a következő definiciót.

Egy valószínűségi változó eltoltjai által generált σ-algebra definiciója. Legyen (Ω, A, P, T) egy invertálható dinamikus rendszer, és ξ egy A mérhető valószínűségi változó. A ξ valószínűségi változó és a T shift által generált σ-algebrán a T^{j}ξ, −∞ < j < ∞, valószínűségi változók által generált σ(T, ξ) = σ(T^{j}ξ, −∞ < j < ∞), σ-algebrát értjük.

Tétel egy dinamikus rendszerben definiált valószínűségi változók entrópiájának az összehasonlításáról. Legyen (Ω, A, P, T) invertálható dinamikus rendszer, ξ és η pedig két olyan A mérhető valószínűségi változó, amelyek közül ξ véges sok, η véges sok vagy megszámlálhatóan végtelen sok értéket vesz fel, H(η) < ∞, és ξ σ(T, η) mérhető valószínűségi változó. Ekkor H(T, ξ) ≤ H(T, η).

Következmény. Legyen adva egy (Ω, A, P, T) invertálható dinamikus rendszer, és legyen η olyan az Ω halmazon definiált véges sok értéket felvevő valószínűségi változó, amelyre σ(T, η) = A. Ekkor H(T) = H(T, η). Speciálisan, ha (Ω, A, P, T) egy r ≥ 2

egész számmal és p_{j} ≥ 0, 1 ≤ j ≤ r, ∑_{j=1}^{r} p_{j} = 1, paraméterekkel meghatározott Bernoulli

rendszer, akkor H(T) = − ∑_{j=1}^{r} p_{j} log p_{j}.

A következmény bizonyítása. A tétel feltételeinek teljesülése esetén H(T, ξ) ≤ H(T, η) minden véges sok értéket felvevő és A mérhető ξ valószínűségi változóra. Ezért a H(T) entrópiának az (5.6) formulában megadott definiciója szerint H(T, η) = H(T). Egy Bernoulli rendszer esetében definiáljuk az η(ω) = x_{0}, ha ω = (…, x_{−1}, x_{0}, x_{1}, …) képlettel megadott valószínűségi változót. Ekkor σ(T, η) = A, ezért H(T) = H(T, η). Továbbá a Bernoulli rendszer definiciója miatt a T^{−n}η, n = 0, ±1, …, valószínűségi változók függetlenek (és egyforma eloszlásúak), ezért H(η|T^{−1}η, …, T^{−n}η) = H(η), és

H(T) = h(T, η) = H(η) = − ∑_{j=1}^{r} p_{j} log p_{j}.

A fent megfogalmazott eredményekből következik, hogy két r, és p_{1}, …, p_{r} illetve r̄ és p̄_{1}, …, p̄_{r} paraméterekkel definiált Bernoulli rendszer csak akkor lehet izomorf, ha az

entrópiájuk egyenlő, azaz, ha ∑_{j=1}^{r} p_{j} log p_{j} = ∑_{j=1}^{r̄} p̄_{j} log p̄_{j}. Később be fogom bizonyítani

a következmény egy olyan általánosítását, amely lehetővé teszi a Bernoulli rendszerek izomorfiájáról szóló eredmény általánosítását olyan dinamikus rendszerekre is, amelyeket a Bernoulli rendszerekhez hasonlóan definiálunk, de megengedjük azt is, hogy a benne szereplő r paraméter r = ∞ legyen. Ezelőtt azonban a shift transzformáció által generált σ-algebráról szóló tétel bizonyítását ismertetem.

Először értsük meg e tétel szemléletes tartalmát. Az entrópia szemléletesen azt adja meg, hogy egy valószínűségi változó megismeréséhez mennyi információ szükséges. Első ránézésre azt várnánk, hogy ha adva van egy (Ω, A, P, T) invertálható dinamikus rendszer és egy ξ A mérhető valószínűségi változó, akkor a ξ valószínűségi változó megismeréséhez sokkal kevesebb információ kell, mint például az η = (ξ, T ξ, …, T^{1000}ξ) véletlen vektor megismeréséhez. Ez az elképzelés azonban téves, mert nem a H(ξ) és H(η), hanem a H(T, ξ) és H(T, η) entrópiákat kell összehasonlítanunk. Az utóbbi entrópiákat közelítő \frac{1}{n}H(ξ, …, T^{n}ξ) és \frac{1}{n}H(ξ, …, T^{n+1000}ξ) entrópiák pedig nagy n paraméterre már nagyon közel vannak egymáshoz. A bizonyítandó tétel az e példa által sugallt képnek felel meg. Azt állítja, hogy ahhoz, hogy egy ξ valószínűségi változóhoz tartozó ξ, T ξ, … sorozat tagjainak megismeréséhez szükséges H(T, ξ) információ ne legyen több, mint egy η valószínűségi változóhoz tartozó η, T η, … sorozat tagjainak megismeréséhez szükséges H(T, η) információ elégséges azt feltenni, hogy ξ ∈ σ(T, η), azaz szemléletesen azt előírni, hogy a …, T^{−1}η, η, T η, … véletlen sorozat ismeretében ismerjük a ξ valószínűségi változót is. A bizonyításban szükségünk van egy olyan eredményre, amely azt biztosítja, hogy a ξ ∈ σ(T, η) esetben a ξ valószínűségi változó nívóhalmazait jól tudjuk approximálni a σ(T, η) σ-algebra bizonyos speciális és kényelmesen használható halmazaival. Ezért hasznos lesz számunkra a következő lemma.

Lemma σ-algebra elemeinek jó approximációjáról. Legyen adva egy (Ω, A, P) valószínűségi mező, és jelölje AΔB = (A\B)∪(B\A) két A ∈ A és B ∈ A halmaz szimmetrikus differenciáját. Vezessük be a ρ(A, B) = P (AΔB), A ∈ A, B ∈ A, függvényt. Ekkor ρ(A, B) pszeudo metrika, (ρ(A, B) ≥ 0, de lehetséges, hogy ρ(A, B) = 0, noha A ≠ B). Továbbá ρ(A_{1} ∪ A_{2}, B_{1} ∪ B_{2}) ≤ ρ(A_{1}, B_{1}) + ρ(A_{2}, B_{2}). Ha B ⊂ A egy halmaz algebra, és C = σ(B) a B halmaz algebra által generált σ-algebra, akkor minden ε > 0 számhoz és C ∈ C halmazhoz létezik olyan B = B(ε, C) ∈ B halmaz, amelyre ρ(B, C) ≤ ε.

Megjegyzés: A következő észrevétel segíthet megérteni a lemmában bevezetett ρ (pszeudo) metrika jelentését. Azonosítsunk egy mérhető A halmazt az indikátorfüggvényével. Ekkor a ρ metrika megegyezik az L_{1}(Ω, A, P) tér normája által indukált metrika megszorításával az indikátorfüggvényekből álló halmazok terére.

Bizonyítás. A ρ(·) függvény pszeudo metrika, mert nyilván ρ(A, B) ≥ 0, ρ(A, B) = ρ(B, A), és a ρ(A, C) ≤ ρ(A, B) + ρ(B, C) reláció is teljesül, mert mint könnyű ellenőrizni, P (A \ C) ≤ P (A \ B) + P (B \ C), és P (C \ A) ≤ P (B \ A) + P (C \ B). Hasonlóan, ρ(A_{1}∪A_{2}, B_{1}∪B_{2}) ≤ ρ(A_{1}, B_{1})+ρ(A_{2}, B_{2}), mert P ((A_{1}∪A_{2})\(B_{1}∪B_{2})) ≤ P (A_{1} \ B_{1}) + P (A_{2} \ B_{2}), és P ((B_{1} ∪ B_{2}) \ (A_{1} ∪ A_{2})) ≤ P (B_{1} \ A_{1}) + P (B_{2} \ A_{2}). A lemma utolsó állításának igazolásához egy C ∈ C halmaznak egy B ∈ B halmazzal való jó approximálhatóságáról vezessük be az Ω halmaz részhalmazainak a következő D osztályát.

D = {D: D ∈ A, minden ε > 0 számhoz létezik olyan B ∈ B halmaz,
amelyre P (BΔD) ≤ ε}.

Azt kell megmutatni, hogy C ⊂ D. Mivel B ⊂ D, elég igazolni, hogy D σ-algebra, mert ez azt jelenti, hogy tartalmazza a B által generált σ-algebrát.

Nyilvánvaló, hogy D ∈ D esetén Ω \ D ∈ D, mert ha A ∈ A a D halmaznak jó közelítése a ρ távolság szerint, akkor a P ((Ω \ D)Δ(Ω \ A)) = P (DΔA) azonosság miatt az Ω\A ∈ A halmaz jó közelítése az Ω\D halmaznak a ρ távolság szerint. Azt kell még

belátni, hogy amennyiben D_{n} ∈ D, minden n = 1, 2, … indexre akkor D = ⋃_{n=1}^{∞} D_{n} ∈ D.

Ennek bizonyítása érdekében tekintsünk egy rögzített ε > 0 számra egy olyan

N = N(ε) indexet, amelyre a D^{(N)} = ⋃_{n=1}^{N} D_{n} halmazra P (D \ D^{(N)}) ≤ \frac{ε}{2}. Ezenkívül

válasszunk minden D_{n} halmazhoz egy olyan B_{n} ∈ B halmazt, amelyre P (D_{n}ΔB_{n}) ≤ \frac{ε}{2^{n+1}} . Ekkor a B = ⋃_{n=1}^{N} B_{n} halmazra B ∈ B. Ezenkívül azt állítom, hogy P (BΔD) ≤ ε.

Valóban,

P (BΔD) ≤ P (BΔD^{(N)}) + P (D \ D^{(N)}) ≤ ∑_{n=1}^{N} P (B_{n}ΔD_{n}) + P (D \ D^{(N)}) ≤ ε.

Mivel ilyen konstrukció minden ε > 0-ra elvégezhető, innen következik, hogy D ∈ D. A lemmát beláttuk.

A most bizonyított lemma segítségével belátjuk a következő eredményt.

Tétel véges sok értéket felvevő valószínűségi változó jó approximálhatóságáról. Legyen adva egy (Ω, A, P) valószínűségi mező, egy B ⊂ A halmaz algebra, és az Ω halmaznak egy olyan D véges sok elemből álló particiója, amely partició elemei benne vannak a B algebra által generált C = σ(B) σ-algebrában. Ekkor minden ε > 0 számhoz létezik az Ω halmaznak egy olyan a B algebra véges sok eleméből álló E particiója, amely jól közelíti a D particiót a következő értelemben. Ha ξ olyan valószínűségi változó, amelynek adott értéket felvevő nívóhalmazai a D partició elemei, ζ olyan valószínűségi változó, amelynek adott értéket felvevő nívóhalmazai az E partició elemei, akkor a ξ valószínűségi változónak a ζ valószínűségi változó szerinti H(ξ|ζ) feltételes entrópiája teljesíti a H(ξ|ζ) ≤ ε egyenlőtlenséget.

A tétel állításának jobb megértése érdekében tekintsük a következő példát. Legyen az (Ω, A, P) valószínűségi mező a [0, 1) intervallum, rajta a Borel σ-algebrával és a Lebesgue mértékkel, mint valószínűségi mértékkel. Tekintsük ezen a téren azt a B algebrát, amelynek elemei olyan halmazok, amelyek véges sok balról zárt, jobbról nyílt, racionális végpontú intervallum uniójaként állíthatóak elő. Vegyük ezenkívül [0, 1) intervallum D_{1} = [0, \frac{\sqrt{2}}{2}), D_{2} = [\frac{\sqrt{2}}{2}, 1) intervallumokból álló D particióját. Ezen partició elemei nincsenek benne a B algebrában, csak az általa generált C σ-algebrában. Ezért egy olyan ξ valószínűségi változó, amelynek nívóhalmazai a D_{1} és D_{2} halmaz nem tekinthető úgy, mint egy olyan valószínűségi változó, amelynek nívóhalmazai a B algebrában vannak. De az jól megközelíthető egy ilyen valószínűségi változóval a következő értelemben. Minden ε > 0 számhoz létezik az Ω halmaznak olyan B-beli halmazokból álló véges (akár két elemű) particiója úgy, hogy egy olyan ζ valószínűségi változóra, amelynek a nívóhalmazai ezen partició elemei H(ξ|ζ) < ε. A tétel azt állítja, hogy hasonló eredmény érvényes általánosabb esetben is.

A tétel bizonyítása. Álljon a D partició valamely D_{1}, …, D_{r} elemekből. Feltehetjük, hogy P (D_{i}) > 0 minden 1 ≤ i ≤ r indexre. Először azt bizonyítom be, hogy minden (az ε > 0, r és P (D_{i}) > 0, 1 ≤ i ≤ r, számoktól függően) elég kicsi δ > 0 számra igaz a következő állítás. Ha E_{1}, …, E_{r} az Ω halmaz egy olyan particiója, amelyre P (D_{i}ΔE_{i}) ≤ δ minden 1 ≤ i ≤ r számra, akkor egy olyan ξ, ζ valószínűségi változó párra, amelyek közül a ξ valószínűségi változó nívóhalmazai a D_{i}, a ζ valószínűségi változó nívóhalmazai pedig az E_{i} halmazok, 1 ≤ i ≤ r, teljesül a H(ξ|ζ) < ε egyenlőtlenség.

Ezen állítás igazolása érdekében vezessük be a g(x) = x log x, ha x > 0, g(0) = 0, függvényt. Mivel g(0) = g(1) = 0, g(x) folytonos függvény, g(x) ≤ 0, ha 0 ≤ x ≤ 1, ezért létezik olyan δ_{0} > 0 szám, amelyre −\frac{ε}{r} < g(x) ≤ 0, ha 0 ≤ x ≤ δ_{0} vagy 1 − δ_{0} ≤ x ≤ 1. A bizonyítandó állítás indoklása azon az észrevételen fog alapulni, hogy ha a P (D_{i}ΔE_{i}) valószínűségek nagyon kicsik minden i indexre, akkor a P (D_{i}|E_{i}) feltételes valószínűségek majdnem eggyel, és a P (D_{i}|E_{j}), i ≠ j, feltételes valószínűségek majdnem nullával egyenlőek. Ezért a g(P (D_{i}|E_{j})) mennyiségek nagyon kicsik minden (i, j) párra. Mivel a minket érdeklő feltételes entrópia felírható ilyen kifejezések véges sok tagból álló lineáris kombinációjaként, innen könnyen levezethető a kívánt egyenlőtlenség.

A részletes bizonyításban tekintsük az Ω halmaz egy olyan E_{1}, …, E_{r} particióját, amelyre P (D_{i}ΔE_{i}) ≤ δ a δ = \frac{δ_{0}}{2} min_{0≤i≤r} P (D_{i}) számmal minden 1 ≤ i ≤ r indexre. Ekkor,

mivel P (D_{i}) ≤ P (E_{i})+P (D_{i}ΔE_{i}) ≤ P (E_{i})+δ ≤ P (E_{i})+ \frac{P (D_{i})}{2}, ezért P (D_{i}) ≤ 2P (E_{i}) minden 1 ≤ i ≤ r indexre. Innen P (E_{i}) − P (D_{i} ∩ E_{i}) ≤ P (D_{i}ΔE_{i}) ≤ δ ≤ δ_{0}P (E_{i}), tehát P (D_{i}|E_{i}) ≥ 1 − δ_{0} minden 1 ≤ i ≤ r indexre, és P (D_{j}|E_{i}) ≤ 1 − P (D_{i}|E_{i}) ≤ δ_{0}, ha i ≠ j. Ezért −\frac{ε}{r} ≤ g(P (D_{i}|E_{j})) ≤ 0 minden 1 ≤ i, j ≤ r indexre, és két olyan ξ és ζ valószínűségi változóra, amelyeknek a D_{i} illetve E_{i}, 1 ≤ i ≤ r, halmazok a nívóhalmazai

H(ξ|ζ) = − ∑_{i=1}^{r} ∑_{j=1}^{r} P (E_{j})g(P (D_{i}|E_{j})) ≤ ∑_{i=1}^{r} ∑_{j=1}^{r} P (E_{j})\frac{ε}{r} = ε.

Ezért elég belátni, hogy az Ω halmaznak létezik olyan E_{1}, …, E_{r} a B algebra elemeiből álló particiója, amelyre P (D_{i}ΔE_{i}) ≤ δ minden 1 ≤ i ≤ r indexre. Ezt igazolandó válasszunk először olyan Ē_{i} ∈ B, 1 ≤ i ≤ r, halmazokat, amelyekre P (D_{i}ΔĒ_{i}) ≤ λ minden 1 ≤ i ≤ r indexre egy később megválasztandó elég kis λ > 0 számmal. Ez lehetséges az előző lemma szerint. Definiáljuk az N = ⋃_{1≤i,j≤r, i≠j}(Ē_{i} ∩ Ē_{j}) halmazt, és

legyen E_{i} = Ē_{i} \ N, ha 1 ≤ i ≤ r − 1, és E_{r} = Ω \ ( ⋃_{1≤i≤r−1} E_{i}). Ekkor E_{1}, …, E_{r} az Ω

halmaz egy particiója a B algebra elemeivel. Továbbá, mivel P (Ē_{i} ∩Ē_{j}) ≤ P (Ē_{i}ΔD_{i})+ P (Ē_{j}ΔD_{j})) ≤ 2λ, ha i ≠ j, P (N) ≤ r(r − 1)λ, ezért P (E_{i}ΔĒ_{i}) ≤ P (N) ≤ r(r − 1)λ minden 1 ≤ i ≤ r − 1 indexre, ahonnan P (E_{i}ΔD_{i}) ≤ P (E_{i}ΔĒ_{i}) + P (Ē_{i}ΔD_{i}) ≤

r(r−1)λ+λ, ha 1 ≤ i ≤ r−1, és P (E_{r}ΔD_{r}) = P ((Ω\E_{r})Δ(Ω\D_{r})) ≤ ∑_{i=1}^{r−1} P (E_{i}ΔD_{i}) ≤

(r − 1)[r(r − 1) + λ]. Innen következik, hogy ha a λ > 0 számot elég kicsinek választjuk, akkor E_{1}, …, E_{r} az Ω halmaz kívánt tulajdonságú particióját adja. A tételt beláttuk.

Következmény. Legyen adva egy (Ω, A, P, T) invertálható dinamikus rendszer, azon két ξ és η valószínűségi változó, amelyek közül ξ véges sok η pedig vagy véges sok vagy megszámlálhatóan végtelen sok értéket vesz fel. Legyen ezenkívül a ξ valószínűségi változó mérhető az η valószínűségi változó és T shift operátor által generált σ(T, η) σalgebrára nézve. Ekkor minden ε > 0 számhoz létezik olyan M = M(ε, ξ, η) pozitív egész szám, amelyre H(ξ|T^{−M}η, …, T^{0}η, …, T^{M}η) ≤ ε.

Bizonyítás. A bizonyításban az előző tételt alkalmazzuk úgy, hogy az Ω halmaz D particiójának a ξ valószínűségi változó {ω: ξ(ω) = x_{j}} alakú nívóhalmazait választjuk, és az alább definiált B halmaz algebrával dolgozunk.

Jelölje Y az η valószínűségi változó értékkészletét, és adva két m ≥ 1 és n ≥ 1 szám definiáljuk az Y^{(m,n)} = {(y_{j_{−m}}, …, y_{j_{n}}): y_{j_{s}} ∈ Y, −m ≤ s ≤ n} halmazt. Adva egy U ⊂ Y^{(m,n)} halmaz, definiáljuk az U halmaznak az η(ω) valószínűségi változó és a T shift operátor hatványai által meghatározott ősképét a

T_{m,n}U = {ω: (T^{−m}η(ω), …, T^{n}η(ω)) ∈ U}

képlet segítségével, és legyen U_{m,n} = {T_{m,n}U: U ⊂ Y^{(m,n)}}. A B halmazrendszert a B = ⋃_{1≤m,n<∞} U_{m,n} képlettel definiáljuk. Nem nehéz belátni, hogy B halmaz algebra, és

az általa generált σ(B) σ-algebra megegyezik a σ(T, η) σ-algebrával. Mivel feltételeink szerint ξ σ(T, η) mérhető, ezért az előző tétel alapján minden ε > 0 számra létezik az Ω halmaznak olyan a B algebra elemeiből álló E véges particiója, amelyre igaz, hogy egy olyan ζ valószínűségi változóra, amelynek a a nívóhalmazai az E partició elemei H(ξ|ζ) ≤ ε.

Mivel ζ véges sok értéket vesz fel, és minden értékét egy olyan halmazon veszi fel, amely eleme a U_{m,n} halmazosztálynak, ha m ≥ m_{0} és n ≥ n_{0} alkalmas m_{0} és n_{0} számokkal, ezért létezik olyan M szám, és olyan g(u_{−M}, …, u_{0}, …, u_{M}) függvény, amelyekre

ζ = g(T^{−M}η, …, T^{0}η, …, T^{M}η).

Ezért, illetve a feltételes entrópia tulajdonságai alapján

ε ≥ H(ξ|ζ) ≥ H(ξ|ζ, T^{−M}η, …, T^{0}η, …, T^{M}η)
= H(ξ|T^{−M}η, …, T^{0}η, …, T^{M}η).

Mivel ilyen konstrukciót minden ε > 0 számra tudunk csinálni a következményt beláttuk.

A most igazolt következmény segít az alábbi bizonyításban.

Az egy dinamikus rendszerben definiált valószínűségi változók entrópiájának összehasonlításáról szóló tétel bizonyítása. Rögzítsünk egy ε > 0 számot, és válasszunk egy olyan M > 0 egész számot, amelyre H(ξ|T^{−M}η, …, T^{0}η, …, T^{M}η) ≤ ε. Az előbb megfogalmazott Következmény eredménye szerint ilyen M szám létezik. Ilyen választással érvényesek a következő becslések.

H(T^{0}ξ, …, T^{n−1}ξ) ≤ H(T^{0}ξ, …, T^{n−1}ξ, T^{−M}η, …, T^{n−1+M}η)
= H(T^{0}ξ, …, T^{n−1}ξ|T^{−M}η, …, T^{n−1+M}η) + H(T^{−M}η, …, T^{n−1+M}η),

és

H(T^{0}ξ, …, T^{n−1}ξ|T^{−M}η, …, T^{n−1+M}η) ≤ ∑_{j=0}^{n−1} H(T^{j}ξ|T^{−M}η, …, T^{n−1+M}η)

= ∑_{j=0}^{n−1} H(ξ|T^{−M−j}η, …, T^{n−1+M−j}η) ≤ nH(ξ|T^{−M}η, …, T^{M}η) ≤ nε.

Innen

\frac{1}{n}H(T^{0}ξ, …, T^{n−1}ξ) ≤ \frac{1}{n}H(T^{−M}η, …, T^{n−1+M}η) + ε

minden n ≥ 0 számra, ahonnan n → ∞ határátmenettel kapjuk, hogy H(T, ξ) ≤ H(T, η) + ε. Mivel ez az egyenlőtlenség minden ε > 0 számra igaz, innen következik a tétel állítása.

Bebizonyítottuk egy dinamikus rendszerben definiált valószínűségi változók entrópiájának összehasonlításáról szóló tétel egy következményét, amely lehetővé tette bizonyos dinamikus rendszerek entrópiájának a kiszámolását. Ismertetem ennek az eredménynek egy enyhe általánosítását, amely hasonló eredményt fogalmaz meg nem feltétlenül véges sok értéket felvevő valószínűségi változók esetében. A bizonyításban szükségünk van az alábbi lemmára, amely egy dinamikus rendszer entrópiájának egy az eredeti definiciótól kissé eltérő jellemzését adja.

Lemma az entrópia jellemzéséről. Egy (Ω, A, P, T) invertálható dinamikus rendszer T shift transzformációjának az entrópiáját ki lehet fejezni az (5.6) kifejezéshez hasonló módon, úgy mint

H(T) = sup_{ξ} H(T, ξ),

ahol a szuprémumot az összes olyan A mérhető és véges sok vagy megszámlálhatóan végtelen sok értéket felvevő ξ valószínűségi változóra vesszük, amelyekre H(ξ) < ∞.

Bizonyítás. Legyen ξ olyan véges vagy megszámlálhatóan végtelen sok értéket felvevő A mérhető valószínűségi változó, amelyre H(ξ) < ∞. A lemma bizonyításához elegendő belátni, hogy minden ε > 0 számhoz létezik olyan véges sok értéket felvevő η = η(ε) valószínűségi változó, amelyre H(T, ξ) ≤ H(T, η) + ε. Azt mutatom meg, hogy létezik olyan véges sok értéket felvevő A mérhető η valószínűségi változó, amelyre

H(ξ|T ξ, …, T^{n}ξ) ≤ H(η|T η, …, T^{n}η) + ε

minden n számra, mert innen n → ∞ határátmenettel megkapjuk a kívánt egyenlőtlenséget.

Ezen állítás igazolása érdekében jegyezzük meg, hogy mint az első fejezetben láttuk létezik olyan véges sok értéket felvevő g(x) függvény, amelyre az η = g(ξ) valószínűségi változó teljesíti a H(ξ) ≤ H(η) + ε egyenlőtlenséget. Ebből az egyenlőtlenségből az is következik, hogy H(ξ|η) = H(ξ, η) − H(η) = H(ξ) − H(η) ≤ ε, és

H(ξ|T ξ, …, T^{n}ξ) = H(ξ, η|T ξ, …, T^{n}ξ) = H(ξ|η, T ξ, …, T^{n}ξ) + H(η|T ξ, …, T^{n}ξ)
≤ H(ξ|η) + H(η|T η, …, T^{n}η) ≤ H(η|T η, …, T^{n}η) + ε,

és ezt kellett belátnunk. E számolásban kihasználtuk, hogy mivel a (T η, …, T^{n}η) = (g(T ξ), …, g(T^{n}ξ)) véletlen vektor függvénye a (T ξ, …, T^{n}ξ) véletlen vektornak, ezért H(η|T ξ, …, T^{n}ξ) ≤ H(η|T η, …, T^{n}η). Hasonlóan H(ξ|η, T ξ, …, T^{n}ξ) ≤ H(ξ|η). A lemmát beláttuk.

Megfogalmazom az egy dinamikus rendszerben definiált valószínűségi változók entrópiájának összehasonlításáról szóló tétel következményének az alábbi, az eredetinél kissé élesebb változatát.

Tétel az entrópia egy tulajdonságáról Legyen ξ egy olyan véges vagy megszámlálhatóan végtelen sok értéket felvevő valószínűségi változó egy (Ω, A, P, T) invertálható dinamikus rendszerben, amelyre H(ξ) < ∞, és σ(T, ξ) = A. Ekkor H(T) = H(T, ξ).

Bizonyítás. Az előző lemma alapján H(T, ξ) ≤ H(T). Másrészt azt is láttuk, hogy mivel σ(T, ξ) = A, ezért H(T, η) ≤ H(T, ξ) tetszőleges véges sok értéket felvevő és A mérhető η valószínűségi változóra. Ezért H(T, ξ) = H(T).

Megjegyzés. Az előző tételben megengedtük azt, hogy ξ végtelen sok értéket vegyen fel, de megköveteltük a H(ξ) < ∞ reláció teljesülését. E nélkül a feltétel nélkül az állítás nem igaz. Erre mutattak példát az irodalomban.

A fenti vizsgálatokban csak invertálható dinamikus rendszerekkel foglalkoztunk. Nem nehéz a most bizonyított tételhez hasonló eredményt bizonyítani általános, nem feltétlenül invertálható dinamikus rendszerekre is, de ezek jelentősége kisebb.

Általános esetben az Egy dinamikus rendszerben definiált valószínűségi változók entrópiájának összehasonlításáról szóló tételnek azt a feltételét, amely szerint a ξ valószínűségi változó σ(T, η) mérhető újra kell értelmezni. Az általános esetben a σ(T, η) σ-algebrát úgy definiáljuk, mint a T^{n}ξ, n = 0, 1, 2 …, valószínűségi változók által generált σ-algebrát, hiszen a T^{−n}, n = 1, 2, … operátorokat nem mindig tudjuk definiálni. Ez erősebb megszorítást jelent, mint az invertálható dinamikus rendszerek esetében megfogalmazott feltétel.

Másrészt minden dinamikus rendszernek létezik úgynevezett természetes kiterjesztése, amely invertálható dinamikus rendszer. Az, hogy két kiterjesztett dinamikus rendszer természetes kiterjesztése izomorf legyen egymással az eredeti dinamikus rendszerek izomorfiájának szükséges, de nem elégséges feltétele. Így például, ha veszünk két féloldali Bernoulli rendszert, akkor ezek természetes kiterjesztése két Bernoulli rendszer ugyanazokkal a paraméterekkel. A féloldali Bernoulli rendszerek izomorfiájából azonnal következik azok természetes kiterjesztésének az izomorfiája, de ennek az állításnak a megfordítása nem igaz.

Kiegészítés. Bernoulli rendszerek vizsgálatában felmerült unitér operátorok izomorfiájának a vizsgálata.

Invertálható dinamikus rendszerek izomorfiájának vizsgálatában felmerült a következő gondolat. Ha adva van egy (Ω, A, P, T) invertálható dinamikus rendszer, akkor természetes módon definiálhatjuk az (Ω, A, P) valószínűségi mezőn definiált négyzetesen integrálható függvények által meghatározott L_{2}(Ω, A, P) Hilbert téren a következő U unitér operátort: Uf(x) = f(T x) minden f ∈ L_{2}(Ω, A, P) függvényre. Nem nehéz belátni, hogy Létezik az U^{−1} operátor, amit az U^{−1}f(x) = f(T^{−1}(x) képlet határoz meg. Mivel T mértéktartó leképezés, ezért U normatartó, és unitér operátor. Továbbá, ha két dinamikus rendszer izomorf, akkor az általuk meghatározott U unitér operátorok is izomorfak, azaz ha (Ω_{1}, A_{1}, P_{1}, T_{1}) és (Ω_{2}, A_{2}, P_{2}, T_{2}) két izomorf invertálható dinamikus rendszer, és U_{1} és U_{2} a nekik megfelelő unitér operátor, akkor az L_{2}(Ω_{1}, A_{1}, P_{1}) és L_{2}(Ω_{2}, A_{2}, P_{2}) Hilbert tereknek létezik egy olyan G izomorfiája, amelyre G(U_{1}(f)) = U_{2}(G(f)) minden f ∈ L_{2}(Ω_{1}, A_{1}, P_{1}) függvényre.

Be lehet bizonyítani ezen eredmény segítségével, hogy bizonyos dinamikus rendszerek nem izomorfak. Felmerült az a kérdés, hogy ez az eredmény segítséget nyújt-e Bernoulli rendszerek izomorfiájának a vizsgálatában. Kiderült, hogy a válasz nemleges, mert bármely két Bernoulli rendszerre az általuk a fenti módon definiált U unitér operátorok izomorfak egymással. Ismertetem ennek az állításnak a bizonyítását.

Az állítás pontos megfogalmazása érdekében bevezetem a következő jelöléseket. Rögzítsünk egy pozitív egész r számot és r darab olyan p_{j} > 0, 1 ≤ j ≤ r, számot,

amelyekre ∑_{j=1}^{r} p_{j} = 1. Definiáljuk segítségükkel azt az (X̄, A, P̄) valószínűségi mezőt,

amelyre X̄ = {1, …, r}, A az X̄ halmaz összes részhalmazából áll, és P̄({j}) = p_{j}, 1 ≤ j ≤ r. Tekintsük ennek a valószínűségi mezőnek (X̄_{l}, A_{l}, P̄_{l}) példányait minden l = 0, ±1, ±2, … egész számra, és vegyük ezek (X, A, P) direkt szorzatát. Azaz álljon az X halmaz az összes x = (…, i_{−1}, i_{0}, i_{1}, …), i_{j} ∈ {1, …, r} minden −∞ < j < ∞ indexre, sorozatból, legyen A a A_{l} σ-algebrák, P a P̄_{l} mértékek direkt szorzata az X téren, l = …, −1, 0, 1, . . .. Speciálisan minden m ≥ 0, n ≥ 0 számpárra P (x: {x =

(…, i_{−1}, i_{0}, i_{1}, …): i_{l} = j_{l}, ha − m ≤ l ≤ n}) = ∏_{l=−m}^{n} p_{j_{l}}, ha 1 ≤ j_{l} ≤ r min-

den −m ≤ l ≤ n indexre. Definiáljuk továbbá egy x = (…, i_{−1}, i_{0}, i_{1}, i_{2}, …) ∈ X pont T x eltoltját a T x = (…, i_{−2}, i_{−1}, i_{0}, i_{1}, …) képlettel, és adva egy f(x) (mérhető) függvény az (X, A, P) téren legyen Uf(x) = f(T x). Nem nehéz belátni, hogy ha az U transzformáció értelmezési tartományát megszorítjuk az (X, A, P) téren négyzetesen integrálható függvényekre, akkor U egy unitér transzformáció az L_{2}(X, A, P) Hilbert térben. Igaz továbbá az alábbi tétel.

Tétel unitér operátorok izomorfiájáról. Tekintsük minden r = 1, 2, … számra és

p_{j} > 0, ∑_{j=1}^{r} p_{j} = 1, 1 ≤ j ≤ r, vektorra az előbb bevezetett L_{2}(X, A, P) Hilbert teret és a

rajta definiált U unitér operátort. Ezek az operátorok izomorfak az r és p_{j}, 1 ≤ j ≤ r, számok tetszőleges választása esetén.

A bizonyítás lényeges része az L_{2}(X, A, P) Hilbert tér egy olyan ortonormált bázisának a megadása, amelyben az U operátor hatása jól látható. Olyan bázist fogunk konstruálni, amelyik segít abban, hogy az L_{2}(X, A, P) teret felbontsuk U-invariáns alterek direkt összegére. Ennek érdekében tekintsük az (X, A, P) valószínűségi mező definiciója során bevezetett (X̄, A, P̄) teret, illetve az ezen téren értelmezett függvények

r-dimenziós K(r) Euklideszi terét a (φ, ψ) = ∑_{j=1}^{r} p_{j}x_{j}y_{j}, ha φ = (x_{1}, …, x_{r}) ∈ K(r),

ψ = (y_{1}, …, y_{r}) ∈ K(r) skalár szorzatttal. Válasszunk a K(r) Euklideszi térben egy olyan (φ_{1}, …, φ_{r}) ortonormált bázist, amelynek első eleme φ_{1} = (1, …, 1), az {1, …, r} halmazon definiált azonosan 1 függvény. Jelölje V az összes olyan v = (v_{l}, −∞ < l < ∞) sorozat terét, amelyre v_{l} ∈ {1, …, r} minden −∞ < l < ∞ indexre, és a v sorozat elemei csak véges sok 1-től különböző koordinátát tartalmaznak. Bevezetem a következő u_{v} a v ∈ V sorozatokkal indexelt az (X, A, P) téren definiált függvényeket:

u_{v}(…, i_{−1}, i_{0}, i_{1}, …) = ∏_{l=−∞}^{∞} φ_{v_{l}}(i_{l}). Ezek a szorzatok jól definiáltak, mert csak véges

sok tényezőből állnak. Ugyanis φ_{v_{l}}(i_{l}) = φ_{1}(i_{l}) = 1 véges sok l index kivételével. A következő lemmát fogom bebizonyítani.

Lemma ortonormált bázisok létezéséről. Az előbb definiált u_{v}(·), v ∈ V, függvények együttese teljes ortonormált rendszert alkot az L_{2}(X, A, P) térben.

A lemma bizonyítása. Könnyen látható, hogy az u_{v}(·), v ∈ V, függvények ortonormáltak. Ugyanis véve két v = (…, v_{−1}, v_{0}, v_{1}, …) ∈ V és v̄ = (…, v̄_{−1}, v̄_{0}, v̄_{1}, …) ∈

V vektort és egy x ∈ X pontot, felírhatjuk az u_{v}(x)uv̄(x) = ∏_{l=−∞}^{∞} φ_{v_{l}}(x(l))φv̄_{l}(x(l))

azonosságot, ahol x(l) = i_{l}, ha x = (…, −i_{1}, i_{0}, i_{0}, …). Tehát az u_{v}(x)uv̄(x) kifejezés faktorizálódik. Sőt ez a szorzat csak véges sok tagból áll, mert φ_{v_{l}}(x) = φ_{1}(x) ≡ 1, és φv̄_{l}(x) = φ_{1}(x) ≡ 1 véges sok l index kivételével. A P valószínűségi mérték szintén faktorizálódik, és innen azt kapjuk, hogy

(u_{v}, uv̄) = ∫ u_{v}(x)uv̄(x)P ( dx) = ∏_{l=−∞}^{∞} ∫ φ_{v_{l}}(x(l))φv̄_{l}(x(l))P̄_{l}( dx(l))

= ∏_{l=−∞}^{∞} (∑_{i=1}^{r} p_{i}φ_{v_{l}}(i)φv̄_{l}(i)) = ∏_{l=−∞}^{∞} δ(v_{l}, v̄_{l}) = δ(v, v̄),

ahol δ(i, j) = 0, ha i ≠ j, δ(i, j) = 1, ha i = j, és hasonlóan δ(v, v̄) = 0, ha v ≠ v̄, és δ(v, v̄) = 1, ha v = v̄.

Adva két m > 0 és n > 0 egész szám jelölje Q_{m,n} az L_{2}(X, A, P) Hilbert tér azon alterét, amely az olyan u(x), x ∈ X, függvényekből áll, amelyek az x = (…, i_{−1}, i_{0}, i_{1}, …) argumentumnak csak az i_{j}, −m ≤ j ≤ n, koordinátáitól függnek, és jelölje V_{m,n} ⊂ V azon v = (v_{l}, −∞ < l < ∞) ∈ V sorozatok halmazát, amelyekre v_{l} = 1, ha l < −m vagy l > n. Ekkor az u_{v}(·), v ∈ V_{m,n} függvények (r^{n+m+1} elemből álló) rendszere egy teljes ortonormált rendszert alkot a Q_{m,n} (r^{n+m+1} dimenziós) Euklideszi térben. Ezért annak bizonyításához,hogy az u_{v}(·), v ∈ V, függvények teljes ortonormált rendszert alkotnak az L_{2}(X, A, P) Hilbert térben elég azt megmutatni, hogy a Q_{m,n} alterek ⋃_{0<m,n<∞} Q_{m,n} uniója mindenütt sűrű halmaz az L_{2}(X, A, P) Hilbert térben. Sőt, ezt

arra az állításra lehet redukálni, hogy a B = ⋃_{0<m,n<∞} A_{m,n} halmaz, ahol A_{m,n} a Q_{m,n}

altér függvényeinek nívóhalmazai által generált σ-algebra, sűrű az A σ-algebrában. Ez azt jelenti, hogy minden ε > 0 számhoz és A ∈ A halmazhoz létezik olyan B ∈ B halmaz, amelyre P (AΔB) < ε. (Itt AΔB az A és B halmaz szimmetrikus differenciáját jelöli.) Ugyanis innen következik, hogy véges sok A_{i} ∈ A halmaz indikátor függvényének a lineáris kombinációja benne van a ⋃_{0<m,n<∞} Q_{m,n} függvényhalmaznak (az L_{2} norma sze-

rinti) lezártjában. De akkor az ilyen alakú függvények lezártja, ami egyenlő L_{2}(X, A, P) Hilbert térrel, szintén benne van ebben a függvényosztályban.

Viszont az, hogy a B halmazosztály sűrű a A σ-algebrában következik a Lemma σ-algebra elemeinek jó approximációjáról eredményéből. Ugyanis B halmaz algebra, és A az általa generált σ-algebra. A lemmát beláttuk.

Belátjuk a tételt ezen lemma segítségével.

Az unitér operátorok izomorfiájáról szóló tétel bizonyítása. Álljon a V_{0} ⊂ V halmaz azon v = (v_{l}, −∞ < l < ∞) ∈ V sorozatokból, amelyekre v_{l} = 1, ha l < 0, és v_{0} ≠ 1. A V_{0} halmaz megszámlálható, ezért megadható V_{0} = {v^{(1)}, v^{(2)}, … } alakban. Definiáljuk az u_{n} = u_{v^{(n)}} ∈ L_{2}(X, A, P), n = 1, 2, …, függvényeket, és ezenkívül az u_{0} = u_{v^{(0)}} függvényt, ahol v^{(0)} = (v_{l} = 1, −∞ < l < ∞) ∈ V, azaz a csupa 1 koordinátából álló v^{(o)} ∈ V sorozat. Definiáljuk a T^{k}v (shift) transzformációt minden v ∈ V sorozatra és −∞ < k < ∞ számra a T^{k}v = (v_{l−k}, −∞ < l < ∞), ha v = (v_{l}, −∞ < l < ∞) képlet segítségével. Továbbá vezessük be a következő jelöléseket. Definiáljuk az u_{n,k} = u_{T^{k}v^{(n)}} függvényeket minden n = 1, 2, … és −∞ < k < ∞ számpárra. (Tehát speciálisan

u_{n} = u_{n,0}). Ekkor nem nehéz belátni, hogy mivel V \ {v^{(0)}} = ⋃_{k=−∞}^{∞}{T^{k}v, v ∈ V_{0}}, és

ebben az unióban minden v ∈ V \{v^{(0)}} vektor pontosan egyszer van felsorolva. Ezért az u_{0}, u_{n,k}, 1 ≤ n < ∞, −∞ < k < ∞, függvényrendszer megegyezik az előző lemmában tekintett u_{v}(·), v ∈ V, függvények rendszerével, és teljes ortonormált rendszert alkot. Továbbá Uu_{0} = u_{0}, és Uu_{n,k} = u_{n,k+1} minden 1 ≤ n < ∞ és −∞ < k < ∞ indexekre. Az U transzformáció ezen jellemzésének segítségével könnyen be tudjuk látni a tételt.

Tekintsünk egy H szeparábilis Hilbert teret valamely ortonormált bázissal, amelynek elemeit indexeljük az előzőleg vizsgált esethez hasonlóan úgy, hogy g_{0}, g_{n,k}, 1 ≤ n < ∞, −∞ < k < ∞. Definiáljuk a H Hilbert téren a következő Ū operátort: Ūg_{0} = g_{0}, Ūg_{n,k} = g_{n,k+1}, ha 1 ≤ n < ∞, −∞ < k < ∞. Nem nehéz belátni, hogy Ū unitér operátor. (Ū^{−1}g_{n,k} = g_{n,k−1}, és Ū^{−1}g_{0} = g_{0}.) Továbbá a G: u_{n,k} → g_{n,k}, 1 ≤ n < ∞, −∞ < k < ∞ és G: u_{0} → g_{0} leképezés az L_{2}(X, A, P) térnek és a H Hilbert térnek egy olyan izomorfiáját definiálja, amely az U és Ū unitér operátorok izomorfiáját is biztosítja. Mivel az ebben az izomorfiában szereplő H Hilbert tér és Ū operátor megválasztása nem függött az (X, A, P, T) Bernoulli rendszer definiciójában szereplő r és p_{j}, 1 ≤ j ≤ r, paraméterektől, innen következik a tétel állítása.

Megjegyzés. Kidolgozták a Hilbert téren definiált unitér (vagy önadjungált, vagy általánosabban úgynevezett normális) operátorok spektrál elméletét, amely jól leírja az ilyen operátorok szerkezetét. Értsük meg, hogyan írja le ezen elmélet az egy Bernoulli rendszerben előbb definiált és vizsgált U unitér operátort. Annak érdekében, hogy jobban megértsük egy Hilbert téren definiált operátor viselkedését, érdemes a Hilbert teret felbontani az operátor invariáns altereinek direkt összegére. Az előző tételben tulajdonképpen egy ilyen felbontást konstruáltunk.

Az L_{2}(X, A, P) teret felbontottuk K_{0}, K_{1}, … ortogonális U-invariáns alterek összegére a következő módon. K_{0} az u_{0} vektor által generált (1 dimenziós) altér, K_{n} pedig az u_{n,k}, k = 0, ±1, ±2, …, vektorok által generált altér minden n = 1, 2, … számra. Az U operátor megszorítását a K_{n} altérre az Uu_{n,k} = u_{n,k+1}, k = 0, ±1, ±2 …, képlet definiálja. Érdemes megjegyezni, hogy az U operátor megszorítása valamelyik K_{n} altérre izomorf a következő Ū operátorral. Tekintsük a G = L_{2}([0, 1), B, λ) Hilbert teret, ahol B a Borel σ-algebra, λ pedig a Lebesgue mérték a [0, 1) intervallumon. Definiáljuk az Ū operátort, mint az f(x) = e^{i2πx} függvénnyel való szorzást a G Hilbert térben, azaz legyen Ūg(x) = e^{i2πx}g(x), ha g(x) ∈ L_{2}([0, 1), B, λ). Ekkor felhasználva, hogy a g_{k}(x) = e^{i2πkx}, k = 0, ±1, …, függvények egy teljes ortonormált rendszert alkotnak az L_{2}([0, 1), B, λ) térben, és Ūg_{k} = g_{k+1} minden k = 0, ±1, ±2, … indexre, meg tudjuk mutatni, hogy az u_{n,k} → g_{k}, k = 0, ±1, ±2, …, leképezés izomorfiát létesít az K_{n} és G Hilbert terek és a rajtuk definiált U és Ū unitér operátorok között. Ezt a tényt felhasználva a következő az L_{2}(X, A, P) Hilbert térrel és U unitér operátorral izomorf rendszert tudjuk definiálni. Vegyük az L_{2}([0, ∞), B, λ^{+}) Hilbert teret, ahol B a Borel σ-algebra [0, ∞) félegyenesen, λ^{+} a Lebesgue mérték a [0, ∞) félegyenesen plusz a {0} pontba koncentrált egység mérték. Akkor az f(x) = e^{i2πx} függvénnyel való szorzás az L_{2}([0, ∞), B, λ^{+}) térben izomorf az U operátorral. Ez az állítás tekinthető úgy is, mint az U operátor implicit módon megadott spektrál előállítása.

6. A Shannon–McMillan–Breiman tétel.

Ebben a fejezetben a Shannon–McMillan–Breiman tételt, az információelmélet egyik klasszikus eredményét ismertetem. Ez az eredmény nagy n számokra hasznos jellemzést ad egy véges vagy megszámlálható sok értéket felvevő, diszkrét idejű stacionárius sztochasztikus folyamat n hosszúságú szeleteinek tipikus értékeire. A tétel megfogalmazása érdekében felidézek előbb néhány fontos fogalmat és eredményt.

Diszkrét idejű stacionárius sztochasztikus folyamat definiciója. Legyen adva ξ_{n}, −∞ < n < ∞, valószínűségi változók egy sorozata egy (Ω, A, P) valószínűségi mezőn. Azt mondjuk, hogy ez a sorozat diszkrét idejű stacionárius sztochasztikus folyamat, ha minden −∞ < n_{1} < n_{2} < ⋯ < n_{k} < ∞ és m ≥ 1 egész számokra a (ξ_{n_{1}}, ξ_{n_{2}}, …, ξ_{n_{k}}) és (ξ_{n_{1}+m}, ξ_{n_{2}}, …, ξ_{n_{k}+m}) véletlen vektorok eloszlása megegyezik.

A diszkrét idejű stacionárius sztochasztikus folyamatok és az invertálható dinamikus rendszerek szoros kapcsolatban állnak egymással. Ha veszünk egy dinamikus rendszerben egy ξ(ω) valószínűségi változót és annak összes ξ_{n}(ω) = T^{n}ξ(ω) = ξ(T^{n}(ω)), n = 0, ±1, ±2, …, eltoltját, akkor ezen eltoltak sorozata egy diszkrét idejű stacionárius sztochasztikus folyamat. Ennek igazolásához azt kell megérteni, hogy

{ω: (ξ(T^{n_{1}+m}(ω), …, T^{n_{k}+m}(ω)) ∈ A} = T^{−m}{ω: (ξ(T^{n_{1}}(ω), …, T^{n_{k}}(ω)) ∈ A},

és T mértéktartó leképezés. Azért, hogy az előző állítás megfordítását is megfogalmazzam, definiálni fogok úgynevezett speciális dinamikus rendszereket, amelyek invertálható dinamikus rendszerek, és definiálni fogok minden speciális dinamikus rendszerre ξ̄_{n}, ξ̄_{n} = T^{n}ξ̄_{0}, −∞ < n < ∞, valószínűségi változóknak egy sorozatát, amelyet e rendszer által indukált sorozatnak fogok nevezni. A fenti képletben T^{n} a tekintett speciális dinamikus rendszer shift transzformációjának az n-ik hatványa. Meg fogom mutatni, hogy minden ξ_{n}, −∞ < n < ∞, diszkrét idejű stacionárius sztochasztikus folyamathoz tudunk egy olyan speciális dinamikus rendszert konstruálni, amelyre az általa indukált ξ̄_{n}, ξ̄_{n} = T^{n}ξ̄_{0}, valószínűségi változók sorozatának és az eredeti ξ_{n}, −∞ < n < ∞, valószínűségi változó sorozatnak az eloszlása megegyezik. Az állítás pontos megfogalmazásának az érdekében bevezetem a következő definiciót.

Speciális dinamikus rendszerek és általuk indukált valószínűségi változók sorozatának a definiciója. Jelölje R^{±∞} az R számegyenes (pozitív, negatív vagy nulla) egész számokkal indexelt példányainak a direkt szorzatát, azaz az x = (…, x_{−1}, x_{0}, x_{1}, …) két irányban végtelen, valós számokból álló sorozatok halmazát, és jelölje B^{±∞} a Borel σ-algebrát az R^{±∞} halmazon. Vezessük be a (baloldali eltolást jelentő)

T x = T (…, x_{−1}, x_{0}, x_{1}, …) = (…, x_{−2}, x_{−1}, x_{0}, …), x ∈ R^{±∞}

shift transzformációt az R^{±∞} téren. Egy P̄ valószínűségi mértéket az (R^{±∞}, B^{±∞}) téren T invariánsnak nevezünk, ha P̄(T^{−1}(A)) = P̄(A) minden A ∈ B^{±∞} halmazra. Egy (R^{±∞}, B^{±∞}, P̄, T) rendszert a fent definiált R^{±∞}, B^{±∞}, P̄ és T menyiségekkel, ahol P̄ T invariáns valószínűségi mérték az (R^{±∞}, B^{±∞}) téren speciális dinamikus rendszernek nevezünk. Adva egy (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszer, a ξ̄_{n}(x) = x_{n}, −∞ < n < ∞, x = (…, x_{−1}, x_{0}, x_{1}, …), valószínűségi változók sorozatát a rendszer által indukált valószínűségi változók sorozatának fogjuk nevezni. (Nyilván ξ̄_{n}(x) = ξ̄_{0}(T^{n}x)) minden x ∈ R^{±∞} pontra és n = 0, ±1, … számra.)

Nem nehéz látni, hogy egy speciális dinamikus rendszer invertálható dinamikus rendszer. Továbbá igaz a következő lemma.

Lemma diszkrét idejű stacionárius sztochasztikus folyamatok és invertálható dinamikus rendszerek kapcsolatáról. Legyen (Ω, A, P, T) invertálható dinamikus rendszer, és ξ egy az (Ω, A, P) mezőn értelmezett valószínűségi változó. Ekkor a ξ_{n} = T^{n}ξ, n = …, −1, 0, 1, …, valószínűségi változók sorozata egy diszkrét idejű stacionárius sztochasztikus folyamat.

Megfordítva, minden ξ_{n}, −∞ < n < ∞, diszkrét idejű stacionárius sztochasztikus folyamathoz létezik olyan (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszer, amelyre a speciális dinamikus rendszer által indukált ξ̄_{n}, −∞ < n < ∞, valószínűségi változók sorozatának és a ξ_{n}, −∞ < n < ∞, valószínűségi változó sorozatnak az eloszlása megegyezik.

Bizonyítás. A lemma első fele nyilvánvaló. A lemma második felének a bizonyításában definiálni kell a lemma feltételeit kielégítő (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszert. Ebben a definicióban a P̄ valószínűségi mértéket kell alkalmas módon megadni. Ennek érdekében tekintsük azt az (Ω, A, P) valószínűségi mezőt, ahol a ξ_{n}(ω) valószínűségi változók vannak definiálva, és definiáljuk a következő U: Ω → R^{±∞} (mérhető) leképezést: U(ω) = (…, ξ_{−1}(ω), ξ_{0}(ω), ξ_{1}(ω), …). Legyen P̄ a P mérték ezen U transzformáció szerinti ősképe az (R^{±∞}, B^{±∞}) téren, azaz legyen P̄(A) = P ({ω: U(ω) ∈ A}) minden A ∈ B^{±∞} halmazra. Meg fogjuk mutatni, hogy a ξ_{n}, −∞ < n < ∞, sorozat stacionaritásából következik, hogy a P̄ mérték T invariáns, azaz (R^{±∞}, B^{±∞}, P̄, T) ezzel a P̄ mértékkel valóban speciáis dinamikus rendszer. Továbbá a P̄ mérték definiciójából az is következik, hogy a ξ̄_{n}, −∞ < n < ∞, és a ξ_{n}, −∞ < n < ∞, valószínűségi változók sorozatainak az együttes eloszlásai megegyeznek.

Be kell még látni, hogy a P̄ mérték valóban T invariáns, azaz definiálva a Q(A) = P̄(T^{−1}A), A ∈ B^{±∞}, mértéket P̄(A) = Q(A) minden A ∈ B^{±∞} halmazra. Ez az azonosság igaz a ξ_{n}, n = …, −1, 0, 1, …, valószínűségi változó sorozat stacionaritása miatt a következő speciális alakú A ∈ B^{±∞} (henger)halmazokra.

A = A(n_{1}, …, n_{k}, B) = {x = (…, x_{1}, x_{0}, x_{1}, …): (x_{n_{1}}, …, x_{n_{k}}) ∈ B},

ahol n_{1}, …, n_{k} tetszőleges egész számok, és B tetszőleges Borel mérhető halmaz az R^{k} k-dimenziós Euklideszi térben. Ugyanis P̄(A) = P ((ξ_{n_{1}}, …, ξ_{n_{k}}) ∈ B), és Q(A) = P ((ξ_{n_{1}+1}, …, ξ_{n_{k}+1}) ∈ B) ebben az esetben. Viszont az ilyen alakú halmazok egy olyan halmaz algebrát alkotnak, amely generálja a B^{±∞} σ-algebrát. Mivel egy mérték kiterjesztése egy halmaz algebráról az általa generált σ-algebrára egyértelmű, innen következik, hogy P̄(A) = Q(A) minden A ∈ B^{±∞} halmazra, amint azt állítottuk.

A fenti lemma lehetővé teszi, hogy a dinamikus rendszerek elméletének az eredményeit alkalmazzuk diszkrét idejű stacionárius sztochasztikus folyamatok vizsgálatában. A dinamikus rendszerek elméletének egyik legfontosabb eredménye az ergod tétel. Ezt kívánom megfogalmazni. Ez előtt be kell vezetni néhány definiciót.

Dinamikus rendszer invariáns halmazainak a definiciója. Egy (Ω, A, P, T) dinamikus rendszer valamely A ∈ A halmazát e rendszer invariáns halmazának nevezünk, ha T^{−1}(A) = A. Ezt az azonosságot úgy értjük, hogy a benne szereplő két halmaz szimmetrikus differenciájának nulla a P mérték szerinti valószínűsége.

Szükségünk lesz a következő egyszerű lemmára.

Lemma az invariáns halmazok viselkedéséről. Egy dinamikus rendszer invariáns halmazai σ-algebrát alkotnak, azaz, ha A invariáns halmaz akkor annak komplementere,

Ω \ A is az, és ha A_{1}, A_{2}, … invariáns halmazok, akkor a ⋃_{n=1}^{∞} A_{n} és ⋂_{n=1}^{∞} A_{n} halmazok

is invariánsak.

Bizonyítás. Az állítás egyszerű következménye a T^{−1} inverz transzformáció tulajdonságainak.

Adva egy (Ω, A, P, T) dinamikus rendszer jelölje I ⊂ A az invariáns halmazok σ-algebráját, és vezessük be a következő definiciót.

Ergodikus dinamikus rendszerek definiciója. Egy (Ω, A, P, T) dinamikus rendszert ergodikusnak nevezünk, ha e rendszer invariáns halmazainak I σ-algebrája triviális a következő értelemben. Minden A ∈ I halmazra P (A) = 0 vagy P (A) = 1.

Ergod tétel. Legyen (Ω, A, P, T) egy dinamikus rendszer, U(ω) egy A mérhető valós értékű függvény, amelyre ∫_{Ω} |U(ω)|P ( dω) < ∞. Ekkor

lim_{n→∞} \frac{1}{n} ∑_{j=0}^{n−1} U(T^{j}ω) = E(U|I)(ω) a P mérték szerint majdnem minden ω ∈ Ω pontra, ahol I az invariáns halmazok σ-algebrája, és E(·|I) az I σ-algebra szerinti feltételes várható értéket jelöli. Ha az (Ω, A, P, T) dinamikus rendszer ergodikus, akkor a képlet egyszerűsödik, mert ebben az esetben E(U|I)(ω) = EU = ∫ U(ω)P ( dω).

A fentiekben dinamikus rendszerek ergodicitását definiáltuk. De diszkrét idejű stacionárius sztochasztikus folyamatok ergodicitását is természetes módon lehet definiálni. Annak érdekében, hogy megadjuk azt, hogy egy ξ_{n}, −∞ < n < ∞, diszkrét idejű stacionárius sztochasztikus folyamat mikor ergodikus tekintsük azt az (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer által indukált ξ̄_{n}, −∞ < n < ∞, valószínűségi változók sorozatának és a ξ_{n}, −∞ < n < ∞, valószínűségi változó sorozatnak az eloszlása megegyezik. (Láttuk, hogy ilyen speciális dinamikus rendszer létezik.) Akkor mondjuk, hogy a ξ_{n}, −∞ < n < ∞, diszkrét idejű stacionárius sztochasztikus folyamat ergodikus, ha a fenti tulajdonságú (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszer ergodikus. Mivel a ξ_{n}, −∞ < n < ∞, és a ξ̄_{n}, −∞ < n < ∞, sorozatok eloszlása megegyezik, ez a két sorozat ugyanolyan valószínűségszámítási törvényeket teljesít. Ez lehetővé teszi, hogy diszkrét idejű stacionárius sztochasztikus folyamatok vizsgálatát visszavezessük invertálható dinamikus rendszerek vizsgálatára, ahol alkalmazhatjuk az ergod tételt is.

Tekintsünk egy olyan diszkrét idejű ξ_{n}, −∞ < n < ∞, stacionárius sztochasztikus folyamatot, amelyben a ξ_{n} valószínűségi változók értékeit egy véges vagy megszámlálhatóan végtelen X halmazban veszik fel, és definiáljuk ennek entrópiáját. Az egyszerűbb jelölés érdekében feltehetjük, hogy X a valós számok egy részhalmaza. Olyan definiciót fogunk adni, amely összhangban van a dinamikus rendszerek esetében definiált H(T, ξ) entrópia definicióval valamint a diszkrét idejű stacionárius sztochasztikus folyamatok és az invertálható dinamikus rendszerek közötti kapcsolattal. Legyen

H(ξ_{n}, −∞ < n < ∞) = lim_{n→∞} H(ξ_{0}|ξ_{−1}, …, ξ_{−n}),  (6.1)

ahol H(ξ_{0}|ξ_{−1}, …, ξ_{−n}) az első fejezetben bevezetett feltételes entrópia. Az, hogy a (6.1) formulában szereplő limeszek valóban léteznek hasonlóan mutatható meg, mint ahogy a H(T, ξ) entrópia definiciójának a jogosságát indokoltuk az 5. fejezetben. Továbbá

nem nehéz belátni, hogy H(ξ_{n}, −∞ < n < ∞) = lim_{n→∞} \frac{1}{n}H(ξ_{0}, ξ_{−1}, …, ξ_{−n+1}), ha

H(ξ_{1}) < ∞. (Azt is állítjuk, hogy a H(ξ_{1}) < ∞ esetben ez a véges határérték létezik.)

Egyébként szoros kapcsolat van a diszkrét idejű stacionárius sztochasztikus folyamatok és invertálható dinamikus rendszerek entrópiája között. Legyen ξ_{n}, −∞ < n < ∞, olyan diszkrét idejű stacionárius sztochasztikus folyamat, amelyben a ξ_{n} valószínűségi változók értékeiket egy véges vagy megszámlálhatóan végtelen X halmazban veszik fel. Tekintsük azt a (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer által indukált ξ̄_{n}, −∞ < n < ∞, valószínűségi változók sorozatának és a ξ_{n}, −∞ < n < ∞, valószínűségi változó sorozatnak az eloszlása megegyezik. Ekkor H(ξ_{n}, −∞ < n < ∞) = H(T, ξ̄_{0}). Pontosabban egy apró technikai kellemetlenség elkerülése végett érdemes a ξ̄_{n} valószínűségi változók definicióját kissé módosítani. A ξ̄_{n} valószínűségi változók ugyanis, — legalábbis formálisan, — nem véges vagy megszámlálhatóan sok értéket vesznek fel. E valószínűségi változók értékkészlete az R számegyenes. De mivel P (ξ_{n} ∈ X) = 1, ettől a kellemetlenségtől egyszerűen meg tudunk szabadulni. Arra az (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszerre, amelyet most tekintettünk P̄(X^{±∞}) = 1, ahol X^{±∞} = {(…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …): x_{j_{n}} ∈ X, −∞ < n < ∞}. Ezért a tekintett (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszert helyettesíthetjük az (X^{±∞}, B^{±∞}, P̄, T) (invertálható) dinamikus rendszerrel, ahol B^{±∞} a korábban definiált B^{±∞} (Borel) σ-algebra, és P̄ a korábban definiált P̄ mérték megszorítása az X^{±∞} halmazra. Az e rendszer által indukált ξ̄_{n} = T^{n}ξ̄_{0} valószínűségi változókat a korábbi esethez hasonlóan definiáljuk. Ezzel a módosítással közvetlenül látható, hogy H(ξ_{n}, −∞ < n < ∞) = H(T, ξ̄_{0}).

A Shannon–McMillan–Breiman tétel megfogalmazása előtt teszek egy rövid kitérőt. Gyakran valószínűségi változóknak olyan ξ_{n}, n ≥ 0 sorozataival kell foglalkoznunk, amelyek hasonlóan viselkednek a diszkrét idejű stacionárius sztochasztikus folyamatokhoz, de csak nem negatív n indexekre vannak definiálva. Az ilyen sorozatokat féloldali diszkrét idejű stacionárius sztochasztikus folyamatoknak fogom nevezni. Megfogalmazom, hogy ez pontosan mit jelent, és megmutatom, hogy az ilyan sorozatok vizsgálata visszavezethető a hagyományos diszkrét idejű stacionárius sztochasztikus folyamatok vizsgálatához. Először bevezetem a következő fogalmat.

Féloldali diszkrét idejű stacionárius sztochasztikus folyamat definiciója. Legyen adva ξ_{n}, n = 0, 1, 2, …, valószínűségi változók egy sorozata egy (Ω, A, P) valószínűségi mezőn. Azt mondjuk, hogy ez a sorozat féloldali diszkrét idejű stacionárius sztochasztikus folyamat, ha minden 0 ≤ n_{1} < n_{2} < ⋯ < n_{k} < ∞ és m ≥ 1 egész számokra a (ξ_{n_{1}}, ξ_{n_{2}}, …, ξ_{n_{k}}) és (ξ_{n_{1}+m}, ξ_{n_{2}}, …, ξ_{n_{k}+m}) véletlen vektorok eloszlása megegyezik.

A következő lemma kapcsolatot teremt féloldali diszkrét idejű és diszkrét idejű stacionárius sztochasztikus folyamatok között.

Lemma féloldali diszkrét idejű és diszkrét idejű stacionárius sztochasztikus folyamatok kapcsolatáról. Legyen ξ_{n}, n = 0, 1, 2, …, egy féloldali diszkrét idejű stacionárius sztochasztikus folyamat egy (Ω, A, P) valószínűségi mezőn. Létezik olyan diszkrét idejű ξ̄_{n}, −∞ < n < ∞, stacionárius sztochasztikus folyamat egy alkalmas (Ω̄, Ā, P̄) valószínűségi mezőn, amelyre a ξ_{n}, n = 0, 1, 2, …, és ξ̄_{n}, n = 0, 1, 2, …, sorozatok eloszlása megegyezik.

A lemma bizonyítása. Legyen (Ω̄, Ā, P̄) = (R^{±∞}, B^{±∞}, P̄) a korábban definiált R^{±∞} halmazzal és B^{±∞} σ-algebrával és egy alkalmasan definiált P̄ valószínűségi mértékkel. Legyen továbbá ξ̄_{n}(x) = x_{n}, −∞ < n < ∞, ha x = (…, x_{−1}, x_{0}, x_{1}, …) ∈ R^{±∞}. A P̄ mérték definiálása érdekében vegyük észre, hogy P (ξ_{n_{1}} ∈ B_{1}, …, ξ_{n_{k}} ∈ B_{k}) = P (ξ_{n_{1}+p} ∈ B_{1}, …, ξ_{n_{k}+p} ∈ B_{k}) nem negatív egész számok minden monoton növekvő 0 ≤ n_{1} < ⋯ < n_{k} véges sorozatára, tetszőleges p ≥ −n_{1} egész számra és a számegyenesen Borel mérhető B_{1}, …, B_{k} halmazokra. Definiáljuk a P̄ mértéket először bizonyos speciális halmazokra a

\begin{aligned}P̄((…, x_{−1}, x_{0}, x_{1}, …): x_{n_{1}} ∈ B_{1}, …, x_{n_{k}} ∈ B_{k}) & = P (ξ_{0} ∈ B_{1}, …, ξ_{n_{k}−n_{1}} ∈ B_{k}) \\ & = P (ξ_{n_{1}+p} ∈ B_{1}, …, ξ_{n_{k}+p} ∈ B_{k}) \end{aligned}

(6.2) képlet segítségével. E képletben −∞ < n_{1} < n_{2} < ⋯ < n_{k} < ∞ egész számok, p ≥ −n_{1}, és B_{1}, …, B_{k} Borel mérhető halmazok a számegyenesen. (Megengedjük, hogy n_{j} < 0 legyen bizonyos j indexekre.) Ha a fenti képletekben az x_{j} koordinátákat valószínűségi változóknak tekintjük, akkor (6.2) képletben ezek véges dimenziós eloszlásait konzisztens módon definiáltuk. Ezért Kolmogorov tétele alapján létezik (egyetlen) olyan P̄ mérték az (R^{±∞}, B^{±∞}) téren, amely teljesíti a (6.2) formulát tetszőleges −∞ < n_{1} < n_{2} < ⋯ < n_{k} < ∞, p > −n_{1} egész számokra és B_{1}, …, B_{k} Borel mérhető halmazokra a számegyenesen. (A valószínűségszámítás alaptételének egy lehetséges megfogalmazását alkalmaztuk.) Nem nehéz belátni, hogy az így konstruált (R^{±∞}, B^{±∞}, P̄) valószínűségi mező és ξ̄_{n}, −∞ < n < ∞, valószínűségi változók teljesítik a lemma állítását.

Rátérek a Shannon–McMillan–Breiman tétel ismertetésére. Ezen eredmény két ekvivalens verzióját fogom megfogalmazni. Az első verzió invertálható dinamikus rendszerek, a második verzió diszkrét idejű stacionárius sztochasztikus folyamatok viselkedéséről fog szólni.

A Shannon–McMillan–Breiman tétel invertálható dinamikus rendszerekre. Legyen (Ω, A, P, T) egy ergodikus invertálható dinamikus rendszer, és legyen azon adva egy olyan ξ valószínűségi változó, amely értékeit egy véges vagy megszámlálható X = {x_{1}, x_{2}, … } halmazon veszi fel, és H(ξ) < ∞. Vezessük be a ξ_{n} = T^{n}ξ, −∞ < n < ∞, valószínűségi változókat, és definiáljuk minden n = 1, 2, … számra a

p_{n}(x_{j_{0}}, …, x_{j_{n−1}}) = P (ξ_{0} = x_{j_{0}}, …, ξ_{n−1} = x_{j_{n−1}})

függvényt, ahol x_{j_{s}} ∈ X minden 1 ≤ s ≤ n − 1 indexre. Ekkor

lim_{n→∞} −\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) = H(T, ξ) 1 valószínűséggel,  (6.3)

ahol a H(T, ξ) entrópiát az (5.5) képletben definiáltuk.

A Shannon–McMillan–Breiman tétel diszkrét idejű stacionárius sztochasztikus folyamatokra. Legyen ξ_{n}, −∞ < n < ∞, egy olyan diszkrét idejű, ergodikus stacionárius sztochasztikus folyamat, amelyre a ξ_{n} valószínűségi változók értékeiket egy véges vagy megszámlálható X = {x_{1}, x_{2}, … } halmazon veszik fel, és H(ξ_{n}) < ∞. Vezessük be minden n = 1, 2, … számra a p_{n}(x_{j_{0}}, …, x_{j_{n−1}}) = P (ξ_{0} = x_{j_{0}}, …, ξ_{n−1} = x_{j_{n−1}}) függvényt, ahol x_{j_{s}} ∈ X minden 1 ≤ s ≤ n − 1 indexre. Ekkor

lim_{n→∞} −\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) = H(ξ_{n}, −∞ < n < ∞) 1 valószínűséggel,

ahol a H(ξ_{n}, −∞ < n < ∞) entrópiát az (6.1) képletben definiáltuk.

Megjegyzés. A ξ_{n} sorozat stacionaritása miatt a p_{n}(·) függvények definicióját

p_{n}(x_{j_{0}}, …, x_{j_{n−2}}, x_{j_{n−1}}) = P (ξ_{−n−1} = x_{j_{0}}, …, ξ_{−1} = x_{j_{n−2}}, ξ_{0} = x_{j_{n−1}})

alakban is írhattuk volna.

Az, hogy egy ξ_{n}, −∞ < n < ∞, értékeiket egy véges vagy megszámlálható X halmazon felvevő valószínűségi változókból álló sztochasztikus folyamat teljesíti a Shannon–McMillan–Breiman tételt heurisztikusan úgy interpretálható, hogy meg lehet adni a sztochasztikus folyamat értékeinek egy olyan ‘tipikus sorozatokból álló’ 1 valószínűségű X_{0}^{±∞} ⊂ X^{±∞} részhalmazát úgy, hogy nagy n számokra jó aszimptotikus formula adható annak valószínűségére, hogy a sztochasztikus folyamat megszorítása a 0 és n − 1 indexű koordináták közé megegyezik egy előírt tipikus sorozat megszorításával a 0 és n − 1 koordináták közé. Ez a valószínűség minden tipikus x ∈ X_{0}^{±∞} sorozatra közelítőleg egyenlő; exponenciálisan kicsi, és logaritmusának a −\frac{1}{n}-szerese körülbelül a sztochasztikus folyamat entrópiájával egyenlő.

A diszkrét idejű stacionárius sztochasztikus folyamatokra megfogalmazott Shannon–McMillan–Breiman tétel egyszerűen következik az invertálható dinamikus rendszerekről szóló Shannon–McMillan–Breiman tételből. Valóban, adva egy olyan ξ_{n}, −∞ < n < ∞, diszkrét idejű, ergodikus stacionárius sztochasztikus folyamat, amelyre a ξ_{n} valószínűségi változók értékeiket egy véges vagy megszámlálható X = {x_{1}, x_{2}, … } halmazon veszik fel, és H(ξ_{n}, −∞ < n < ∞) < ∞, tekintsük azt az (R^{±∞}, B^{±∞}, P̄, T) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer által indukált ξ̄_{n}, −∞ < n < ∞, valószínűségi változók sorozatának és a ξ_{n}, −∞ < n < ∞, valószínűségi változó sorozatnak az eloszlása megegyezik. Pontosabban, ezt a speciális dinamikus rendszert kissé módosítjuk, felhasználva, hogy olyan valószínűségi változókat tekintünk, amelyek értékeiket az X halmzaban veszik fel. Ezért az (X^{±∞}, B^{±∞}, P̄, T) dinamikus rendszert vesszük, és ebben a ξ̄_{n}, −∞ < n < ∞, sorozatra alkalmazzuk a Shannon– McMillan–Breiman tételt. Ezt felírhatjuk P ((…, ξ̄_{−1}(ω), ξ̄_{0}(ω), ξ̄_{1}(ω), …) ∈ D) = 1 alakban, ahol

D = \{(…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) ∈ X^{±∞}: lim_{n→∞} −\frac{1}{n} log p_{n}(x_{j_{0}}, …, x_{j_{n−1}}) = H(T, ξ̄_{0})\}.

Mivel a ξ̄_{n}, −∞ < n < ∞ és ξ_{n}, −∞ < n < ∞, véletlen sorozatok eloszlása megegyezik, és H(T, ξ̄_{0}) = H(ξ_{n}, −∞ < n < ∞) P ((…, ξ_{−1}(ω), ξ_{0}(ω), ξ_{1}(ω), …) ∈ D̄) = 1, ahol a D̄ halmazt hasonlóan definiáljuk a D halmazhoz, csak a H(T, ξ̄_{0}) mennyiséget a H(ξ_{n}, −∞ < n < ∞) mennyiséggel helyettesítjük benne. Ez viszont azt jelenti, hogy a Shannon–McMillan–Breiman tétel diszkrét idejű, ergodikus stacionárius sztochasztikus folyamatokra is érvényes.

A Shannon–McMillan–Breiman tételt invertálható dinamikus rendszerekre fogjuk bizonyítani. Annak érdekében, hogy a bizonyítást jobban megértsük tekintsük először azt a két speciális esetet, amikor a ξ_{n} = T^{n}ξ, −∞ < n < ∞, sorozat vagy a) független, egyforma eloszlású valószínűségi változók sorozata vagy b) egy stacionárius Markov

lánc. Az a) esetben p_{n}(x_{j_{0}}, …, x_{j_{n−1}}) = ∏_{s=0}^{n−1} p(x_{j_{s}}), ahol p(x_{j_{s}}) = P (ξ = x_{j_{s}}). Ezért

−\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) = −\frac{1}{n} ∑_{s=0}^{n−1} log p(ξ_{s}). A nagy számok erős törvénye szerint ez

az átlag 1 valószínűséggel konvergál a −E log p(ξ) = − ∑ P (ξ = x_{j}) log P (ξ = x_{j}) = H(ξ) = H(T, ξ) összeghez, ha n → ∞, és az a) esetben ezt kellett belátni.

A b) esetben hasonló az indoklás, csak ekkor az ergod tételt kell alkalmazni a nagy számok törvénye helyett. Egy olyan ξ_{n}, −∞ < n < ∞, Markov láncot tekintünk, amely az (X^{±∞}, B^{±∞}, P, T) téren van definiálva alkalmas P valószínűségi mértékkel, a szokásos T (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) = (…, x_{j_{0}}, x_{j_{1}}, x_{j_{2}}, …) shift transzformációval, és ξ_{n}(x) = x_{j_{n}}, −∞ < n < ∞, ha x = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …). Jelölje q(x) = P (ξ_{n} = x), x ∈ X, a stacionárius Markov lánc egy dimenziós eloszlásait, és r(x̄|x) = P (ξ_{n+1} = x̄|ξ_{n} = x), x, x̄ ∈ X, a Markov lánc átmenet valószínűségeit. Ekkor

p_{n}(x_{j_{0}}, …, x_{j_{n−1}}) = q(x_{j_{0}}) ∏_{s=0}^{n−2} r(x_{j_{s+1}}|x_{j_{s}}),

ahonnan

−\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) = −\frac{1}{n} log q(ξ_{0}) − \frac{1}{n} ∑_{s=0}^{n−2} log r(T^{s}ξ_{1}|T^{s}ξ_{0}).

Ezért az ergod tételből az U(x) = − log r(x_{j_{1}}|x_{j_{0}}), ha x = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) függvény választással azt kapjuk, hogy lim_{n→∞} −\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) = −E log r(ξ_{1}|ξ_{0}) 1 valószínűséggel. A bizonyítás befejezéséhez az −E log r(ξ_{1}|ξ_{0}) = H(T, ξ_{0}) azonosságot kell még igazolni.

Viszont

H(ξ_{n}|ξ_{n−1}, …, ξ_{0})

= − ∑_{x_{j_{0}} ,...,x_{jn}} P (ξ_{0} = x_{j_{0}}, … ξ_{n} = x_{j_{n}}) log P (ξ_{n} = x_{j_{n}}|ξ_{n−1} = x_{j_{n−1}}, …, ξ_{0} = x_{j_{0}})

= − ∑_{x_{j_{0}} ,...,x_{jn}} P (ξ_{0} = x_{j_{0}}, …, ξ_{n} = x_{j_{n}}) log P (ξ_{n} = x_{j_{n}}|ξ_{n−1} = x_{j_{n−1}})

= − ∑_{x_{j_{n−1}} ,x_{jn}} P (ξ_{n−1} = x_{j_{n−1}}, ξ_{n} = x_{j_{n}}) log P (ξ_{n} = x_{j_{n}}|ξ_{n−1} = x_{j_{n−1}})

= −E log r(ξ_{n}|ξ_{n−1}) = −E log r(ξ_{1}|ξ_{0})

minden n ≥ 1 számra a Markov tulajdonság és a stacionaritás miatt. Innen

H(T, ξ_{0}) = lim_{n→∞} H(ξ_{n}|ξ_{n−1}, …, ξ_{0}) = −E log r(ξ_{1}|ξ_{0}).

Markov láncok esetében a Shannon–McMillan–Breiman bizonyítása azon alapult, hogy a −\frac{1}{n} log p_{n}(ξ_{0}, …, ξ_{n−1}) kifejezést felbontottuk egy olyan összegre, amelyre alkalmazni lehetett az ergod tételt. Az általános eset bonyolultabb. Ekkor a vizsgált kifejezést egy hasonló összegre plusz egy elhanyagolhatóan kis hibatagra lehet felbontani. De ahhoz, hogy ezt a hibatagot jól meg tudjuk becsülni szükségünk van a martingálok elméletének néhány fontos eredményére. A kívánt felbontás megtalálásának az érdekében vezessük be a tekintett ξ_{n}(x), −∞ < n < ∞ valószínűségi változó sorozat következő függvényeit.

\begin{aligned}g_{k}(ω) & = − log \frac{p_{k+1}(ξ_{−k}(ω), …, ξ_{0}(ω))}{p_{k}(ξ_{−k}(ω), …, ξ_{−1}(ω))}, k ≥ 1, \\ g_{0}(ω) & = − log p_{1}(ξ_{0}(ω)). \end{aligned}  (6.4)

Az egyértelmű definició érdekében definiáljuk a g_{k}(ω) függvényt, mint g_{k}(ω) = 0, ha p_{k}(ξ_{−k}(ω), …, ξ_{−1}(ω)) = 0, és ezért p_{k+1}(ξ_{−k}(ω), …, ξ_{−1}(ω), ξ_{0}(ω)) = 0. Mivel ennek az eseménynek nulla a valószínűsége, nincs különösebb jelentősége annak, hogy ebben az esetben hogyan definiáljuk a g_{k}(ω) függvényt. Hasonló megjegyzést lehet tenni a később definiálandó f_{k}^{j}(ω) függvényről is.

Ezzel a jelöléssel

− \frac{1}{n} log p_{n}(ξ_{0}(ω), …, ξ_{n−1}(ω))

= −\frac{1}{n} log p_{1}(ξ_{0}(ω)) − \frac{1}{n} ∑_{k=1}^{n−1} log \frac{p_{k+1}(ξ_{0}(ω), …, ξ_{k}(ω))}{p_{k}(ξ_{0}(ω), …, ξ_{k−1}(ω))} = \frac{1}{n} ∑_{k=0}^{n−1} g_{k}(T^{k}ω).

Be fogjuk látni a martingálelmélet segítségével, hogy lim_{k→∞} g_{k}(ω) = g_{∞}(ω) 1 valószínű-

séggel egy alkalmas g_{∞}(ω) függvénnyel, emelyre Eg_{∞}(ω) = H(T, ξ). Ez azt sugallja, hogy

−\frac{1}{n} log p_{n}(ξ_{0}(ω), …, ξ_{n−1}(ω)) = \frac{1}{n} ∑_{k=0}^{n−1} g_{∞}(T^{k}ω) + elhanyagolhatóan kicsi hiba. (6.5)

Nem triviális érvek segítségével be lehet látni, hogy ez valóban így van. Az utolsó formulából és az ergod tételből következik a Shannon–McMillan–Breiman tétel. A pontos bizonyítás kidolgozásának az érdekében először felidézem a martingál elmélet számunkra legfontosabb eredményeit.

Martingál, szubmartingál és szupermartingál definiciója. Legyen adva σ-algeb-rák F_{1} ⊂ F_{2} ⊂ F_{3} ⊂ ⋯ növekvő sorozata egy (Ω, A, P) valószínűségi mezőn, amelyre teljesül az F_{n} ⊂ A tulajdonság minden n = 1, 2, … számra. Legyen adva ezen kívül F_{n} mérhető ξ_{n}(ω), E|ξ_{n}(ω)| < ∞, valószínűségi változók sorozata. Azt mondjuk, hogy a (ξ_{n}(ω), F_{n}), n = 1, 2, …, párok sorozata martingált alkot, ha teljesül az

E(ξ_{n+1}(ω)|F_{n}) = ξ_{n}(ω) 1 valószínűséggel minden n = 1, 2, … számra

azonosság. A fent definiált sorozat szubmartingál, ha

E(ξ_{n+1}(ω)|F_{n}) ≥ ξ_{n}(ω) 1 valószínűséggel minden n = 1, 2, … számra,

és szupermartingál, ha

E(ξ_{n+1}(ω)|F_{n}) ≤ ξ_{n}(ω) 1 valószínűséggel minden n = 1, 2, … számra.

Ha adva van ξ_{n}(ω), E|ξ_{n}(ω)| < ∞, n = 1, 2, …, valószínűségi változók sorozata egy (Ω, A, P) valószínűségi mezőn, de nincsenek definiálva a F_{n} σ-algebrák, akkor e sorozatot martingálnak, szubmartingálnak illetve szupermartingálnak nevezzük, ha a (ξ_{n}, F_{n}) sorozat az F_{n} = σ(ξ_{k}, 1 ≤ k ≤ n) σ-algebra sorozat választással martingál, szubmartingál illetve szupermartingál.

1. megjegyzés. A fenti definicióban az E|ξ_{n}(ω)| < ∞ feltételt azért tettük, hogy beszélhessünk a tekintett feltételes várható értékekről. Ezt a feltételt lehet gyengíteni, elég például azt megkövetelni, hogy EX_{n}^{−} < ∞, n = 1, 2, …, ahol x^{−} = − min(x, 0).

2. megjegyzés. Ha a (ξ_{n}, F_{n}) sorozat martingál, szubmartingál, illetve szupermartingál, akkor a ξ_{n} sorozat martingál, szubmartingál illetve szupermartingál a fent megadott értelemben is, azaz akkor, ha az F_{n} σ-algebrákat a G_{n} = σ(ξ_{k}, 1 ≤ k ≤ n) ⊂ F_{n} σ-algebrákkal helyettesítjük. Ez egyszerűen látható a feltételes várható érték alapvető tulajdonságainak a segítségével.

3. megjegyzés. A szubmartingál és szupermartingál elnevezés hátterében a martingálok kapcsolata van a harmonikus függvényekkel. A martingálok a harmonikus függvények természetes megfelelői. Egy függvény akkor harmonikus, ha értéke egyenlő e függvény körintegráljával tetszőleges a görbét közrefogó zárt görbén. Ha egyenlőtlenség helyett nagyobb vagy egyenlő áll, akkor szuperharmonikus függvényről beszélünk, és ez felel meg a szupermartingálnak. Hasonlóan, ha egyenlőség helyett kisebb vagy egyenlő áll, akkor szubharmonikus függvényről beszélünk, és ennek a szubmartingál felel meg.

Bizonyos 1 valószínűségű martingál konvergencia tételekre és martingál egyenlőtlenségekre lesz szükségünk, illetve olyan eredményekre, amelyek arról szólnak, hogy hogyan lehet martingálokból vagy szubmartingálokból konvex függvények segítségével szubmartingálokat konstruálni. A következő konvergencia tételt fogjuk használni.

Tétel martingálok és szubmartingálok 1 valószínűségi konvergenciájáról. Legyen (ξ_{n}(ω), F_{n}), n = 1, 2, …, martingál egy (Ω, A, P) valószínűségi mezőn. Ekkor az E|ξ_{n}(ω)|, n = 1, 2, …, sorozat monoton növekszik. Ha ez a sorozat korlátos, azaz létezik olyan K < ∞ szám, amelyre E|ξ_{n}(ω)| ≤ K minden n = 1, 2, … számra, akkor 1 valószínűséggel létezik a ξ_{∞}(ω) = lim_{n→∞} ξ_{n}(ω) határérték. Ezenkívül érvényes az E|ξ_{∞}(ω)| ≤ K egyenlőtlenség is ugyanazzal a K < ∞ konstanssal.

Ha (ξ_{n}(ω), F_{n}), n = 1, 2, …, olyan szubmartingál egy (Ω, A, P) valószínűségi mezőn, amelyre sup_{n} E|ξ_{n}(ω)| ≤ K alkalmas K < ∞ konstanssal, akkor 1 valószínűséggel

létezik a ξ_{∞}(ω) = lim_{n→∞} ξ_{n}(ω) határérték, és ez a határérték teljesíti az E|ξ_{∞}(ω)| ≤ K egyenlőtlenséget.

Szubmartingálok szuprémuma teljesíti a következő momentum egyenlőtlenséget.

Tétel szubmartingálok szuprémumának a momentumairól. Legyen (ξ_{n}, F_{n}), P (ξ_{n} ≥ 0) = 1, n ≥ 1, nem negatív szubmartingál. Ekkor

E (sup_{n≥1} ξ_{n})^{r} ≤ (\frac{r}{r − 1})^{r} sup_{n≥1} Eξ_{n}^{r} minden r > 1 valós számra,

és

E (sup_{n≥1} ξ_{n}) ≤ \frac{e}{e − 1} + \frac{e}{e − 1} sup_{n≥1} Eξ_{n} log^{+} ξ_{n}

az r = 1 esetben, ahol log^{+} x = max(log x, 0).

Igaz a Jensen egyenlőtlenség következő, feltételes várható értékekről szóló alakja.

A Jensen egyenlőtlenség feltételes várható értékekről. Legyen adva egy ξ(ω) valószínűségi változó és egy Φ(x), −∞ < x < ∞, konvex függvény, amelyekre teljesülnek az E|ξ(ω)| < ∞ és E|Φ(ξ(ω)| < ∞ feltételek egy (Ω, A, P) valószínűségi mezőn, valamint egy F ⊂ A σ-algebra. Ekkor

E(Φ(ξ(ω)|F)) ≥ Φ (E(ξ(ω)|F)) 1 valószínűséggel.

Ez az egyenlőtlenség akkor is érvényes, ha a Φ(·) konvex függvény egy a ≤ x ≤ b intervallumban van definiálva, és P (a ≤ ξ ≤ b) = 1, ahol −∞ ≤ a < b ≤ ∞ tetszőleges valós számok.

A feltételes várható értékekről szóló Jensen egyenlőtlenség érvényessége azon múlik, hogy a várható értékhez hasonlóan a feltételes várható érték is kiszámolható alkalmas valószínűségi mérték szerinti integrál segítségével, csak ebben az esetben egy úgynevezett reguláris feltételes eloszlásfüggvény szerint kell integrálni. Számunkra ez az eredmény az alábbi következménye miatt lesz érdekes.

Lemma martingálok, szubmartingálok és szupermartingálok konvex függvényeiről.

a) Ha (ξ_{n}, F_{n}), n = 1, 2, …, martingál, Φ(x) konvex függvény, és E|Φ(ξ_{n})| < ∞ minden n = 1, 2, … számra, akkor (Φ(ξ_{n}), F_{n}), n = 1, 2, …, szubmartingál.

b) Ha (ξ_{n}, F_{n}), n = 1, 2, …, szubmartingál, Φ(x), monoton növekvő konvex függvény, és E|Φ(ξ_{n})| < ∞ minden n = 1, 2, … számra, akkor (Φ(ξ_{n}), F_{n}), n = 1, 2, …, szubmartingál.

c) Ha (ξ_{n}, F_{n}), n = 1, 2, …, szupermartingál, Φ(x) monoton csökkenő konvex függvény, és E|Φ(ξ_{n})| < ∞ minden n = 1, 2, … számra, akkor (Φ(ξ_{n}), F_{n}), n = 1 ,2, …, szubmartingál. A fenti állítások akkor is érvényesek, ha a Φ(·) függvény egy a ≤ x ≤ b interval-

lumban van definiálva, és P (a ≤ ξ_{n} ≤ b) = 1 minden n = 1, 2, … számra, ahol a −∞ ≤ a < b ≤ ∞ számok tetszőlegesek.

Bizonyítás. Az a) esetben E(Φ(ξ_{n+1})|F_{n}) ≥ Φ(E(ξ_{n+1}|F_{n})) = Φ(ξ_{n}) 1 valószínűséggel a Jensen egyenlőtlenség és a martingál tulajdonság miatt. A b) esetben E(Φ(ξ_{n+1})|F_{n}) ≥ Φ(E(ξ_{n+1}|F_{n})) 1 valószínűséggel, és mivel E(ξ_{n+1}|F_{n}) ≥ ξ_{n}, és Φ(·) monoton nővekvő függvény, ezért Φ(E(ξ_{n+1}|F_{n})) ≥ Φ(ξ_{n}) 1 valószínűséggel. Ezekből az egyenlőtlenségekből következik a b) rész állítása. A c) rész bizonyítása hasonló.

Felidézek még egy eredményt arról, hogy hogyan lehet kiszámolni egy valószínűségi változó függvényének a várható értékét. Azért idézem fel ezt az eredményt, mert később szükségünk lesz rá. Az ismertetendő formula valójában a Stieltjes integrálokra vonatkozó parciális integrálás egy alkalmazása.

Egy a várható érték kiszámolásáról szóló formula. Legyen ξ olyan valószínűségi változó, amelyre P (ξ ≥ 0) = 1. Jelölje F (x) = P (ξ < x), 0 ≤ x < ∞, a ξ valószínűségi változó eloszásfüggvényét, és legyen G(x) = 1 − F (x) = P (ξ ≥ x). Tekintsünk egy monoton, folytonos H(x) függvényt az x ≥ 0 félegyenesen, amelyre H(0) = 0. Ekkor

EH(ξ) = ∫_{0}^{∞} H(x)F ( dx) = − ∫_{0}^{∞} H(x)G( dx) = ∫_{0}^{∞} G(x)H( dx).

Rátérek a Shannon–McMillan–Breiman tétel bizonyítására. Először annak a következő gyengébb formáját bizonyítom.

A Shannon–McMillan–Breiman tétel egy gyengébb alakja. Igaz az invertálható dinamikus rendszerekre korábban megfogalmazott Shannon–McMillan–Breiman tétel abban a speciális esetben, ha a tételben tekintett ξ valószínűségi változó értékeit egy véges X = {x_{1}, x_{2}, …, x_{r}} halmazon veszi fel. Részletesebben megfogalmazva ebben az esetben a (6.4) formulában a ξ_{k}(ω) sorozat segítségével definiált g_{k}(ω), k = 0, 1, 2, …, valószínűségi változók teljesítik a következő két relációt.

a) Majdnem minden ω ∈ Ω pontban teljesül a lim_{k→∞} g_{k}(ω) = g_{∞}(ω) reláció egy alkalmas

g_{∞}(ω) valószínűségi változóval.

b) E sup_{k≥1} g_{k}(ω) < ∞.

Továbbá, ha adva van egy (Ω, A, P, T) ergodikus invertálható dinamikus rendszer és azon egy olyan ξ valószínűségi változó, amely értékeit egy véges vagy megszámlálhatóan végtelen X = {x_{1}, x_{2}, … } halmazon veszi fel akkor vezessük be a ξ_{k} = T^{k}ξ, −∞ < k < ∞, valószínűségi változókat. Ha az ezen ξ_{k} valószínűségi változók által a (6.4) formulában definiált g_{k}(ω), k = 0, 1, 2, …, valószínűségi változók teljesítik a fent megfogalmazott a) és b) relációkat akkor a ξ_{n}, −∞ < n < ∞, sorozat teljesíti a (6.3) formulát.

Feladat.

Bizonyítsuk be, hogy az a) és b) relációk teljesülése esetén a (6.3) formulának az a változata is igaz, amelyben az 1 valószínűségi konvergencia helyett L_{1} normában való konvergenciát követelünk meg.

Az előzöleg megfogalmazott tétel lényegében a Shannon–McMillan–Breiman tétel eredeti, Breiman által bizonyított alakja. Ő eredetileg csak véges sok értéket felvevő valószínűségi változók sorozatára bizonyította be az állítást, mert csak ebben az esetben tudta igazolni az a) és b) relációt. (A fő nehézséget a b) reláció igazolása jelenti.) Először Kai Lai Chung publikált eredményt arról, hogy ez a b) tulajdonság, és így a Shannon–McMillan–Breiman tétel az általános esetben is érvényes (A note on the ergodic theorem of information theory. Ann. Math. Statist. 32, 612–614 (1961)), de az ő bizonyítása hibás. Mi ehelyett Andrew R. Barron The strong ergodic theorem for densities: Generalized Shannon–McMillan–Breiman theorem, (The Annals of Probability (1985) Vol. 13 No.4 1292–1303) cikkének a segítségével fogjuk bizonyítani, hogy az a) és b) relációk és így a Shannon–McMillan–Breiman tétel érvényes az általános esetben is. Barron eredményének más érdekes következménye is van.

A Shannon–McMillan–Breiman tétel gyengébb alakjának a bizonyítása. Először az a) és b) relációt bizonyítjuk be abban az esetben, ha a ξ valószínűségi változó X értékkészlete véges halmaz. Ennek érdekében bevezetjük a következő mennyiségeket.

f_{k}^{j}(ω) = − log \frac{p_{k+1}(ξ_{−k}(ω), …, ξ_{−1}(ω), x_{j})}{p_{k}(ξ_{−k}(ω), …, ξ_{−1}(ω))}
= − log P (ξ_{0} = x_{j}|ξ_{−k}(ω), …, ξ_{−1}(ω)), k ≥ 1, x_{j} ∈ X.

Rögzítsünk egy j, 1 ≤ j ≤ r, számot (az r szám az X = {x_{1}, …, x_{r}} halmaz definiciójában jelent meg), és vezessük be az η_{k} = η_{k}^{j} = P (ξ_{0} = x_{j}|ξ_{−k}(ω), …, ξ_{−1}(ω)), k = 1, 2, …, valószínűségi változókat és F_{k} = σ(ξ_{−1}, …, ξ_{−k}) σ-algebrákat. Az (η_{k}, F_{k}), k = 1, 2, … rendszer martingál. Ismertetem e tény elemi bizonyítását, de előtte egy megjegyzésben leírom, hogy hogyan következik ez a tény általánosabb, jól ismert és egyszerűen igazolható eredményekből.

Megjegyzés. Legyen F_{1} ⊂ F_{2} ⊂ ⋯ nővekvő σ-algebráknak egy sorozata, és ξ, E|ξ| < ∞, egy valószínűségi változó egy (Ω, A, P) valószínűségi mezőn. Ekkor az (E(ξ|F_{n}), F_{n}), n = 1, 2, …, rendszer martingál. Speciálisan, ha ξ egy A ⊂ A halmaz indikátorfüggvénye (A = {ω: ξ_{0} = x_{j}} választással), akkor ez az eredmény speciális esetként tartalmazza az előbb megfogalmazott állítást.

Ha nem kívánunk hivatkozni a fenti eredményre, akkor az előbb definiált rendszer martingál tulajdonságát megkapjuk az alábbi számolások segítségével. Az {ω: ξ_{−k}(ω) = x_{j_{k}}, …, ξ_{−1}(ω) = x_{j_{1}}} halmazon

E(η_{k+1}|ξ_{−k} = x_{j_{k}}, …, ξ_{−1} = x_{j_{1}}) = ∑_{x∈X} P (ξ_{−k−1} = x|ξ_{−k} = x_{j_{k}}, …, ξ_{−1} = x_{j_{1}})

P (ξ_{0} = x_{j}|ξ_{−k−1} = x, ξ_{−k} = x_{j_{k}} …, ξ_{−1} = x_{j_{1}})

= \frac{P (ξ_{0} = x_{j}, ξ_{−k} = x_{j_{k}}, …, ξ_{−1} = x_{j_{1}})}{P (ξ_{−k} = x_{j_{k}}, …, ξ_{−1} = x_{j_{1}})} = η_{k}.

Továbbá Eη_{k} = E|η_{k}| ≤ 1. Ezért a martingál konvergenciatétel alapján 1 valószínűséggel létezik az η_{∞}^{j}(ω) = lim_{k→∞} η_{k}(ω), és így a logaritmus függvény folytonossága miatt

az f_{∞}^{j}(ω) = lim_{k→∞} f_{k}^{j}(ω) határérték, bár nem tudjuk kizárni annak a lehetőségét, hogy

az f_{∞}^{j}(ω) határérték végtelen. Mivel f_{k}^{j}(ω) = g_{k}(ω) az {ω: ξ_{0}(ω) = x_{j}} halmazon, innen következik, hogy az esetleg végtelen g_{∞}(ω) = lim_{k→∞} g_{k}(ω) határérték is létezik 1 valószínűséggel.

Annak érdekében, hogy belássuk a b) relációt, jó becslést adunk a P (sup_{k≥1} g_{k}(ω) > λ)

valószínűségre minden λ ≥ 0 számra. Írjuk fel a

P (sup_{k≥1} g_{k}(ω) > λ) = ∑_{j=1}^{r} P ({ω: sup_{k≥1} f_{k}^{j}(ω) > λ} ∩ {ω: ξ_{0}(ω) = x_{j}})

= ∑_{j=1}^{r} ∑_{k=1}^{∞} P (F_{j,k} ∩ {ω: ξ_{0}(ω) = x_{j}})

azonosságot, ahol

F_{j,k} = {ω: max_{1≤p<k} f_{p}^{j}(ω) ≤ λ, f_{k}^{j}(ω) > λ}

Rögzített j számra az F_{j,k} halmazok, k = 1, 2, …, diszjunktak, és mivel F_{j,k} ∈ F_{k} = σ(ξ_{−1}(ω), …, ξ_{−k}(ω))

P (F_{j,k} ∩ {ω: ξ_{0}(ω) = x_{j}}) = ∫_{F_{j,k}} P (ξ_{0}(ω) = x_{j}|ξ_{−1}(ω), …, ξ_{−k}(ω))P ( dω)
= ∫_{F_{j,k}} e^{−f_{k}^{j}(ω)}P ( dω) ≤ ∫_{F_{j,k}} e^{−λ}P ( dω) = e^{−λ}P (F_{j,k}).

Innen

P (sup_{k≥1} g_{k}(ω) > λ) = ∑_{j=1}^{r} ∑_{k=1}^{∞} P (F_{j,k} ∩ {ω: ξ_{0}(ω) = x_{j}})

≤ e^{−λ} ∑_{j=1}^{r} (∑_{k=1}^{∞} P (F_{j,k})) ≤ re^{−λ}

minden λ > 0 számra. Ebből az egyenlőtlenségből következik a b) reláció.

Rátérek a Shannon–McMillan–Breiman tétel bizonyítására az a) és b) reláció segítségével. Mivel lim_{k→∞} g_{k}(ω) = g_{∞}(ω) 1 valószínűséggel, a b) reláció és a dominált

konvergencia tétel (Lebesgue tétel) alapján azt kapjuk, hogy Eg_{∞}(ω) = lim_{k→∞} Eg_{k}(ω) =

lim_{k→∞} H(ξ_{0}|ξ_{−1}, …, ξ_{−k}) = H(T, ξ). Ez speciálisan azt is jelenti, hogy g_{∞}(ω) 1 valószínűséggel véges.

A (6.5) formulát pontosan megfogalmazva azt írhatjuk, hogy

−\frac{1}{n} log p_{n}(ξ_{0}(ω), …, ξ_{n−1}(ω)) = \frac{1}{n} ∑_{k=0}^{n−1} g_{∞}(T^{k}ω) + \frac{1}{n} ∑_{k=0}^{n−1}(g_{k}(T^{k}ω) − g_{∞}(T^{k}(ω)).

Továbbá az ergod tétel alapján

lim_{n→∞} \frac{1}{n} ∑_{k=0}^{n−1} g_{∞}(T^{k}ω) = Eg_{∞}(ω) = H(T, ξ) 1 valószínűséggel.

Ezért a tétel bizonyításának befejezéséhez elég megmutatni, hogy

lim_{n→∞} \frac{1}{n} ∑_{k=0}^{n−1}(g_{k}(T^{k}ω) − g_{∞}(T^{k}(ω)) = 0 1 valószínűséggel.

Ennek érdekében vezessük be a G_{N}(ω) = sup_{k≥N} |g_{k}(ω) − g_{∞}(ω)|, N = 1, 2, …, valószínű-

ségi változókat, és bizonyítsuk be, hogy lim_{N→∞} EG_{N}(ω) = 0. Valóban, lim_{N→∞} G_{N}(ω) = 0

1 valószínűséggel, G_{N}(ω) ≤ sup_{k≥1} g_{k}(ω)+g_{∞}(ω) minden N indexre, és mivel E[sup_{k≥1} g_{k}(ω)+

g_{∞}(ω)] < ∞ a dominált konvergencia tételből következik a kívánt állítás.

Ezért az ergod tétel segítségével a következő becslést tudjuk tenni. Vegyünk egy tetszőleges N ≥ 1 egész számot. Ekkor

lim sup_{n→∞} |\frac{1}{n} ∑_{k=0}^{n−1}(g_{k}(T^{k}ω) − g_{∞}(T^{k}(ω))| ≤ lim sup_{n→∞} \frac{1}{n} ∑_{k=0}^{n−1} |g_{k}(T^{k}ω) − g_{∞}(T^{k}(ω))|

≤ lim sup_{n→∞} \frac{1}{n} ∑_{k=0}^{n−1} G_{N}(T^{k}ω) = EG_{N}(ω)

1 valószínűséggel bármely N ≥ 1 számra. Mivel lim_{N→∞} EG_{N}(ω) = 0, innen

lim_{n→∞} |\frac{1}{n} ∑_{k=0}^{n−1}(g_{k}(T^{k}ω) − g_{∞}(T^{k}(ω))| = 0 1 valószínűséggel,

és ezt kellett belátnunk.

Rátérek a Shannon–McMillan–Breiman tétel általános alakjának a bizonyítására. Elég azt megmutatni, hogy a tétel gyengébb alakjának megfogalmazásában szereplő a) és b) reláció az általános esetben is érvényes, és nemcsak akkor, ha ξ véges sok értéket vesz fel. Ezt a következő eredmény segítségével fogom bizonyítani.

Becslés Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről. Legyen adva egy (X, A) mérhető tér és azon növekvő σ-algebrák F_{1} ⊂ F_{2} ⊂ ⋯ ⊂ A sorozata. Jelölje F_{∞} a F_{n}, n = 1, 2, …, σ-algebrák uniója által generált σalgebrát. Legyen P és Q két olyan valószínűségi mérték az (X, F_{∞}) téren, amelyeknek az F_{n} σ-algebrákra vett P_{n} és Q_{n} megszorításaira P_{n} abszolút folytonos a Q_{n} mértékre nézve minden n = 1, 2, … indexre, és jelölje ρ_{n} = \frac{dP_{n}}{dQ_{n}} a P_{n} mérték Q_{n} mérték szerinti Radon–Nikodym deriváltját. (Nem tesszük fel, hogy P abszolút folytonos a Q mértékre nézve az F_{∞} σ-algebrán is.) Ekkor létezik a ρ_{∞}(ω) = lim_{n→∞} ρ_{n}(ω) határérték P majdnem minden ω ∈ X pontban. Az E log ρ_{n} függvény az n index monoton növekvő függvénye. Ha lim_{n→∞} E log ρ_{n} < ∞, akkor lim_{n→∞} E log ρ_{n} = E log ρ_{∞}, és

E sup_{n} | log ρ_{n}| ≤ eE log ρ_{∞} + e + 2 = e lim_{n→∞} E log ρ_{n} + e + 2.  (6.6)

A most megfogalmazott eredményben tekintett várható értékeket a P mérték szerint vettük.

Először bebizonyítom a Shannon–McMillan–Breiman tételt az általános esetben ezen eredmény segítségével. A bizonyítás fő lépése a Shannon–McMillan–Breiman tétel egy gyengébb alakja néven megfogalmazott eredményben szereplő b) tulajdonság igazolása az általános esetben. Itt azt kell belátni, hogy bizonyos valószínűségi változok szuprémumának a várható értéke véges. Ebben nyújt segítséget az előző eredmény. Ez ugyanis bizonyos esetekben lehetővé teszi azt, hogy jó becslést adjunk valószínűségi változók szuprémumának várható értékére akkor is, ha csak az egyes valószínűségi változók várható értékének a szuprémumára van jó becslésünk. A b) tulajdonságban megfogalmazott egyenlőtlenség bizonyításában alkalmazhatjuk ezt a módszert.

A Shannon–McMillan–Breiman tétel bizonyítása az előző Radon–Nikodym deriváltakról szóló becslés segítségével. Feltehetjük, hogy az (X^{±∞}, A^{±∞}, T, P̄) invertálható dinamikus rendszerben dolgozunk, ahol X^{±∞} az összes ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …), x_{j_{n}} ∈ X minden −∞ < n < ∞ indexre, két irányban végtelen X halmazbeli elemekből álló sorozat, A^{±∞} a Borel σ-algebra ezen a halmazon, a T shift transzformáció a baloldali eltolás az X^{±∞} téren, azaz egy ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) ∈ X^{±∞} pontra T ω = (…, x_{j_{0}}, x_{j_{1}}, x_{j_{2}}, …), P̄ egy alkalmas ergodikus valószínűségi mérték ezen a téren. A (6.3) relációt a következő képlettel definiált ξ_{n}, −∞ < n < ∞, valószínűségi változókra akarjuk bizonyítani: ξ_{n}(ω) = x_{j_{n}}, −∞ < n < ∞, az ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) pontban. Ezzel a jelöléssel ξ(ω) = ξ_{0}(ω) a tétel megfogalmazásában.

Valóban, tekintve a tételben eredetileg vizsgált (X, A, T, P) dinamikus rendszert és a rajta definiált ξ_{n} = T^{n}ξ, −∞ < n < ∞, valószínűségi változókat vezessük be az Ω tér U(ω) = (…, T^{−1}ξ(ω), T^{0}ξ(ω), T^{1}ξ(ω), …) leképezését az X^{±∞} térbe. Ezután definiáljuk a P̄ valószínűségi mértéket, mint a P mértéknek az U transzformáció szerinti ősképét, azaz legyen P̄(A) = P ({ω: U(ω) ∈ A}) minden A ∈ A^{±∞} halmazra. Be lehet látni, hogy ily módon egy invertálható (X^{±∞}, A^{±∞}, T, P) dinamikus rendszert kapunk, amely ergodikus, ha az eredeti (Ω, A, T, P) rendszer az volt, és az ebben a rendszerben definiált ξ_{n} = T^{n}ξ_{0}, −∞ < n < ∞, valószínűségi változók együttes eloszlása megegyezik az eredeti ξ_{n}, −∞ < n < ∞, valószínűségi változók együttes eloszlásával. Ezért elég a bizonyítandó (6.3) formulát ebben az új rendszerben belátni.

Elég azt megmutatni, hogy a (6.4) formulában a most bevezetett ξ_{n} valószínűségi változók segítségével definiált g_{k}(ω) függvények teljesítik a Shannon–McMillan–Breiman tétel gyengébb alakjának megfogalmazásában szereplő a) és b) relációkat. Ezt a Becslés Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről eredménye segítségével fogom igazolni a következő szereposztással.

Az (X^{±∞}, A^{±∞}) mérhető térben fogunk dolgozni, és a F_{n} σ-algebrákat úgy fogjuk definiálni, mint az olyan (mérhető) halmazokból álló σ-algebrákat, amelyek az

ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …)

pontoknak csak az x_{j_{−n}}, x_{j_{−n+1}}, …, x_{j_{0}} koordinátáitól függnek. Részletesebben fogalmazva vezessük be az X^{n} = {(x_{j_{0}}, …, x_{j_{n}}) … x_{j_{s}} ∈ X, minden 0 ≤ s ≤ n indexre} halmazt, és definiáljuk minden x̄ = (x̄_{j_{0}}, …, x̄_{j_{n}}) ∈ X^{n} pontra az

A(x̄) = {ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …): x_{j_{−s}} = x̄_{j_{n−s}}, 0 ≤ s ≤ n} ∈ A^{±∞}

halmazt. Az F_{n} σ-algebra megegyezik az ilyen A(x̄) halmazok által generált σ-algeb-rával. Az F_{n}, n = 1, 2, …, σ-algebrák által generált F_{∞} σ-algebra az olyan A ∈ A^{±∞} halmazokból áll, amelyekre az ω ∈ A reláció teljesülése vagy nem teljesülése egy ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …) pontra csak az ω pont x_{j_{s}}, s ≤ 0, koordinátáitól függ.

A P mértéket úgy definiálom a F_{∞} σ-algebrán, mint a P̄ mérték megszorítását erre a σ-algebrára, tehát a

P ({ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …): x_{j_{−n}} = x̄_{j_{n}}, …, x_{j_{−1}} = x̄_{j_{1}}, x_{j_{0}} = x̄_{j_{0}}})
= P̄(ξ_{−n} = x̄_{j_{n}}, …, ξ_{−1} = x̄_{j_{1}}, ξ_{0} = x̄_{j_{0}})

képlet érvényes minden n = 1, 2, … számra, és minden x̄_{j_{s}} ∈ X, 0 ≤ s ≤ n, pontokból álló n hosszúságú sorozatra. Ez a képlet egyértelműen definiálja a P mértéket a F_{∞} σ-algebrán.

A Q mértéket a F_{∞} σ-algebrán

Q({ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …): x_{j_{−n}} = x̄_{j_{n}}, …, x_{j_{−1}} = x̄_{j_{1}}, x_{j_{0}} = x̄_{j_{0}}})

= P̄(ξ_{−n} = x̄_{j_{n}}, …, ξ_{−1} = x̄_{j_{1}})P (ξ_{0} = x̄_{j_{0}})

képlet definiálja, amely érvényes minden n = 1, 2, … számra, és minden x̄_{j_{s}} ∈ X, 0 ≤ s ≤ n, pontokból álló sorozatra.

A P_{n} mérték, azaz a P mérték megszorítása az F_{n} σ-algebrára abszolút folytonos a Q_{n} mértékre, a Q mérték megszorítására az F_{n} σ-algebrára, és fel tudjuk írni a Radon– Nikodym deriváltját. Nevezetesen

ρ_{n}(ω) = \frac{P_{n}( dω)}{Q_{n}( dω)} = \frac{P (ξ_{−n} = x_{j_{−n}}, …, ξ_{−1} = x_{j_{−1}}, ξ_{0} = x_{j_{0}})}{P (ξ_{−n} = x_{j_{−n}}, …, ξ_{−1} = x_{j_{−1}})P (ξ_{0} = x_{j_{0}})}

= \frac{p_{n+1}(ξ_{−n}(ω), …, ξ_{−1}(ω), ξ_{0}(ω))}{p_{n}(ξ_{−n}(ω), …, ξ_{−1}(ω))p_{1}(ξ_{0}(ω))},

ha ω = (…, x_{j_{−1}}, x_{j_{0}}, x_{j_{1}}, …).

Innen

E log ρ_{n} = E log \frac{p_{n+1}(ξ_{−n}(ω), …, ξ_{−1}(ω), ξ_{0}(ω))}{p_{n}(ξ_{−n}(ω), …, ξ_{−1}(ω))} − E log p_{1}(ξ_{0}(ω))
= −H(ξ_{0}|ξ_{−1}, …, ξ_{−n}) + H(ξ_{0}),

és ennek a kifejezésnek van egy az n indextől nem függő felső korlátja, ha H(ξ_{0}) < ∞. Ezért ebben az esetben érvényes a (6.6) becslés. Továbbá, mivel g_{k}(ω) = − log ρ_{k}(ω) − log p_{1}(ξ_{0}(ω)) minden k = 1, 2, … indexre, E sup_{k≥1} g_{k}(ω) ≤ E sup_{k≥1} | log ρ_{k}(ω)| + H(ξ_{0}), és a (6.6) formulából következik a b) reláció a H(ξ) < ∞ esetben. Továbbá, lim_{k→∞} g_{k}(ω) =

− lim_{k→∞} log ρ_{k}(ω)−log p_{1}(ξ_{0}(ω)) = − log ρ_{∞}(ω)−log p_{1}(ξ_{0}(ω)) 1 valószínűséggel, azaz az

a) reláció is teljesül. A Shannon–McMillan–Breiman tételt a Becslés Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről eredménye segítségével beláttuk.

A Becslés Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről eredményének a bizonyításában a fő nehézség az E sup_{n} | log ρ_{n}(ω)| várható érték

becslése. Vezessük be a log^{−} x = − min(log x, 0) és log^{+} x = max(log x, 0) függvényeket. Felírhatjuk az

E sup_{n} | log ρ_{n}(ω)| ≤ E sup_{n} log^{+} ρ_{n}(ω) + E sup_{n} log^{−} ρ_{n}(ω)

= E sup_{n} log^{−} \frac{1}{ρ_{n}(ω)} + E sup_{n} log^{+} \frac{1}{ρ_{n}(ω)}

egyenlőtlenséget. Az ezen egyenlőtlenség jobboldalán levő két tagot fogom megbecsülni. E két tag becslése más módszereket igényel. Ez az eset szétválasztás természetes. Ugyanis az első tag becslésében kihasználhatjuk azt, hogy 0 ≤ log ρ(ω) ≤ ρ(ω) a ρ(ω) ≥ 1 esetben, míg a második tag becslésében a ρ(ω) ≤ 1, esetet kell nézni, amikor log ρ(ω) < 0, és a | log ρ(ω)| mennyiség hatásának a vizsgálatában más módszer szükséges. A második tag becslésében hasznos a következő lemma.

Egy martingál tipusú egyenlőtlenség valószínűségi változók szuprémumának a várható értékéről. Legyen Z_{n}, Z_{n} ≥ 0, n = 1, 2, …, nem negatív szupermartingál. Ekkor

E sup_{n} log^{−} Z_{n} ≤ e + e sup_{n} E log^{−} Z_{n}.

Bizonyítás. Rögzítsn̈k egy r > 1 számot, és vezessük be az Y_{n} = ϕ(Z_{n}), n = 1, 2, …, valószínűségi változók sorozatát, ahol ϕ(x) = ϕ_{r}(x) = max(1, (log^{−} x)^{1/r}). Azt állítom, hogy az Y_{n}, n = 1, 2, …, sorozat szubmartingál.

Mivel ϕ(x), x ≥ 1, monoton csökkenő függvény, a Lemma martingálok, szubmartingálok és szupermartingálok konvex függvényeiről eredménye alapján ennek igazolásához elég megmutatni, hogy a ϕ(x) függvény konvex. A ϕ(x) függvény speciális alakja miatt ehhez elegendő azt ellenőrizni, hogy \frac{d^{2}ϕ(x)}{dx^{2}} ≥ 0 a 0 < x < \frac{1}{e} intervallumon. Viszont ezen az intervallumon ϕ(x) = (− log x)^{1/r}, \frac{dϕ(x)}{dx} = −\frac{1}{rx}(− log x)^{(1−r)/r}, és \frac{d^{2}ϕ(x)}{dx^{2}} = \frac{1}{rx^{2}} (− log x)^{(1−2r)/r}[− log x − \frac{r−1}{r}] ≥ 0. (E számolás utolsó lépésében felhasználtuk, hogy − log x ≥ 1 > \frac{r−1}{r}, ha 0 < x < \frac{1}{e}.)

Mivel log^{−} Z_{n} ≤ ϕ(Z_{n})^{r} ≤ 1 + log^{−} Z_{n} minden n = 1, 2, … számra, ezért a Tétel szubmartingálok szuprémumának a momentumairól eredménye alapján

E sup_{n} log^{−} Z_{n} ≤ E sup_{n} ϕ(Z_{n})^{r} ≤ (\frac{r}{r − 1})^{r} sup_{n} Eϕ(Z_{n})^{r}

≤ (\frac{r}{r − 1})^{r} sup_{n}(1 + E log^{−} Z_{n}).

Innen r → ∞ határátmenettel megkapjuk a lemma állítását.

A Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről szóló becslés bizonyítása. Először azt mutatom meg, hogy az (\frac{1}{ρ_{n}} , F_{n}), n = 1, 2, …, rendszer szupermartingál. (Az \frac{1}{ρ_{n}(ω)} valószínűségi változók 1 valószínűséggel definiálva vannak, mert P ({ω: ρ_{n}(ω) = 0}) = 0.) Ennek érdekében vegyük észre, hogy a (ρ_{n}, F_{n}), n = 1, …, rendszer martingál a Q mérték szerint. Az igazolandó martingál tulajdonság azt jelenti ugyanis, hogy ∫_{A} ρ_{n}(ω)Q( dω) = ∫_{A} ρ_{n+1}(ω)Q( dω) minden A ∈ F_{n} halmazra. Ez az azonosság viszont igaz, mert annak mind a két oldala P (A)-val egyenlő. (Felhasználtuk, hogy A ∈ F_{n} esetén A ∈ F_{n+1}.) Vezessük be a következő g(x) függvényt: g(x) = 1, ha x > 0, és g(0) = 0. A g(·) függvény konkáv a [0, ∞) félegyenesen, ρ_{n}(ω) ≥ 0 minden ω ∈ X pontban, és n = 1, 2, … indexre. Továbbá g(ρ_{n}(ω)) = I({ρ_{n}(ω) > 0}), ahol I(A), A ∈ A, az A halmaz indikátorfüggvényét jelöli. A fenti tulajdonságokból következik, hogy az (I({ρ_{n}(ω) > 0}), F_{n}), n = 1, 2, …, sorozat szupermartingál a Q mérték szerint.

Azt állítom, hogy abból, hogy az (I({ρ_{n}(ω) > 0}), F_{n}), n = 1, 2, …, sorozat szupermartingál a Q mérték szerint, következik,hogy az (\frac{1}{ρ_{n}(ω)}, F_{n}), n = 1, 2, …, rendszer szupermartingál (a P mérték szerint). (Valójában a két állítás ekvivalens.) Ehhez elegendő megmutatni, hogy ∫_{A} \frac{1}{ρ_{n}(ω)}P ( dω) = ∫_{A} I(\{ρ_{n}(ω) > 0\}Q( dω) = Q̄(A) minden A ∈ F_{n} halmazra, ahol Q̄(A) = Q(A ∩ \{ω: ρ_{n}(ω) > 0\}), és hasonlóan ∫_{A} \frac{1}{ρ_{n+1}(ω)}P ( dω) = Q̃(A) minden A ∈ F_{n} halmazra, ahol Q̃(A) = Q(A ∩ {ω: ρ_{n+1}(ω) > 0}). Ugyanis az, hogy az (\frac{1}{ρ_{n}(ω)}, F_{n}), n = 1, 2, …, rendszer szupermartingál úgy is megfogalmazható, hogy ∫_{A} \frac{1}{ρ_{n}(ω)}P ( dω) ≥ ∫_{A} \frac{1}{ρ_{n+1}(ω)}P ( dω) minden A ∈ F_{n} halmazra, míg az, hogy az (I({ρ_{n}(ω) > 0}), F_{n}), n = 1, 2, …, sorozat szupermartingál a Q mérték szerint azt jelenti, hogy Q̄(A) = ∫_{A} I({ρ_{n}(ω) > 0})Q( dω) ≥ ∫_{A} I({ρ_{n+1}(ω) > 0})Q( dω) = Q̃(A) minden A ∈ F_{n} halmazra.

Viszont tudjuk, hogy P (A) = ∫_{A} ρ_{n}(ω)Q̄( dω) minden A ∈ F_{n} halmazra. Innen az is következik, hogy ∫ u(ω)P ( dω) = ∫ u(ω)ρ_{n}(ω)Q̄( dω) minden F_{n} mérhető, nem negatív u(·) függvényre. Alkalmazzuk ezt a formulát az u(ω) = \frac{I(A)(ω)}{ρ_{n}(ω)} függvényre valamely A ∈ F_{n} halmazzal. Azt kapjuk, hogy ∫_{A} \frac{1}{ρ_{n}(ω)}P ( dω) = Q̄(A), és ez volt az első bizonyítandó állítás. A második bizonyítandó állítást egyszerűen megkapjuk az elsőből, ha azt az n + 1 indexre alkalmazzuk az n index helyett, és felhasználjuk azt, hogy A ∈ F_{n+1}, ha A ∈ F_{n}.

A fenti relációkból az is következik, hogy E|\frac{1}{ρ_{n}} | = E \frac{1}{ρ_{n}} = Q(ω: ρ_{n}(ω) > 0) ≤ 1. Ezért a martingál konvergenciatételt alkalmazhatjuk a (−\frac{1}{ρ_{n}} , F_{n}) szubmartingálra, és azt kapjuk, hogy az \frac{1}{ρ_{n}(ω)} sorozat 1 valószínűséggel konvergál. Innen az is következik, hogy a ρ_{n}(ω) sorozat 1 valószínűséggel konvergál, de határértéke lehet végtelen is. Másrészt alkalmazhatjuk az Egy martingál tipusú egyenlőtlenség valószínűségi változók szuprémumának a várható értékéről eredményét az (\frac{1}{ρ_{n}} , F_{n}) szupermartingálra, és az a

E sup_{n} log^{−} \frac{1}{ρ_{n}(ω)} ≤ e + e sup_{n} E log^{−} \frac{1}{ρ_{n}(ω)} = e + e sup_{n} E log^{+} ρ_{n}(ω)

egyenlőtlenséget adja. Továbbá

E log^{+} ρ_{n}(ω) = E log ρ_{n}(ω) + E log^{−} ρ_{n}(ω) = E log ρ_{n}(ω) + E_{Q}ρ_{n}(ω) log^{−} ρ_{n}(ω),

ahol E_{Q} a Q mérték szerinti várható értéket jelöli. (A 0 log 0 = 0 konvenciót alkalmazzuk.) Mivel x log x ≥ −\frac{1}{e}, minden x ≥ 0 számra ρ_{n}(ω) log^{−} ρ_{n}(ω) ≤ \frac{1}{e}, és emiatt E log^{+} ρ_{n}(ω) ≤ E log ρ_{n}(ω) + \frac{1}{e}. Ezért az előbb bizonyított szuprémum egyenlőtlenségnek igaz az alábbi következménye.

E sup_{n} log^{−} \frac{1}{ρ_{n}(ω)} ≤ e + 1 + e sup_{n} E log ρ_{n}(ω).  (6.7)

(A (6.7) képlet előtt végzett számolások célja az volt, hogy olyan egyenlőtlenséget bizonyítsunk, amelyben az E log ρ_{n}(ω) és nem az E log^{+} ρ_{n}(ω) mennyiségek segítségével adunk felső becslést.)

Azt állítom, hogy igaz az

E sup_{n} log^{+} \frac{1}{ρ_{n}(ω)} ≤ 1  (6.8)

egyenlőtlenség is. Ezt az alábbi Ionescu Tulceától származó érvelés segítségével bizonyítom be.

A (6.8) formula igazolása érdekében vezessük be a G(t) = P (sup_{n} log^{+} \frac{1}{ρ_{n}(ω)} >

t) függvényt, t ≥ 0, és írjuk fel az E sup_{n} log^{+} \frac{1}{ρ_{n}(ω)} = ∫_{0}^{∞} G(t) dt azonosságot. (Az

egy a várható érték kiszámolásáról szóló formula eredményét alkalmazzuk a H(x) = x függvény választásával.) Definiáljuk ezenkívül az A_{n,t} = \{ω: log \frac{1}{ρ_{n}(ω)} > t, max_{k<n} \frac{1}{ρ_{k}(ω)} ≤

t} halmazokat minden t > 0 számra és n = 1, 2, … indexre. Rögzített t ≥ 0 számra az A_{n,t} halmazok diszjunktak, uniójuk az \{ω: sup_{n} log^{+} \frac{1}{ρ_{n}(ω)} > t\} halmaz, ezért G(t) =

∑_{n=1}^{∞} P (A_{n,t}). Ezenkívül A_{n,t} ∈ F_{n}, ahonnan

P (A_{n,t}) = ∫_{A_{n,t}} ρ_{n}(ω)Q_{n}( dω) = ∫_{A_{n,t}} ρ_{n}(ω)Q( dω).

Mivel ρ_{n}(ω) < e^{−t} az ω ∈ A_{n,t} pontokban, innen

P (A_{n,t}) ≤ ∫_{A_{n,t}} e^{−t}Q( dω) = e^{−t}Q(A_{n,t}),

és G(t) = ∑_{n=1}^{∞} P (A_{n,t}) ≤ e^{−t} ∑_{n=1}^{∞} Q(A_{n,t}) ≤ e^{−t} minden t > 0 számra. Ezért

E sup_{n} log^{+} \frac{1}{ρ_{n}(ω)} ≤ ∫_{0}^{∞} e^{−t} dt = 1,

amint állítottuk.

A (6.7) és (6.8) formulák alapján

E sup_{n} | log ρ_{n}(ω)| = E sup_{n} |log \frac{1}{ρ_{n}(ω)}| ≤ e sup_{n} E log ρ_{n}(ω) + e + 2.  (6.9)

Abból, hogy az (\frac{1}{ρ_{n}(ω)}, F_{n}), n = 1, 2, …, rendszer szupermartingál, és − log x monoton csökkenő konvex függvény következik, hogy a (log ρ_{n}(ω), F_{n}), n = 1, 2, …, rendszer szubmartingál. Speciálisan az E log ρ_{n}(ω), n = 1, 2, …, sorozat monoton nő. Ha lim_{n→∞} E log ρ_{n}(ω) < ∞, akkor a (6.9) formulából és a dominált konvergencia tételből következik, hogy lim_{n→∞} E log ρ_{n}(ω) = E log ρ_{∞}(ω), ahol ρ_{∞}(ω) = lim_{n→∞} ρ_{n}(ω). (Ez a ρ_{∞}(ω) határérték 1 valószínűséggel létezik.) Innen és a (6.9) relációból következik a (6.6) formula. A tételt beláttuk.

A Shannon–McMillan–Breiman tétel jó becsést ad annak valószínűségére, hogy egy véges vagy megszámlálható sok értéket felvevő valószínűségi változókból álló ergodikus, diszkrét idejű stacionárius sztochasztikus folyamat egy hosszú szelete egy előírt tipikus értéket vesz fel. Hasonló eredményeket várhatunk akkor is, ha olyan ergodikus, diszkrét idejű stacionárius sztochasztikus folyamatokat tekintünk, amelyek olyan valószínűségi változókból állnak, amelyek értékeiket egy általános térben veszik fel. Természetes azt várni, hogy nagyon általános feltételek mellett az ilyen diszkrét idejű sztochasztikus folyamatok többváltozós sűrűségfüggvényei hasonló viselkedést mutatnak, mint az előbb tekintett speciális diszkrét idejű stacionárius sztochasztikus folyamatok szeleteinak az eloszlása. Annak érdekében, hogy pontosabban értsük, hogy mit jelent ez az állítás, megfogalmazok egy ilyen jellegű tényt kifejező eredményt.

Legyen (X, A, μ) egy valószínűségi mező, ahol X egy teljes szeparábilis metrikus tér, és A a Borel σ-algebra ezen a téren. Vegyük e valószínűségi mezőnek az n = …, −1, 0, 1, … egész számokkal indexelt (X_{n}, A_{n}, μ_{n}) példányait, és definiáljuk ezek (X^{±∞}, A^{±∞}, μ^{∞}) direkt szorzatát. Vezessük be ezenkívül azon F_{n} ⊂ A^{±∞}, n = 1, 2, …, σ-algebrákat az (X^{±∞}, A^{±∞}, μ^{∞}) valószínűségi mezőn, amelyek az

x = (…, x_{−1}, x_{0}, x_{1}, …) ∈ X^{±∞}

pontok x_{−n+1}, …, x_{−1}, x_{0} koordinátáitól függő hengerhalmazokból állnak. Azaz F_{n} az {x = (…, x_{−1}, x_{0}, x_{1}, …) ∈ X^{±∞}: (x_{−n+1}, …, x_{0}) ∈ B} alakú halmazokból áll egy B ∈ A^{n} halmazzal. E képletben A^{n} az (X, A) tér (X^{n}, A^{n}) n-ik hatványában szereplő A^{n} σ-algebra. jelölje μ^{n} a μ^{∞} mérték megszorítását a F_{n} σ-algebrára.

Legyen adva egy ξ_{n}(x) = ξ_{n}(x_{n}), ha x = (…, x_{−1}, x_{0}, x_{1}, …), −∞ < n < ∞, ergodikus, diszkrét idejű stacionárius sorozat az (X^{±∞}, A^{±∞}, μ^{∞}) valószínűségi mezőn.

A következő tételben a (ξ_{1}, …, ξ_{n}) vektor sűrűségfüggvényének az aszimptotikájára adunk jó becslést nagy n számokra alkalmas feltételek teljesülése esetén.

Diszkrét idejű stacionárius sztochasztikus folyamat véges dimenziós sűrűségfüggvényeinek egy Shannon–McMillan–Breiman tétel tipusú becslése. Tekintsünk egy (X^{±∞}, A^{±∞}, μ^{∞}) valószínűségi mezőt és azon egy az előbb bevezetett alakú ξ_{n}(x) = ξ_{n}(x_{n}), x ∈ X^{±∞}, ∞ < n < ∞, ergodikus, diszkrét idejű stacionárius sztochasztikus folyamatot. Jelölje P ezen (ξ_{n}(x), −∞ < n < ∞) sztochasztikus folyamat eloszlását az (X^{±∞}, A^{±∞}) téren, és legyen P_{n} az F_{n} mérhető (ξ_{−n+1}, …, ξ_{0}) vektor eloszlása az (X^{±∞}, F_{n}) téren. Tegyük fel, hogy minden n = 1, 2, … indexre a P_{n} mérték abszolút folytonos a μ^{n} mértékre nézve, és jelölje p_{n}(x) = p_{n}(x_{−n+1}, …, x_{0}) = \frac{P_{n}( dx)}{μ^{n}( dx)}, x = (…, x_{−1}, x_{0}, x_{1}, …), a P_{n} mértéknek a μ^{n} mérték szerinti Radon–Nikodym deriváltját. Tegyük fel azt is, hogy a H = − ∫ log p_{1}(x)μ( dx) < ∞ reláció teljesül. Ekkor létezik a

lim_{n→∞} − ∫ log \frac{p_{n}(x_{1}, …, x_{n})}{p_{n−1}(x_{1}, …, x_{n−1})}μ^{n}( dx_{1}, …, dx_{n}) = H(P, μ)

határérték, és 0 ≤ H(P, μ) ≤ H. Továbbá

lim_{n→∞} −\frac{1}{n} log p_{n}(ξ_{1}(x), …, ξ_{n}(x)) = H(P, μ) P majdnem minden x ∈ X^{±∞} pontban.

E tétel bizonyítását, amely nagyon hasonlít az eredeti Shannon–McMillan–Breiman tétel bizonyításához, elhagyom. Csak annyit jegyzek meg, hogy a bizonyításban fontos szerepet játszik a Becslés Radon–Nikodym deriváltak növekvő σ-algebrákra vonatkozó viselkedéséről eredménye, és egy olyan (P, Q) valószínűségi mértékpárt kell választani, amellyel érdemes ezt az eredményt alkalmazni. Egyébként a Shannon–McMillan–Breiman tétel bizonyításában alkalmazott mértékpárhoz hasonló (P, Q) mértékpárt érdemes választani. Andrew R. Barron az ezen jegyzetben is említett The strong ergodic theorem for densities: Generalized Shannon–McMillan–Breiman theorem Probability (1985) Vol. 13 No.4 1292–1303) cikkében az előbb megfogalmazott eredmény lehetséges általánosításaival foglalkozik. Azt a kérdést vizsgálja, hogy milyen általánosabb μ^{∞} domináló mértékek esetében marad érvényben a tétel fő állítása.

Kiegészítés. Az információelméleti előadásban használt martingálegyenlőtlenség bizonyítása. Szubmartingálok szuprémuma teljesíti a következő momentum egyenlőtlenséget. Tétel szubmartingálok szuprémumának a momentumairól. Legyen (ξ_{k}, F_{k}), 1 ≤ k ≤ n, nem negatív (azaz a P (ξ_{k} ≥ 0) = 1, 1 ≤ k ≤ n, feltételt teljesítő) szubmartingál. Ekkor

E ( max_{1≤k≤n} ξ_{k})^{r} ≤ (\frac{r}{r − 1})^{r} Eξ_{n}^{r} minden r > 1 valós számra,

és

E ( max_{1≤k≤n} ξ_{k}) ≤ \frac{e}{e − 1} + \frac{e}{e − 1}Eξ_{n} log^{+} ξ_{n}

az r = 1 esetben, ahol log^{+} x = max(log x, 0).

Ez a tétel következik az alábbi két lemmából. Lemma 1. Legyen (ξ_{k}, F_{k}), 1 ≤ k ≤ n, szubmartingál. Ekkor

λP ( max_{1≤k≤n} ξ_{k}(ω) ≥ λ) ≤ ∫_{{ max_{1≤k≤n} ξ_{k}(ω)≥λ}} ξ_{n}(ω)P ( dω)

minden λ valós számra. Lemma 2. Ha ξ és η két olyan nem negatív valószínűségi változó, amelyekre

P (η(ω) ≥ λ) ≤ \frac{1}{λ} ∫_{\{η(ω)≥λ\}} ξ(ω)P ( dω)  (1)

minden λ > 0 számra, akkor

Eη^{r} ≤ (\frac{r}{r − 1})^{r} Eξ^{r} minden r > 1 valós számra,

és

Eη ≤ \frac{e}{e − 1} + \frac{e}{e − 1}Eξ log^{+} ξ

az r = 1 esetben, ahol log^{+} x = max(log x, 0). Lemma 1 bizonyítása. Legyen Λ_{1} = {ω: ξ_{1}(ω) ≥ λ}, Λ_{k} = {ω: ξ_{j}(ω) < λ, 1 ≤ j <

k, ξ_{k}(ω) ≥ λ}, 1 < k ≤ n, és Λ = ⋃_{k=1}^{n} Λ_{k}. Ekkor Λ = {ω: max_{1≤k≤n} ξ_{k}(ω) ≥ λ}, és

∫_{Λ} ξ_{n} dP = ∑_{k=1}^{n} ∫_{Λ_{k}} ξ_{n} dP = ∑_{k=1}^{n} ∫_{Λ_{k}} E(ξ_{n}|F_{k}) dP ≥ ∑_{k=1}^{n} ∫_{Λ_{k}} ξ_{k} dP

≥ λ ∑_{k=1}^{n} P (Λ_{k}) = λP (Λ),

ahonnan következik a lemma állítása.

Lemma 2 bizonyítása. Legyen Ψ(λ), λ > 0, monoton növekvő függvény, amelyre Ψ(0) = 0. Ekkor a Lebesgue–Stieltjes integrálokra vonatkozó parciális integrálás majd az (1) egyenlőtlenség, végül a Fubini tétel alapján

EΨ(η) = − ∫_{0}^{∞} Ψ(λ) dP (η(ω) ≥ λ) ≤ ∫_{0}^{∞} P (η(ω) ≥ λ) dΨ(λ)

≤ ∫_{0}^{∞} \frac{1}{λ} (∫_{η(ω)≥λ} ξ(ω)P ( dω)) dΨ(λ) = ∫_{Ω} ξ(ω) (∫_{0}^{η(ω)} \frac{dψ(λ}{λ}) P ( dω).

Ψ(λ) = λ^{r}, r > 1, választással felhasználva, hogy ezzel a választással \frac{dΨ(λ)}{λ} = rλ^{r−2} dλ, majd alkalmazva a Hölder egyenlőtlenséget, azt kapjuk, hogy

Eη^{r} ≤ ∫_{Ω} ξ(ω) (∫_{0}^{η(ω)} rλ^{r−2} dλ) P ( dω)

= \frac{r}{r − 1}Eξη^{r−1} ≤ \frac{r}{r − 1} (Eξ^{r})^{1/r} (Eη^{r})^{1−1/r} ,

ahonnan

(Eη^{r})^{1/r} ≤ \frac{r}{r − 1} (Eξ^{r})^{1/r} .

Ψ(λ) = λ, ha λ ≥ 1, és Ψ(λ) = 0, ha 0 ≤ λ < 1 választással azt kapjuk, hogy

E(η − 1) ≤ EΨ(η) ≤ ∫_{{η(ω)≥1}} ξ(ω) log η(ω)P ( dω),

és mivel a log b ≤ a log^{+} a + \frac{b}{e}, ha a > 0, b ≥ 1, (ugyanis az a > 1 esetben a log b = a log^{+} a + b(\frac{a}{b} log \frac{b}{a}) ≤ a log^{+} a + \frac{b}{e}, és az a ≤ 1, esetben a log b ≤ log b ≤ \frac{b}{e}), innen

E(η − 1) ≤ ∫_{\{η(ω)≥1\}} ξ(ω) log^{+} ξ(ω)P ( dω) + ∫_{\{η(ω)≥1\}} \frac{η(ω)}{e}P ( dω) ≤ Eξ log^{+} ξ + \frac{Eη}{e} ,

azaz

(1 − \frac{1}{e}) Eη ≤ 1 + Eξ log^{+} ξ.

A fenti egyenlőtlenségekből következik a Lemma 2 állítása.

A tételben megfogalmazott egyenlőtlenségek következnek a Lemma 1 és Lemma 2 állításaiból, ha a Lemma 2-t η = max_{1≤k≤n} ξ_{k} és ξ = ξ_{n} szereposztással alkalmazzuk, ahol

ξ_{k}, 1 ≤ k ≤ n, a vizsgált szubmartingál.