Hipotézisvizsgálat.

Ez a jegyzet csak rövid áttekintést ad a Bolla–Krámli könyv Hipotézsvizsgálat című könyv 4. fejezetéről. A legfontosabb fogalmakat és eredményeket ismertetem, és egyes helyeken, ahol ezt hasznosnak tartom, teszek néhány megjegyzést az eredmények bizonyításáról is.

Az alapfeladat a következő. Megfigyelünk egy mintát, azaz független, egyforma eloszlású valószínűségi változók valamilyen X_{1}, …, X_{n} sorozatát. Feltesszük, hogy az X_{j}, j = 1, …, n, valószínűségi változók az R^{k} Euklideszi térben veszik fel az értéküket. A könyv 4. fejezete csak a k = 1 esettel foglalkozik. Azt akarjuk ellenőrizni a minta alapján, hogy a megfigyelt valószínűségi változók eloszlása rendelkezik-e bizonyos tulajdonságokkal. Pontosabban megfogalmazva, van eloszlásoknak egy valamilyen módon definiált családja, és azt akarjuk ellenőrizni, hogy az általunk megfigyelt valószínűségi változók eloszlása ebbe a családba esik-e. Azt a feltételezést, hogy ez így van, nevezzük nullhipotézisnek. Van az eloszlásoknak egy másik, a feladat jellegétől függő ettől diszjunkt családja, és tudjuk, hogy a megfigyelt valószínűségi változók eloszlása e két eloszláscsalád valamelyikébe esik. Azt a feltételezést, hogy a minta elemeinek az eloszlása ebbe a másik családba esik nevezzük ellenhipotézisnek. A megfigyelt minta alapján döntést hozunk arról, hogy szerintünk teljesül-e a nullhipotézis. Ha egy minta elemeinek az eloszlása teljesíti a nullhipotézist, és mi olyan döntést, hozunk, hogy nem teljesíti azt, akkor olyan hibát követünk el, amit az irodalomban elsőfajú hibának neveznek. Azt a hibát, amit akkor követünk el, ha egy olyan minta elemeinek az eloszlásáról, amelyik nem teljesíti a nullhipoézist azt mondjuk, hogy teljesíti a nullhipotézist másodfajú hibának nevezik. Célunk természetesen az, hogy olyan döntést hozzunk, amelyiknek mind az elsőfajú mind a másodfajú hibája kicsi. De az elsőfajú hiba csökkentésének az az ára, hogy a másodfajú hiba nő. Ezért ezt a feladatot pontosabban meg kell fogalmazni.

Először néhány egyéb terminológiát vezetek be. Ha mind a null mind az ellenhipotézisben szereplő eloszlások egy Euklideszi tér részhalmazának a pontjaival vannak indexelve, akkor paraméteres próbáról beszélünk. Ha ezen eloszlások családja sokkal gazdagabb, és ezért elemeit nem lehet ilyen módon indexelni, akkor nem paraméteres próbáról beszélünk. E jegyzetben a paraméteres próbákról szóló eredményeket ismertetem, bár a könyv tartalmaz néhány eredményt nem paraméteres próbákról is. Egy teszt abból áll, hogy a minta lehetséges értékeinek a halmazát két diszjunkt részre egy X_{e} elfogadási és egy X_{k} kritikus halmazra osztjuk. Ha a minta az X_{e} halmazba esik, akkor elfogadjuk, ha az X_{k} halmazba esik, akkor elutasítjuk a nullhipotézist. Bizonyos esetekben ennél kissé általánosabb eljárást alkalmazunk. Nevezetesen, a minta bizonyos értékei esetén, egy a mintától független kisérletet teszünk, és ezen kisérlet eredménye alapján p valószínűséggel elfogadjuk, és 1 − p valószínűséggel elutasítjuk a nullhipotézist. Az, hogy milyen valószínűséggel utasítjuk el a nullhipotézist az X_{e} és X_{k} halmazok megválasztásával, függ attól, hogy a nullhipotézis melyik eleme következett be. Akkor mondjuk, hogy a próba ereje ε, ha a legkellemetlenebb esetben is az elsőfajú hiba értéke nem nagyobb, mint ε. Formálisan, jelölje {P_{ϑ}, ϑ ∈ Θ}, a nullhipotézis által kijelölt eloszlások családját, ahol Θ valamilyen paraméteter tartomány. Akkor mondjuk, hogy az X_{e} és X_{k} halmazok által meghatározott próba ereje ε, ha sup_{ϑ∈Θ} P_{ϑ}((X_{1}, …, X_{n}) ∈ X_{k}) = ε. A könyv az ilyen tulajdonságú próbákat ε terjedelmű próbáknak nevezi. A tipikus statisztikai feladatok azt jelentik, hogy rögzítünk egy ε hibahatárt, és olyan próbát keresünk, amelynek az ereje kisebb vagy egyenlő ε, és a másodfajú hibája (ami természetesen függ attól, hogy az ellenhipotézis melyik eloszlása jelenik meg) viszonylag kicsi.

A könyv 4. fejezetének az első fontos eredménye a Neyman–Pearson lemma. Ez azzal a speciális esettel foglalkozik, amikor mind a nullhipotézis mind az ellenhipotézis egyetlen elemből, egy P_{ϑ_{0}} illetve P_{ϑ_{1}} valószínűségi mértékből áll. Rögzítünk egy ε > 0 számot. A Neyman–Pearson lemma megadja azt, hogy hogyan néz ki az a próba, amelynek elsőfajú hibája kisebb vagy egyenlő ε, és eme megkötés mellett a másodfajú hibája a lehető legkisebb. Ezen eredmény megfogalmazása érdekében bevezetünk néhány jelölést.

Jelölje X = (X_{1}, …, X_{n}) a megfigyelt mintát. Legyen adva egy olyan μ mérték, amelyre nézve mind a P_{ϑ_{0}} mind a P_{ϑ_{1}} mérték abszolút folytonos, és legyen a sűrűségfüggvényük ezen μ mérték szerint p_{ϑ_{0}}(x) és p_{ϑ_{1}}(x). Jelölje L_{ϑ_{0}}(X) = ∏_{j=1}^{n} p_{ϑ_{0}}(X_{j}) a P_{ϑ_{0}} és L_{ϑ_{1}}(X) = ∏_{j=1}^{n} p_{ϑ_{1}}(X_{j}) a P_{ϑ_{1}} mérték szerinti likelihoodfüggvényét az X = (X_{1}, …, X_{n}) mintának.

A X = (X_{1}, …, X_{n}) minta egy csak 0 vagy 1 értéket felvevő ψ(X) függvényét próbafüggvénynek nevezzük, amely a következő próbát határozza meg. A nullhipotézist fogaduk el abban az esetben, ha ψ(X) = 0, és az ellenhipotézist fogadjuk el abban az esetben, ha ψ(X) = 1. Érdemes a próbafüggvényt kissé általánosabban definiálni, és olyan definiciót bevezetni, amelyben bizonyos minták megjelenése esetén 1 − p valószínűséggel a nullhipotézist, és p valószínűséggel az ellenhipotézist fogadjuk el. Ennek alapján, legyen 0 ≤ ψ(X) ≤ 1, és ψ(X) = p esetén 1 − p valószínűséggel a nullhipotézist és p valószínűséggel az ellenhipotézist fogadjuk el (egy a mintától független kisérlet alapján). Egy próba definiciója a ψ(X) próbafüggvény megadását jelenti, amelynek segítségével a fent megadott módon hozzuk meg a döntésünket. Egy ψ(X) próbafügvény által meghatározott próba elsőfajú hibája E_{ϑ_{0}}(1 − ψ(X)), másodfajú hibája E_{ϑ_{1}}ψ(X). A most bevezetett fogalmak és jelölések segítségével megfogalmazzuk a Neyman–Pearson lemmát.

Neyman–Pearson lemma. Legyen adva egy X = (X_{0}, …, X_{n}) minta a nullhipotézis szerint P_{ϑ_{0}} az ellenhipotézis szerint P_{ϑ_{1}} eloszlással, P_{ϑ_{0}} ≠ P_{ϑ_{1}}. Minden 0 < ε < 1 számhoz létezik olyan c = c(ε) > 0 és p = p(ε), 0 ≤ p < 1, szám, hogy a segítségükkel definiált ψ(X) = ψ_{c,p}(X) próbafüggvény, amelyet a

ψ(X) = \{ \begin{matrix}0 ha \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} < c, \\ p ha \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} = c, \\ 1 ha \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} > c. \end{matrix}

képlet definiál teljesíti a E_{ϑ_{0}}(1 − ϕ(X)) = ε azonosságot, azaz a ψ(X) próbafüggvény által megadott próba elsőfajú hibája ε. Másrészt, ha egy ψ′(X) próbafüggvény által meghatározott próbának az elsőfajú hibája kisebb vagy egyenlő ε, akkor e próba másodfajú hibája nagyobb vagy egyenlő, mint a ψ(X) próbafüggvény által meghatározott próba másodfajú hibája. Képletben kifejezve: Ha E_{ϑ_{0}}(1 − ψ′(X)) ≤ ε, akkor E_{ϑ_{1}}ψ′(X) ≥ E_{ϑ_{1}}ψ(X).

Eltekintek e lemma bizonyításától, csak egy rövid heurisztikus magyarázatot adok arra, hogy miért igaz ez az eredmény. Ha adva van két X = (X_{1}, …, X_{n}) és X′ = (X′_{1}, …, X′_{n}) minta, amelyekre \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} ≤ \frac{L_{θ_{1}}(X′)}{L_{θ_{0}}(X′)}, akkor az X minta megjelenése esetén inkább döntenénk a nullhipotézis mellett, mint a X′ minta megjelenése esetén. Ez azt sugallja, hogy olyan próbát válasszunk, amelyben egy alkalmas c > 0 konstanst választunk, és \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} <

c esetén a nullhipotézis, \frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} > c esetén az ellenhipotézis érvényessége mellett döntünk. A c konstanst úgy akarjuk választani, hogy az elsőfajú hiba pontosan ε legyen. Lehetséges, hogy a választandó c szám olyan lesz, hogy a P_{ϑ_{0}} (\frac{L_{θ_{1}}(X)}{L_{θ_{0}}(X)} = c) valószínűség pozitív. Ezen esemény bekövetkezte esetén véletleníteni kell, bizonyos valószínűséggel a nullhipotézist, és bizonyos valószínűséggel az ellenhipotézist kell választani annak érdekében, hogy az elsőfajú hiba pontosan ε legyen.

Tekintünk statisztikai modelleket a következő tulajdonságokkal. A H_{0} nullhipotézis olyan P_{ϑ} valószínűségi mértékekből áll amelyek ϑ indexére ϑ ∈ Θ_{0} valamely Θ_{0} indexhalmazzal, a H_{1} ellenhipotézis olyan P_{ϑ} valószínűségi mértékekből áll, amelyekre ϑ ∈ Θ_{1} egy másik Θ_{1} indexhalmazzal, ezek az indexhalmazok diszjunktak, azaz Θ_{0}∩Θ_{1} = ∅. Továbbá ezeknek a mértékeknek van közös domináló mértékük, azaz bevezetve a Θ = Θ_{0} ∪ Θ_{1} jelölést, van olyan μ mérték, hogy minden P_{ϑ}, ϑ ∈ Θ, mértéknek van p_{ϑ}(·) sűrűségfüggvénye e szerint a μ mérték szerint. A könyv bevezet ilyen modellekben egy próbát, amit likelihood hányados próbának nevez. Ez egy plauzibilis eljárás, és bár a könyv nem ismertet olyan eredményeket, amelyek e módszer előnyös tulajdonságairól szólnak, mégis érdemes ezt ismertetni. A könyv több olyan statisztikai feladatot tárgyal, ahol a jó statisztikai próbát úgy találjuk meg, mint az adott modellben megjelenő likelihood hányados próbát.

Vezessük be az L_{ϑ}(X) = ∏_{j=1}^{n} p_{ϑ}(X_{j}) likelihood függvényt minden X = (X_{1}, …, X_{n}) (n-elemű) mintára és P_{ϑ}, ϑ ∈ Θ, valószínűségi mértékre. Definiáljuk a

λ_{n}(X) = \frac{sup_{ϑ∈Θ_{0}} L_{ϑ}(X)}{sup_{ϑ∈Θ} L_{ϑ}(X)}

kifejezést. Ekkor 0 ≤ λ_{n}(X) ≤ 1, és azt várjuk, hogy természetes modellekben, akkor lesz ez a kifejezés nagy, azaz közel 1 nagy valószínűséggel, ha ϑ ∈ Θ_{0}. Ugyanis L_{ϑ′}(X) = exp {∑_{j=1}^{n} log p_{ϑ′}(X_{j})} ∼ exp{nE_{ϑ} log p_{ϑ′}(X_{1})} minden ϑ′ ∈ Θ paraméterre a nagy számok törvénye alapján, és azt várjuk, hogy természetes modellekben, abban az esetben, ha az X = (X_{1}, …, X_{n}) minta elemei P_{ϑ} eloszlásúak, és összehasonlítunk két ϑ ∈ Θ és ϑ′ ∈ Θ, ϑ ≠ ϑ′, paraméterhez tartozó P_{ϑ} és P_{ϑ′} mértéket, akkor E_{ϑ} log p_{ϑ}(X_{1}) > E_{ϑ} log p_{ϑ′}(X_{1}). Ez azt sugallja, hogy akkor fogadjuk el a nullhipotézist, ha λ_{n}(X) ≥ c, ahol a c = c(ε) konstanst úgy választjuk, hogy az elsőfajú hiba ε legyen. A most leírt módszer alapján kapott próbákat hívják likelihood hányados próbának.

A Neyman–Pearson lemmában a következő problémával foglalkoztunk. Megfigyelünk egy mintát, azaz független egyforma eloszlású valószínűségi változók egy sorozatát, amelyiknek elemeiről tudjuk, hogy az eloszlásuk két ismert eloszlás valamelyike, de nem tudjuk melyik. A minta ismerete alapján erről akarunk dönteni. A Neyman–Pearson lemmában megadtuk, hogy melyik az a döntési eljárás, amelyben megköveteljük, hogy az elsőfajú hiba (az a hiba, hogy abban az esetben, amikor a minta az első eloszlásból jött, mi mégis úgy itéljük meg, hogy az a második eloszlásból jött) valószínűsége egy előírt számnál kisebb legyen, és a másodfajú hiba (az a hiba, hogy abban az esetben, amikor a minta a második eloszlásból jött, mi mégis úgy itéljük meg, hogy az az első eloszlásból jött) valószínűsége eme feltétel teljesülése esetén a lehető legkisebb. Most ennek a problémának egy változatát tárgyaljuk.

Ebben a problémában is két ismert eloszlás van, és el akarjuk dönteni, hogy egy minta elemei e két eloszlás melyikéből származnak. Most is meg tudjuk figyelni a minta elemeit, de azok elemszáma nem egy fix szám, hanem elkezdjük a minta elemeit figyelni, és mi döntjük el, hogy mikor hagyjuk abba a megfigyelést. Természetesen minél több elemet figyelünk meg, annál jobb döntést tudunk hozni, jó döntési eljárás esetén annál kisebb elsőfajú és másodfajú hibát fogunk elkövetni. Most olyan módszert kívánunk kidolgozni, amelyikben mind az elsőfajú mind a másodfajú hiba kisebb, mint egy előírt szám. Ezt azáltal tudjuk elérni, hogy sokáig figyeljük a minta elemeit. Viszont a célunk az, hogy a megfigyelt minta (véletlen) elemszáma legyen minél kisebb. Ezt az elvárást pontosítani kell. Mikor tekintünk egy véletlen elemszámot kicsinek? Azt várjuk el, hogy a megfigyelt elemek számának a várható értéke legyen kicsi. De még ezzel az elvárással sem fogalmaztuk meg a feladatot pontosan. Milyen eloszlás szerinti várható értéket kívánunk kicsivé tenni? Két természetes jelölt van. Az a két eloszlás, amelyek valamelyike megegyezik a megfigyelt minta elemeinek az eloszlásával. Az alább ismertetett eredményből ki fog derülni, hogy egy olyan eljárást tudunk kidolgozni, amely szerint mind a két mérték szerint minimális a várható értéke a javasolt döntési módszerben megfigyelt minta elemszámának azon döntési módszerekben megfigyelt minta elemszáma között, amelyekben mind az elsőfajú mind a másodfajú hiba kisebb, mint ebben a módszerben.

Ebben a feladatban úgynevezett szekvenciális eljárásokkal foglalkozunk. Minden egyes mintaelem megjelenése után (a nulladik mintaelemtől kezdve) döntést hozunk, és az háromféle lehet.

1.) Úgy döntünk, hogy elfogadjuk a nullhipotézist, és befejezzük a minta megfigyelését.

2.) Úgy döntünk, hogy elutasítjuk a nullhipotézist, és befejezzük a minta megfigyelését.

3.) Úgy döntünk, hogy megfigyeljük a következő mintaelem értékét is.

Az, hogy az n-ik lépésben az 1.), 2.) és 3.) lehetőségek közül melyiket választjuk az X_{n} = (X_{1}, …, X_{n}) véletlen vektor értékétől függ. Részletesebben megfogalmazva, jelölje N azt a véletlen időpontot, amikor befejezzük a mintaelemek megfigyelését. Tekintsük az {ω: N(ω) ≥ n − 1} eseményt, amely az X_{n} = (X_{1}, …, X_{n}), (valójában csak az X_{n−1} = (X_{1}, …, X_{n−1})) véletlen vektortól függ, és vegyük ennek a halmaznak egy olyan három A, B és C halmazból álló particióját, amelyikre ezen három halmaz mindegyike mérhető a σ(X_{1}, …, X_{n}) σ-algebra szerint. A szekvenciális eljárás n-ik lépése abból áll, hogy definálunk három olyan A, B és C halmazt, amelyek teljesítik a fenti feltételeket, és az A halmaz bekövetkezése esetén az 1.), a B halmaz bekövetkezése esetén a 2.), a C halmaz bekövetkezése esetén a 3.) lehetőséget választjuk.

Célunk olyan szekvenciális eljárás kidolgozása, amelyikben mind az elsőfajú mind a másodfajú hiba kisebbb, mint egy előírt szám, és a megfigyelt mintaelemek számának a várható értéke (a minta elemszámainak mindkét lehetséges eloszlása szerint) viszonylag kicsi.

Bevezetem a Wald-féle valószínűséghányados próbákat, amelyek szekvenciális próbák, és tartalmaznak bizonyos paramétereket. Ezek alkalmas megválasztásával megkapjuk a kívánt tulajdonságú kis hibájú, nem túl nagy számú megfigyelést tartalmazó tesztelési eljárásokat. Annak érdekében, hogy ezeket ismertessem, először be kell vezetni néhány jelölést.

Legyen adva egy (Ω, A.P) valószínűségi mezőn független, egyforma eloszlású valószínűségi változók egy X_{1}, X_{2}, …, sorozata, amelyeknek a sűrűségfüggvénye egy μ domináló mértékre nézve a H_{0} nullhipotézis szerint egy (ismert) f_{ϑ_{0}}(·) függvény, a H_{1} ellenhipotézis szerint pedig egy (ismert) f_{ϑ_{1}}(·) függvény. Feltesszük, hogy ez a két sűrűségfüggvény különböző. Definiáljuk minden n = 1, 2, … indexre és X_{n} = (X_{1}, …, X_{n}) mintára az L_{θ_{0}}(X_{n}) = ∏_{j=1}^{n} f_{ϑ_{0}}(X_{j}) és L_{θ_{1}}(X_{n}) = ∏_{j=1}^{n} f_{ϑ_{1}}(X_{j}) likelihood függvényeket, valamint a

V_{n} = V_{n}(X_{n}) = \frac{L_{ϑ_{1}}(X_{n})}{L_{ϑ_{0}}(X_{n})}, n = 1, 2, …

valószínűségi változókat. Rögzítsünk két 0 < A < 1 < B < ∞ számot, és definiáljuk segítségükkel a következő szekvenciális próbát. Ezt nevezzük Wald-féle valószínűséghányados próbának. Az n = 1, 2, …, indexre egymás után a következő eljárást követjük egészen addig a (véletlen) indexig, amikor úgy döntünk, hogy befejezzük a minta megfigyelését.

1.) Ha V_{n}(X_{n}) ≤ A, akkor úgy döntünk, hogy elfogadjuk a nullhipotézist, és befejezzük a minta megfigyelését.

2.) Ha V_{n}(X_{n}) ≥ B, akkor úgy döntünk, hogy elutasítjuk a nullhipotézist, és befejezzük a minta megfigyelését.

3.) Ha A < V_{n}(X_{n}) < B, akkor úgy döntünk, hogy megfigyeljük a következő mintaelem értékét is, és folytatjuk az eljárást.

A Wald-féle valószínűséghányados próba javasolása hipotézisek vizsgálatára hasonló elven működik mint a Neyman–Pearson lemma indoklása. Ha a V_{n} = V_{n}(X_{n}) = \frac{L_{ϑ_{1}}(X_{n})}{L_{ϑ_{0}}(X_{n})} hányados kicsi, akkor valószínű, hogy a nullhipotézis teljesül, tehát érdemes elfogadni azt, ha ez a hányados nagy, akkor valószínűleg az ellenhipotézis teljesül, tehát érdemes a nullhipotézist elutasítani. Ha ez a hányados se nem túl nagy se nem túl kicsi, akkor érdemes új mintaelemet kérni, hogy nagyobb biztonsággal tudjunk jó döntést hozni. Ha elég sok mintaelemet figyelünk meg, akkor olyan állapotba jutunk, hogy tudunk döntést hozni. Ennek indoklására elég megmutatni, hogy

lim_{n→∞} log V_{n}(X_{n}) = −∞ 1 valószínűséggel,

ha a nullhipotézis teljesül, és

lim_{n→∞} log V_{n}(X_{n}) = ∞ 1 valószínűséggel,

ha az ellenhipotézis teljesül.

Ezen álllítás következik a nagy számok törvényéből, ha azt a log V_{n}(X_{n}) = ∑_{j=1}^{n} log \frac{f_{ϑ_{1}}(X_{j})}{f_{ϑ_{0}}(X_{j})} összegre alkalmazzuk, és megmutatjuk, hogy

E_{ϑ_{1}} log \frac{f_{ϑ_{1}}(X_{j})}{f_{ϑ_{0}}(X_{j})} > 0, és E_{ϑ_{0}} log \frac{f_{ϑ_{1}}(X_{j})}{f_{ϑ_{0}}(X_{j})} < 0.

A 4.1. tétel egy olyan eredményt fogalmaz meg, amelyből következik, hogy a Wald-féle valószínűséghányados próbákban a megfigyelt elemek számának a várható értéke minden 0 < A < 1 < B < ∞ paraméterválasztás esetén véges mind a nullhipotézis mind az ellenhipotézis mértéke szerint, sőt ugyanez elmondható a megfigyelt elemek számának tetszőleges momentumáról. A 4.2. tétel, az ún. Wald-azonosság egy olyan azonosságot fogalmaz meg, amely lehetőséget ad ezen várható érték aszimptotikájának a meghatározására. (Lásd a könyv 4. fejezetének (4.3) képletét.) E jegyzetben csak a 4.2. tételt fogalmazom meg. Ezután beszélek e tétel bizonyításának a hátteréről.

4.2. Tétel. Wald azonosság. Legyenek Z_{1}, Z_{2}, … független egyforma eloszlású valószínűségi változók, amelyekre E|Z_{1}| < ∞, N megállási szabály, amelyre EN < ∞. Ekkor

E (∑_{j=1}^{N} Z_{j}) = ENEZ_{1}.

Ez az azonosság tipikus martingálokról szóló eredmény. Az

U_{n} = ∑_{j=1}^{n}(Z_{n} − EZ_{n}), n = 0, 1, 2, …,

sorozat martingál. Ezért szép N megállási szabályokra EU_{N} = 0. Ez igaz például akkor, ha olyan megállási szabályt tekintünk, amelynek értéke egy valószínűséggel kisebb egy adott számnál, például az N_{k} = min(N, k) megállási szabályt tetszőleges k = 1, 2, … számmal. A tétel feltételelei lehetővé teszik, hogy k → ∞ határátmenettel megkapjuk az EU_{N} = 0 azonosságot. Innen következik a Wald azonosság.

Érdemes a 4.2. tételt a Z_{j} = log \frac{f_{ϑ_{1}}(X_{j})}{f_{ϑ_{0}}((X_{j})}, j = 1, 2, …, választással alkalmazni a P_{ϑ_{0}} vagy P_{ϑ_{1}} mértékkel, továbbá azt az N megállási szabályt venni, amelyiket a Wald-féle valószínűséghányados próbában alkalmaztunk. Ez a most bevezetett Z_{j} valószínűségi változókkal úgy is megadható, mint a legkisebb olyan n szám, amelyre vagy ∑_{j=1}^{n} Z_{j} ≤ log A vagy ∑_{j=1}^{n} Z_{j} ≥ log B. Ilyen választásal kapjuk a (4.3) relációt a = log A és b = log B jelöléssel. (Ha abban az N = n időpontban, amikor a ∑_{j=1}^{n} Z_{n} összeg kilép az (a, b) intervallumból ennek az összegnek az értéke mindig pontosan a vagy b volna, akkor pontos azonosságot írhatnánk. Az általános esetben csak közelítő azonosság érvényes. Megjegyzem, hogy a gyakorlatban érdekes esetekben ε nagyon kicsi, ezért az |a| és b számokat nagyra kell választani. Ezért van a (4.3) formulában közelítő azonosság.

A 4.3. tételben megadnak egy jó becslést arra, hogy hogyan kell az A és B konstansokat választani a Wald-féle valószínűséghányados próbában, ha azt akarjuk, hogy az elsőfajú hiba ε_{1}, a másodfajú hiba ε_{2} legyen. Pontos értéket nem tudunk megadni, de az ismertetett eredmények gyakorlati szempontból elegendőek. Ismertetem ezeket az eredményeket, és megadom a vázlatos bizonyításukat.

4.3. Tétel. A Wald-féle valószínűséghányados próbában a 0 < ε_{1} < 1 elsőfajú és 0 < ε_{2} < 1 másodfajú hibája valamint a próba definiciójában szereplő A és B konstansok között a következő reláció érvényes:

A ≥ \frac{ε_{2}}{1 − ε_{1}} és B ≤ \frac{1 − ε_{2}}{ε_{1}} .

A fenti tételnek van a következő hasznos következménye.

A 4.3. Tétel következménye. Adva az ε_{1} és ε_{2} jelöltek az elsőfajú és másodfajú hibára definiáljuk segítségükkel a következő A′ és B′ konstansokat, amelyek választása a Wald-féle valószínűséghányados próbában az ún. (ε_{1}, ε_{2}) stratégiát adja.

A′ = \frac{ε_{2}}{1 − ε_{1}} és B′ = \frac{1 − ε_{2}}{ε_{1}} .

Az A′ és B′ konstanssal konstruált Wald-féle valószínűséghányados próba ε′_{1} elsőfajú és ε′_{2} másodfajú hibája teljesíti az ε′_{1} + ε′_{2} ≤ ε_{1} + ε_{2} valamint az

ε′_{2} ≤ \frac{ε_{2}}{1 − ε_{1}} és ε′_{1} ≤ \frac{ε_{1}}{1 − ε_{2}}

egyenlőtlenségeket.

A 4.3. tétel bizonyítása. Jelölje N azt a véletlen időpontot, amikor befejezzük a minta megfigyelését. Ekkor P_{ϑ_{0}}(N) < ∞) = 1, P_{ϑ_{1}}(N) < ∞) = 1, és

E_{N} = \{ω: \frac{L_{ϑ_{1}}(X_{N}(ω))}{L_{ϑ_{0}}(X_{N}(ω))} ≤ A\}

az a halmaz, ahol a nullhipotézist elfogadjuk, és

K_{N} = \{ω: \frac{L_{ϑ_{1}}(X_{N}(ω))}{L_{ϑ_{0}}(X_{N}(ω))} ≥ B\}

az a halmaz, ahol a nullhipotézist elutasítjuk.

Ezért P_{ϑ_{0}}(E_{N}) = 1−ε_{1}, P_{ϑ_{0}}(K_{N}) = ε_{1}, P_{ϑ_{1}}(E_{N}) = ε_{2} és P_{ϑ_{1}}(K_{N}) = 1−ε_{2}. Továbbá, L_{ϑ_{1}}(X_{N}(ω)) ≥ BL_{ϑ_{0}}(X_{N}(ω)) a K_{N} halmazon, és integrálva ezen egyenlőtlenség mindkét oldalát a domináló μ mérték szerint azt kapjuk, hogy P_{ϑ_{1}}(K_{N}) ≥ BP_{ϑ_{0}}(K_{N}). Hasonlóan, P_{ϑ_{1}}(E_{N}) ≤ AP_{ϑ_{0}}(E_{N}). Ez azt jelenti, hogy Bε_{1} ≤ 1 − ε_{2}, és ε_{2} ≤ A(1 − ε_{1}), és ezt kellett bizonyítani.

A következő Wald–Wolfowitz tétel bizonyítása érdekes gondolatokat tartalmaz. Ezért, bár a részletes bizonyítást nem dolgozom ki, elmagyarázom annak legfontosabb lépéseit. A tétel azt mondja ki, hogy a Wald-féle valószínűséghányados próbák optimálisak a következő értelemben. Tekintsünk egy Wald-féle valószínűséghányados próbát valamilyen A és B paraméterrel. Ha egy másik szekvenciális próbának mind az elsőfajú mind a másodfajú hibája nem nagyobb, mint ennek a próbának, akkor a próbában felhasznált mintaelemek számának a várható értéke nagyobb vagy egyenlő, mint a tekintett Wald-féle valószínűséghányados próbában. Ez igaz mind a P_{ϑ_{0}} mind a P_{ϑ_{1}} mérték szerint vett várható értékre.

4.4. Tétel. Wald és Wolfowitz tétele. Rögzítsünk egy 0 < A < 1 < B < ∞ számpárt, és tekintsük az általa meghatározott Wald-féle valószínűséghányados próbát. Legyen e próba elsőfajú hibája ε_{1}, és másodfajú hibája ε_{2}. Jelölje a próba során megfigyelt elemek számát N. Tekintsünk egy másik szekvenciális próbát, amelyiknek az elsőfajú hibája kisebb vagy egyenlő ε_{1}, és másodfajú hibája kisebb vagy egyenlő ε_{2}. Jelölje az e próba során megfigyelt elemek számát N′. Legyen E_{ϑ_{0}}(N′) < ∞ és E_{ϑ_{1}}(N′) < ∞. Ekkor E_{ϑ_{0}}(N) ≤ E_{ϑ_{0}}(N′), és E_{ϑ_{1}}(N) ≤ E_{ϑ_{1}}(N′).

E feladat megoldása érdekében tekintünk egy alkalmasan megfogalmazott optimális döntési eljárásról szóló feladatot, és vizsgáljuk annak megoldását. Ez nagy segítséget nyújt Wald és Wolfowitz tételének a bizonyításában. Ezt a feladatot a valószínűségszámítás klasszikus nyelvén fogalmazom meg, amely jobban megvilágítja a problémát, mint a könyv statisztika nyelvén megfogalmazott tárgyalása.

Az optimális döntési eljárásról szóló feladatban két független, egyforma eloszlású Y_{1}, Y_{2}, … és Z_{1}, Z_{2} … valószínűségi változokból álló sorozatot tekintünk egy (Ω, A, P) valószínűségi mezőn. Az Y_{1}, Y_{2}, … sorozat elemeinek az eloszlása P_{ϑ_{0}}, a Z_{1}, Z_{2},… sorozat elemeinek az eloszlása P_{ϑ_{1}}. Ezt a két P_{ϑ_{0}} és P_{ϑ_{1}} mértéket a továbbiakban rögzítjük. Adjunk meg ezenkívül egy 0 < π < 1 számot, és legyen adva egy olyan U valószínűségi változó, amelyre P (U = 0) = 1 − π, P (U = 1) = π, és U független az Y_{1}, Y_{2}, …, és Z_{1}, Z_{2}…. sorozatoktól. Legyenek ezenkívül rögzítve bizonyos c > 0, w_{1} > 0 és w_{2} > 0 számok, és definiáljuk e paraméterek segítségével a következő feladatot.

Van egy rendszer, amelyik a 0 állapotba kerül, ha U = 0, és az 1 állapotba kerül, ha U = 1. Ha a rendszer a 0 állapotban van, akkor kibocsájtja egymás után az Y_{1}, Y_{2}, … valószínűségi változókat, ha a rendszer az 1 állapotban van, akkor kibocsájtja egymás után a Z_{1}, Z_{2}, … valószínűségi változókat.

Ismerjük a π számot, és a P_{ϑ_{0}} és P_{ϑ_{1}} eloszlásokat, de nem ismerjük az U, Y_{1}, Y_{2}, … és Z_{1}, Z_{2}, … valószínűségi változók értékeit. Lehetőségünk van megfigyelni a rendszer által egymás után kibocsájtott valószínűségi változók értékét, azaz az Y_{1}, Y_{2}, … sorozat egymás utáni elemeit, ha a rendszer a 0 állapotban van, és a Z_{1}.Z_{2}, … sorozat egymás utáni elemeit, ha a rendszer az 1 állapotban van, de minden egyes megfigyelésért c forintot kell fizetni. Jogunk van eldönteni, hogy mennyi ideig folytatjuk a megfigyelést. Ezután meg kell tippelnünk, hogy a rendszer a 0 vagy az 1 állapotban van-e, de a helytelen tippért fizetni kell. Annak a hibának, hogy a 0 állapotra tippeltünk az 1 állapot helyett w_{1} forint az ára, annak a hibának, hogy az 1 állapotra tippeltünk az 0 állapot helyett w_{2} forint az ára. A feladat az optimális döntési eljárásnak, azaz annak az eljárásnak a megadása, amelyre az előbb leírt procedúra költségének a várható értéke minimális.

Érdemes megérteni e feladat kapcsolatát a szekvenciális próbák vizsgálatával. Vezessük be az X_{n}, n = 1, 2, …, valószínűségi változókat az X_{n} = Y_{n}, ha U = 0, és X_{n} = Z_{n}, ha U = 1, n = 1, 2, …, képletekkel. Ezzel a jelöléssel az X_{1}, X_{2}, … valószínűségi változókat figyeljük meg. Megadjuk e sorozat feltételes eloszlását feltéve az U valószínűségi változó értékét. Az U = 0 esetben ez a feltételes eloszlás megegyezik független P_{ϑ_{0}} eloszlású valószínűségi változók sorozatának az eloszlásával. Az U = 1 esetben ez a feltételes eloszlás megegyezik független P_{ϑ_{1}} eloszlású valószínűségi változók sorozatának az eloszlásával. Egy döntési eljárás megadása azt jelenti, hogy először megadunk egy az X_{1}, X_{2}, … sorozat elemeinek értékétől függő N megállási szabályt azaz az egy olyan pozítiv egész értéket felvevő N valószínűségi változót, amelyre {ω: N(ω) = k} ∈ σ(X_{1}, …, X_{k}) = σ(X_{k}) minden k = 1, 2, … indexre, majd definiálunk egy olyan T = T (X_{1}, …, X_{N(ω}) = T (X_{N(ω}) valószínűségi változót, amelyre T = 0 vagy T = 1. A T valószínűségi változót döntési függvénynek nevezzük. A T = 0 esemény bekövetkezésekor arra tippelünk, hogy a rendszer a 0 állapotban van, míg a T = 1 esemény bekövetkezésekor arra tippelünk, hogy a rendszer az 1 állapotban van. Teszünk még egy technikai kiegészítést a definicióban. Megengedjük azt is, hogy a nulladik időpontban, azaz az X_{n} mintaelemek megfigyelése nélkül hozzunk döntést, ami vagy a determinisztikus T = 0 vagy a determinisztikus T = 1 függvény. Formálisan, legyen X_{0} az üres sorozat, az általa generált σ(X_{0}) a triviális {∅, Ω}, σ-algebra. Az N(ω) megállási szabály a nulla értéket is felveheti, de {ω: N(ω) = 0} ∈ σ(X_{0}), és a T döntési függvény is konstans az {ω: N(ω) = 0} halmazon.

Egy N megállási szabállyal és T döntési függvénnyel megadott döntési eljárás költségének a várható értéke

K(N, T) = K(N, T, π) = π(cE_{ϑ_{0}}(N) + w_{1}P_{ϑ_{0}}(T = 1))  (1)
+(1 − π)(c(E_{ϑ_{1}}(N) + w_{2}P_{ϑ_{1}}(T = 0)),

és a feladat annak az (N, T) párral megadott döntési szabálynak a megtalálása, amelyre K(N, T) minimális.

Egy szekvenciális próbát hasonlóan egy az X_{1}, X_{2}, … sorozat szerinti N megállási szabállyal és egy T = T (X_{1}, …, X_{N}) 0 vagy 1 értéket felvevő valószínűségi változóval adunk meg. A különbség az, hogy ebben az esetben minket a P_{ϑ_{0}}(T = 1) elsőfajú és P_{ϑ_{1}}(T = 0) másodfajú hiba nagysága érdekel, illetve az E_{ϑ_{0}}(N) és E_{ϑ_{1}}(N) várható értékek, amelyek a megfigyelt mintaelemek számának a várható értékével egyenlőek a H_{0} nullhipotézis illetve a H_{1} ellenhipotézis teljesülése esetén. Azt a feladatot vizsgáljuk, hogy ha csak olyan szekvenciális próbákat választhatunk, amelyekben a P_{ϑ_{0}}(T = 1) elsőfajú és P_{ϑ_{1}}(T = 0) másodfajú hiba kisebb, mint két előírt szám, akkor milyen kicsi lehet E_{ϑ_{0}}(N) és E_{ϑ_{1}}(N) alkalmas próba választása estén. Az optimális döntési szabály kereséséről szóló feladat valójában azt jelenti, hogy olyan szekvenciális próbát keresünk, amelyre a P_{ϑ_{0}}(T = 1), P_{ϑ_{1}}(T = 0), E_{ϑ_{0}}(N) és E_{ϑ_{1}}(N) mennyiségek valamely lineáris kombinációja minimális értéket vesz fel.

Informálisan azt mondhatjuk, hogy a fent megfogalmazott optimális döntési eljárásról szóló feladatban ugyanazokat a stratégiákat vizsgáljuk, mint a szekvenciális próbákban, csak ezeket a stratégiákat másképpen értékeljük ki. Olyan eljárásokat tekintünk, ahol először eldöntjük meddig folytatjuk a minta megfigyelését, aztán a megfigyelések alapján megtippeljük, hogy melyik állapotban vagyunk. Ezért az optimális döntési eljárásról szóló eredmények hasznosak lehetnek a szekvenciális próbák vizsgálatában is. Az első fontos eredmény az optimális döntésről szóló feladatban, az a 4.5. lemmában megfogalmazott állítás, amelyik azt mondja ki, hogy minden 0 < π < 1, c > 0 és w_{1} > 0, w_{2} > 0 paraméterválasztás esetében az optimális stratégia a Wald-féle valószínűséghányados próba olyan alkalmas A és B konstansokkal, amelyek a fenti paraméterektől függnek. Egy másik fontos eredmény szerint minden 0 < π < 1 paraméter és 0 < A < 1 < B < ∞ konstansok esetén a c > 0 és w_{1} > 0, w_{2} > 0 paramétereket megválaszthatjuk úgy, hogy az optimális döntés a vizsgált feladatban megegyezik az ezen A és B konstansok által meghatározott Wald-féle valószínűséghányados próbával. Feltehetjük azt is, hogy a w_{1} és w_{2} konstansokat úgy választjuk, hogy w_{1} + w_{1} = 1.

Bár a könyv csak implicit módon tartalmazza ezt az eredményt, én megfogalmazom explicit módon az alábbi 4.4′. tételben. A 4.4. tétel ezen állítás egyszerű következménye.

4.4′. Tétel. Legyenek adva bizonyos 0 < A < 1 < B < ∞ és 0 < π < 1 számok. Meg tudunk választani olyan c > 0, és w_{1} > 0, w_{2} > 0 számokat, amelyekre w_{1} + w_{2} = 1, és ha az előbb definiált optimális döntési eljárásról szóló feladatot ezekkel a π, c, w_{1} és w_{2} paraméterekkel tekintjük, akkor az optimális döntési eljárás e feladatban megegyezik a Wald-féle valószínűséghányados próbával 0 < A < 1 < B < ∞ paraméterekkel.

A 4.4. tétel bizonyítása a 4.4′. tétel segítségével. Rögzítsünk egy 0 < π < 1 számot, és válasszuk a c > 0, w_{1} > 0, w_{2} > 0, w_{1} + w_{2} = 1 paramétereket oly módon, hogy ezzel a választással a korábban definiált optimális döntési eljárásról szóló feladat optimális döntési eljárása megegyezik a Wald-féle valószínűséghányados próbával a 4.4 tétel megfogalmazásában szereplő 0 < A < 1 < B < ∞ paraméterekkel. Tekintsük azt az N megállási szabályból és T nulla vagy egy értéket felvevő döntési függvényből álló (N, T) párt, amely meghatározza ezt a próbát. Ekkor P_{ϑ_{0}}(T = 1) = ε_{1}, és P_{ϑ_{1}}(T = 0) = ε_{2}. Tekintsünk egy másik valamilyen (N′, T′) megállási szabály és döntési függvénypárral definiált szekvenciális próbát. Legyen P_{ϑ_{0}}(T′ = 1) = ε′_{1}. és P_{ϑ_{1}}(T′ = 0) = ε′_{2}. Ekkor mind az (N, T) mind az (N′, T′) pár meghatároz egy döntési eljárást, és az (N, T) pár által megadott döntési eljárásnak a 4.4′. tételben megfogalmazott optimalitási tulajdonságából következik az alábbi egyenlőtlenség.

π(cE_{ϑ_{0}}(N) + w_{1}ε_{1}) + (1 − π)(c(E_{ϑ_{1}}(N) + w_{2}ε_{2})
≤ π(cE_{ϑ_{0}}(N′) + w_{1}ε′_{1}) + (1 − π)(c(E_{ϑ_{1}}(N′) + w_{2}ε′_{2}).

A 4.4. tételben olyan (N′, T′) párok által meghatározott szekvenciális próbát tekintettünk, amelyre ε′_{1} ≤ ε_{1} és ε′_{2} ≤ ε_{2}. Ilyen esetben a fenti egyenlőtlenségből következik az alábbi egyenlőtlenség is.

πE_{ϑ_{0}}(N) + (1 − π)E_{ϑ_{1}}(N) ≤ πE_{ϑ_{0}}(N′) + (1 − π)E_{ϑ_{1}}(N′).

Mivel ez az egyenlőtlenség minden 0 < π < 1 paraméterre igaz, innen következnek az E_{ϑ_{0}}(N) ≤ E_{ϑ_{0}}(N′) és E_{ϑ_{1}}(N′) ≤ E_{ϑ_{1}}(N) egyenlőtlenségek is. A 4.4. tételt beláttuk.

A 4.4. tétel bizonyításának legfontosabb lépése az optimális stratégia megtalálása az előbb megfogalmazott optimális döntési eljárásról szóló feladatban. A könyv csak vázlatosan ismerteti ezen probléma megoldását.

Ezért én is megelégszem azzal, hogy megadjam annak legfontosabb gondolatait, illetve megfogalmazzam a legfontosabb megoldandó matematikai problémákat. Először megadom a keresett optimális stratégiát.Ennek érdekében bevezetem a következő mennyiségeket.

Jelöljön (a könyv jelöléseit követve δ egy lehetséges (N, T) döntési eljárást, és jelölje D az összes olyan lehetséges δ = (N, T) döntés halmazát, amelyre E_{ϑ_{0}}(N) < ∞, és E_{ϑ_{1}}(N) < ∞. Legyen minden δ = (N, T) ∈ D döntés költsége r(π, δ) = K(N, T, π) az (1) formulában definiált K(N, T, π) függvénnyel. Jelölje D_{1} azon δ = (N, T) döntési eljárások halmazát, amelyekre P (N ≥ n) = 1, és legyen

ρ(π) = inf_{δ∈D_{1}} r(π, δ).  (2)

Mint a könyv megmutatja, a ρ(π) függvény alulról korlátos, konkáv, ezért a (0, 1) intervallumon folytonos függvény. (Vegyük észre, hogy az r(π, δ) függvény folytonos minden δ ∈ D döntési eljárásra. Ezt felhasználva meg lehet mutatni, hogy ρ(π) mérhető függvény.) Nem nehéz belátni, hogy

lim_{π→0} ρ(π) = lim_{π→1} ρ(π) = c.

A ρ(·) függvény segítségével meg tudjuk mondani, milyen π paramétereknél állunk le az optimális döntési eljárásban az első megfigyelés előtt, azaz a nulladik lépésben, és ebben az esetben milyen döntest hozunk.

Legyen δ_{0} = (N_{0}, T_{0}), ahol N_{0} ≡ 0, T_{0} ≡ 0, és δ_{1} = (N_{0}, T_{1}), ahol N_{0} ≡ 0, T_{1} ≡ 1. Ekkor r(π, δ_{0}) = πw_{1} és r(π, δ_{1}) = (1 − π)w_{0}. Minden 0 < π < 1 paraméterre az optimális stratégia a δ_{0}, δ_{1} és az optimális δ ∈ D_{1} stratégia valamelyike, (ez utóbbi költsége ρ(π)), és ezek közül azt kell választani, amelyiknek minimális a költsége. Ez azt jelenti, hogy ha ρ (\frac{w_{2}}{w_{1}+w_{2}} ) ≥ \frac{w_{1}w_{2}}{w_{1}+w_{2}} , akkor a π ≤ \frac{w_{1}}{w_{1}+w_{2}} esetben a δ_{0}, és a π > \frac{w_{1}}{w_{1}+w_{2}} esetben a δ_{1} stratégiát alkalmazzuk. Ha ρ (\frac{w_{2}}{w_{1}+w_{2}} ) < \frac{w_{1}w_{2}}{w_{1}+w_{2}} , akkor van egy olyan 0 < π′ < \frac{w_{2}}{w_{1}+w_{2}} szám, amelyre π′w_{1} = ρ(π′), és egy olyan \frac{w_{2}}{w_{1}+w_{2}} < π′′ < 1 szám, amelyre (1 − π′′)w_{2} = ρ(π′′). (Lásd a könyvben a 4.1 ábrát.) Ebben az esetben az optimális stratégia a δ_{0} stratégia, ha π ≤ π′, a δ_{1} stratégia, ha π ≥ π′′, míg a π′ < π < π′′ esetben N ≥ 1, és meg kell keresni a legjobb δ ∈ D_{1} stratégiát.

Ilyen módon megadtuk az optimális stratégia nulladik lépését. A további lépések megtalálása hasonló elveken alapul, bár kidolgozásuk technikailag bonyolultabb. Ahhoz, hogy ezeket megadjuk be kell vezetni a következő feltételes valószínűségeket, amelyeket a könyv aposteriori valószínűségeknek nevez.

Definiáljuk minden X_{n} = (X_{1}, …, X_{n}) sorozatra a

π_{n} = π_{n}(X_{n}) = P (U = 1|X_{1}, …, X_{n}), n = 1, 2, …,

feltételes valószínűségeket, és legyen π_{0} = π. Be lehet látni, hogy

π_{n} = π_{n}(X_{n}) = \frac{πL_{ϑ_{1}}(X_{n})}{πL_{ϑ_{1}}(X_{n}) + (1 − π)L_{ϑ_{0}}(X_{n})}, n = 1, 2, …,  (3)

ahol L_{ϑ_{0}}(X_{n}) = ∏_{j=1}^{n} f_{ϑ_{0}}(Y_{j}), és L_{ϑ_{1}}(X_{n}) = ∏_{j=1}^{n} f_{ϑ_{1}}(Z_{j}). Innen következik az alábbi rekurziv formula.

π_{n}(X_{n}) = \frac{π_{n−1}(X_{n−1})f_{ϑ_{1}}(X_{n})}{π_{n−1}(X_{n−1})f_{ϑ_{1}}(X_{n}) + (1 − π_{n−1}(X_{n−1}))f_{ϑ_{0}}(X_{n})}.

Ki tudjuk számolni az U és X_{n}, X_{n+1}, … valószínűségi változók együttes feltételes eloszlásat is feltéve az X_{n} = (X_{1}, …, X_{n}) véletlen vektor által generált σ-algebrát. Azt kapjuk, hogy

P (U = 0, X_{n+1} ∈ B_{1}, X_{n+2} ∈ B_{2}, … |X_{1}, …, X_{n})
= (1 − π_{n}(X_{n}))P_{ϑ_{0}}(X_{1} ∈ B_{1})P_{ϑ_{0}}(X_{2} ∈ B_{2}) ⋯,
P (U = 1, X_{n+1} ∈ B_{1}, X_{n+2} ∈ B_{2}, … |X_{1}, …, X_{n})
= π_{n}(X_{n})P_{ϑ_{1}}(X_{1} ∈ B_{1})P_{ϑ_{1}}(X_{2} ∈ B_{2}) ⋯

B_{1}, B_{2}, … mérhető halmazok minden sorozatára.

Ez azt jelenti, hogy minden n = 1, 2, … időpontban a jövőbeli X_{n+1}, X_{n+2},…, valószínűségi változók együttes feltételes eloszlása feltéve a múltbeli X_{1}, …, X_{n} valószínűségi változók értékeit megegyezik az eredeti X_{1}, X_{2}, … valószínűségi változók együttes eloszlásával, ha annak definiciójában az U = 1 esemény π valószínűségét a π_{n}(X_{n}) feltételes valószínűséggel helyettesítjük a feltételes eloszlás kiszámolásában. Ez azt sugallja, hogy az optimális stratégia n-ik lépésében hasonló eljárást kell folytatni, mint a kiinduló lépésben, csak a π valószínűséget a π_{n}(X_{n}) feltételes valószínűséggel kell helyettesíteni. Az alábbi 4.5. lemma fogalmazza meg a fenti heurisztikus érvelés pontos jelentését és helyességét.

4.5. Lemma. Tekintsük a korábban definiált optimális döntési eljárásról szóló feladatot valamilyen 0 < π < 1, c > 0, w_{1} > 0, w_{2} > 0 paraméterekkel és P_{ϑ_{0}} és P_{ϑ_{1}} eloszlásokkal. Tekintsük a (2) formulában a segitségükkel definiált ρ(π), 0 < π < 1, függvényt, és legyen π′ és π′′ a πw′ = ρ(π′) és (1 − π′′)w_{2} = ρ(π′′) egyenlet megoldása, feltéve, hogy van ilyen megoldás. Ha ezen egyenleteknek van megoldása, akkor a keresett optimális döntési eljárás a következő. Tekintintsük a π_{n}(X_{n}), n = 0, 1, 2, …, feltételes valószínűségek sorozatát, és legyen N az a legkisebb index, amelyre vagy π_{N}(X_{N}) ≤ π′ vagy π_{N}(X_{N}) ≥ π′′, és legyen T = 0, ha π_{N}(X_{N}) ≤ π′, T = 1, ha π_{N}(X_{N}) ≥ π′′. Ha a fenti egyenleteknek nincs megoldása, akkor N ≡ 0, és T = 0, ha π ≤ \frac{w_{1}}{w_{1}+w_{2}} , és T = 1, ha π > \frac{w_{1}}{w_{1}+w_{2}} .

A valószínűségszámításban kidolgozták az optimális megállások elméletét. A következő problémát vizsgálták. Tekintünk egy (diszkrét idejű) sztochasztikus folyamatot, és amennyiben egy adott időpontban a folyamatot megállítjuk, akkor fizetni kell egy a megállítás időpontjától és a sztochasztikus folyamat ezen időpontbeli és múltbeli állapotaitól függő költséget. A feladat annak az optimális megállási időnek a megtalálása, amelynek választása esetén költségünk várható értéke minimális. A most tárgyalt feladat tekinthető ilyen tipusú feladatnak, mert a fő probléma az N megállási időpont megtalálása. Az N időpontbeli megálláshoz tartozó jó T döntési függvény megtalálása és a felmerülő költség meghatározása egyszerű.

A most említett elmélet eredményeinek és az itt tárgyalt formulák, észrevételek segítségével be lehet bizonyítani a 4.5. lemmát. Erről teszek majd néhány észrevételt, de a részletes bizonyítást nem tárgyalom. Viszont érdemes a 4.5. lemmában definiált N megállási szabályt olyan ekvivalens formában megadni, amelyik mutatja e megoldás kapcsolatát a Wald-féle valószínűséghányados próbával. Az N megállási szabály másik megadását a feltételes valószínűség kiszámításáról szóló (3) formula segítségével tesszük meg.

A (3) formulában definiált π_{n}(X_{n}) felírható π_{n}(X) = \frac{πV_{n}(X_{n})}{πV_{n}(X_{n})+(1−π)} alak-

ban is a V_{n}(X_{n}) = \frac{L_{ϑ_{1}}(X_{n})}{L_{ϑ_{0}}(X_{n})} függvénnyel. E formula segítségével a π_{n}(X_{n}) ≤ π′

egyenlőtlenség úgy írható, hogy V_{n}(X_{n}) ≤ \frac{1−π}{π} \frac{π′}{1−π′}, és a π_{n}(X_{n}) ≥ π′′ egyenlőtlenség úgy írható, hogy V_{n}(X_{n}) ≥ \frac{1−π}{π} \frac{π′′}{1−π′′}. Ez azt jelenti, hogy a 4.5. lemmában a π′ és π′′ számok segítségével megadott optimális döntési eljárás megegyezik a Wald-féle valószínűséghányados próbával az A = \frac{1−π}{π} \frac{π′}{1−π′} és B = \frac{1−π}{π} \frac{π′′}{1−π′′} paraméterválasztással.

Szükségünk van még egy eredményre, amelyik azt biztosítja, hogy az optimális döntési eljárásról szóló feladatban a paramétereket meg tudjuk választani a számunkra megfelelő módon. Ez a könyv 4.6.lemmája. E lemma bizonyításával a könyv nem foglalkozik. Ehelyett Lehmann E. L. Testing statistical hypotheses, John Wiley and Sons, New York–London 1959., könyv 3.12. paragrafusára hívatkozik.

4.6. Lemma. Legyen adva egy 0 < π < 1 szám. Minden olyan π′, π′′ számpárhoz, amelyre 0 < π′ < π < π′′ < 1, léteznek olyan c > 0, w_{1} > 0, w_{2} > 0, w_{1} + w_{2} = 1 számok, hogy a (2) formulában a segitségükkel definiált ρ(π), 0 < π < 1, függvényre és ezekre a π′ és π′′ számokra teljesülnek a πw′ = ρ(π′) és (1 − π′′)w_{2} = ρ(π′′) egyenletek.

A 4.4′. tételt nem nehéz belátni a 4.5. és 4.6. lemmák segítségével. Legyenek adva valamilyen 0 < A < 1 < B < ∞ és 0 < π < 1 számok. Tudunk választani olyan π′ és π′′ számokat, 0 < π′ < π < π′′ < 1, amelyekre A = \frac{1−π}{π} \frac{π′}{1−π′} és B = \frac{1−π}{π} \frac{π′′}{1−π′′}. Válasszunk olyan c > 0, w_{1} > 0, w_{2} > 0, w_{1} + w_{2} = 1 számokat, amelyekre ezek a π′ és π′′ számok teljesítik a 4.6. lemmában megfogalmazott egyenleteket. Ezután alkalmazzuk a 4.5. lemmát ezekkel a 0 < π < 1, c > 0, w_{1} > 0 és w_{2} > 0 paraméterekkel. Az így kapott optimális dóntési eljárás teljesíti a 4.4′. tételt.

Végül teszek néhány megjegyzést a 4.5. lemma bizonyításáról. A lemma felhasználja a következő gondolatot. Ha eljutottunk egy állapotba valahányadik lépésben, akkor el kell dönteni, figyelembe véve az eddig összegyüjtött információkat, hogy mit érdemes csinálni. Érdemes-e azonnal leállni és definiálni az optimális T döntésfüggvényt, vagy előnyösebb-e egy új mintaelemet kérni, és azután annak figyelembe vételével keresni az optimális stratégiát a következő lépésben. Az optimális stratégia ezen két lehetőség közül a jobbik választása, és annak feltételes várható értéke e két stratégia feltételes várható értékének a minimuma. Meg kívánjuk fogalmazni ezt az állítást pontosabban is.

Ezen állítás pontos megfogalmazása lehetséges, de az új fogalmak bevezetését és azokkal kapcsolatos eredmények bizonyítását igényli. A nulladik lépésben ezt az elvet alkalmaztuk a (2) formulában bevezetett ρ(π) függvény segítségével. Ez a függvény várható értékek infimuma volt, és az infimumban több mint megszámlálható elem szerepelt. A későbbi lépésekben hasonló definiciót kellene bevezetni, de ott megszámlálhatónál több feltételes várható érték infimumát kellene venni. Ez problematikus. E problémát a lényeges szuprémum és lényeges infimum bevezetésével és egy velük kapcsolatos tétel bizonyításával lehet megoldani. Ebben a definicióban azt használjuk ki, hogy két valószínűségi változót, amelyek egy valószínűséggel megegyeznek azonosnak tekintünk, és akkor mondjuk, hogy egy valószínűségi változó nagyobb, mint egy másik, ha egy valószinűséggel nagyobb nála.

Lényeges szuprémum és lényeges infimum definiciója. Legyen adva ξ_{t}, t ∈ T, valószínűségi változók halmaza egy (Ω, A, P) valószínűségi mezőn, ahol T tetszőleges indexhalmaz. Akkor mondjuk, hogy az η valószínűségi változó a ξ_{t}, t ∈ T, valószínűségi változók lényeges szuprémuma, (lényeges infimuma), ha P (η ≥ ξ_{t}) = 1, (P (η ≤ ξ_{t}) = 1), minden t ∈ T indexre, és ha P (η′ ≥ ξ_{t}) = 1, (P (η′ ≤ ξ_{t}) = 1), minden t ∈ T indexre, valamely η′ valószínűségi változóra, akkor P (η′ ≥ η) = 1, (P (η′ ≤ η) = 1).

Tétel a lényeges szuprémum és lényeges infimum tulajdonságairól. Legyen adva ξ_{t}, t ∈ T, valószínűségi változók halmaza egy (Ω, A, P) valószínűségi mezőn, amelyek értékeiket a ±∞ pontokkal kibővített számegyenesen veszik fel. Létezik a ξ_{t}, t ∈ T, valószínűségi változóknak η lényeges szuprémuma, (lényeges infimuma), és ez az η lényeges szuprémum, (lényeges infimum), előállítható a következő módon. Létezik olyan T_{0} = {t_{1}, t_{2}, …} ⊂ T megszámlálható halmaz, amelyre η = sup_{t∈T_{0}} ξ_{t} (η = inf_{t∈T_{0}} ξ_{t}).

Megadom azt az eredményt az optimális megállási feladatok megoldásáról, amely segít a 4.5. lemma bizonyításában. Ebben infimum helyett szuprémumot keresünk, de −1-gyel való szorzással a feladat visszavezethető ilyen problémára.

A feladat a következő: Legyen adva egy (ξ_{n}, F_{n}), n = 0, 1, 2, …, rendszer egy (Ω, A, P) valószínűségi mezőn, ahol F_{0} ⊂ F_{1} ⊂ F_{2} ⊂ ⋯ ⊂ A növekvő σ-algebrák sorozata, ξ_{n} F_{n} mérhető valószínűségi változó, jelentése a nyeremény értéke az n-ik lépésben. Olyan τ megállási szabályt keresünk erre a növekvő σ-algebra rendszerre, amelyre az Eξ_{τ} nyeremény a lehető legnagyobb. Feltesszük, hogy E min(ξ_{n}, 0) > −∞ minden n = 0, 1, 2, … indexre. Olyan rekurziós azonosságot keresünk, amely kapcsolatot teremt azon optimális megállási szabályok nyereménye között, amelyekben csak az n-ik és azok között, amelyekben csak az n + 1-ik lépés után állhatunk meg.

Megadunk egy ilyen rekurziós formulát, amelyik nagyon hasznos a vizsgálatokban. Annak érdekében, hogy ezt megfogalmazzuk bevezetjük a következő jelöléseket.

C_{n} = {τ: τ megállási szabály, P (τ ≥ n) = 1, Eξ_{τ} < ∞}, n = 0, 1, 2, …,

γ_{n} = ess sup_{τ∈C_{n}}E(ξ_{τ}|F_{n}),

ahol ess sup lényeges szuprémumot jelöl, és

v_{n} = sup_{τ∈C_{n}} Eξ_{τ}.

A következő tétel érvényes.

Az optimális megállás rekurziós tulajdonságairól szóló tétel.

γ_{n} = max(ξ_{n}, E(γ_{n+1}|F_{n})), n = 0, 1, 2, …,
v_{n} = Eγ_{n}, n = 0, 1, 2, ….

A 4.5. lemmában ezt az eredményt a következő szereposztással alkalmazzuk. F_{0} = {∅, Ω}, F_{n} = σ(X_{1}, …, X_{n}), n = 1, 2, …, és

ξ_{0} = min(w_{1}π, w_{2}(1 − π)),

ξ_{n} = −cn − min_{A,B} (w_{1}(P_{ϑ_{0}}((X_{1}, …, X_{n}) ∈ A) + w_{2}(P_{ϑ_{1}}((X_{1}, …, X_{n}) ∈ B)) ,

n = 1, 2, …, ahol a minimum az olyan (A, B) halmazpárokra vétetik fel, amelyek az X_{n} = (X_{1}, …, X_{n}) véletlen vektor értékkészletének F_{n} mérhető particiói. Erre a (ξ_{n}, F_{n}), n = 0, 1, 2, … rendszerre keresünk maximális nyereményt biztosító τ ∈ C_{0} megállási szabályt.

A ξ_{n}, n = 1, 2, … valószínűségi változók definicióját egyszerűbb alakra lehet hozni. Be lehet látni, hogy

ξ_{n} = −cn − min[w_{1}π_{n}(X_{n}), w_{2}(1 − π_{n}(X_{n}))], n = 1, 2, ….

A továbbiakban X_{n} = X_{n}(π), X_{n} = X_{n}(π), γ_{n} = γ_{n}(π), v_{n} = v_{n}(π) jelölést fogunk használni akkor, ha azt a jegyzetben konstruált modellt tekintjük, amelyikben P (U = 0) = 1 − π, P (U = 1) = π. Tekinteni fogjuk ezt a modellt minden 0 < π < 1 paraméterre. Legyen továbbá F_{n} = σ(X_{n}(π)).

Ezzel a jelöléssel ρ(π) = −v_{1}(π) a (2) formulában definiált ρ(π) függvénnyel. Be lehet látni, felhasználva a π_{n}(X_{n}(π)), X_{n+1}(π), X_{n+2}(π), …) vektornak a σ(X_{n}) σ-algebra szerinti feltételes eloszlásáról megfogalmazott állítást, hogy

E(γ_{n+1}(X_{n+1}(π))|F_{n}) = −ρ(π_{n}(X_{n}(π)) − c(n − 1).  (4)

Speciálisan, E(γ_{n+1}(X_{n+1}(π))|F_{n}) a π_{n}(X_{n}(π)) valószínűségi változó függvénye.

Legyen π′ és π′′ a πw′ = ρ(π′) és (1 − π′′)w_{2} = ρ(π′′) egyenlet megoldása. Foglalkozzunk egyelőre csak azzal az esettel, amikor ezen egyenleteknek van megoldása. Vezessük be a következő τ_{0} megállási szabályt.

τ_{0}(ω) = min(n: n ≥ 0, π_{n}(π)(ω) ≤ π′ vagy π_{n}(π)(ω) ≥ π′′).

Tudjuk, hogy τ_{0} ∈ C_{0}. Be akarjuk látni, hogy τ_{0} az optimális megállási szabály, azaz v_{0} = Eτ_{0}.

Vezessük be a D_{n} = {ω: τ_{0}(ω) = n} és F_{n} = {ω: τ_{0}(ω) ≥ n}, halmazokat, 0 ≤ n < ∞. Azt állítom, hogy

γ_{m}(ω)I_{F_{m}}(ω) = E(ξ_{τ_{0}}(ω)(π)I_{F_{m}}(ω)|F_{m})(ω), 0 ≤ m < ∞.

Ezen azonosság bizonyításában felhasználjuk a (4) formulát, az optimális megállás rekurziós tulajdonságairól szóló tételt és a ρ(·) függvény (2) definicióját, illetve annak tulajdonságait. Ezek segítségével be lehet látni, hogy γ_{n}(ω) = ξ_{n}(ω) a D_{n} halmazon, és γ_{n}(ω) = E(γ_{n+1}|F_{n})(ω) az F_{n+1} halmazon. (Az F_{n+1} halmaz F_{n} mérhető.) Továbbá

γ_{m}(ω)I_{D_{n}}(ω) = E(ξ_{n}|F_{m})(ω)I_{D_{n}}(ω), ha n ≥ m.

Ezeket az egyenleteket összeadva n = m, m + 1, …-re kapjuk, hogy

γ_{m}(ω)I_{F_{m}}(ω) = E(ξ_{τ_{0}}(ω)|F_{m})(ω)I_{F_{m}}(ω) = E(ξ_{τ_{0}}(ω)I_{F_{m}}(ω)|F_{m})(ω),

ahogy állítottam. A kapott azonosságot alkalmazva m = 0-ra, és várható értéket véve kapjuk a 4.5 lemma állítását abban az esetben, ha a πw′ = ρ(π′) és (1 − π′′)w_{2} = ρ(π′′) egyenleteknek van megoldása. Ugyanis azt kapjuk, hogy v_{0} = Eγ_{0} = Eξ_{τ_{0}}. (Megjegyzem,hogy F_{0} = Ω.)

Az optimális T döntési függvény választása, (amelynek választásával a nyereményfüggvényünk ξ_{n}, n = 0, 1, 2, …) viszonylag egyszerű. T (ω) = T_{n}(ω) = 0, ha τ_{0}(ω) = n, és π_{n}(ω) ≤ π′. Másrészt T (ω) = T_{n}(ω) = 1, ha τ_{0}(ω) = n, és π_{n}(ω) ≥ π′′.

Ha a fenti egyenletnek nincs megoldása akkor N ≡ 0 az optimális megállási szabály, és szintén a 4.5 lemmában megfogalmazott stratégiát kell alkalmazni. Ennek az esetnek a vizsgálata egyszerűbb, (és valójában erre az eredményre nincs szükségünk).