Elégséges becslések a statisztikában.

A statisztikában fontos szerepet játszó becsléselmélettel foglalkozunk. Az első minket érdeklő kérdés az, hogy a rendelkezésre álló mintából, aminek a segítségével egy eloszláscsalád ismeretlen paraméterét akarjuk becsülni, hogyan válasszuk ki a számunkra lényeges információt, és hagyjuk el a lényegtelent. Ez a probléma vezet el minket az elégséges statisztika fogalmához. Annak érdekében, hogy ezt a problémát jobban megértsük tekintsük a következő példát.

Egy lámpa élettartamát akarjuk megbecsülni. (Ez az élettartam a becsülendő ismeretlen paraméter). Ennek érdekében veszünk n számú lámpát, és megmérjük ezek X_{1}, …, X_{n} élettartamát. Ezenkívül megszámoljuk menynyi ezen lámpák összélettartama, és ahány órát égtek együtt ezek a lámpák összesen, annyiszor feldobunk egy dobókockát, és megszámoljuk a hatos dobások Y számát. Adjuk meg a Z = (X_{1}, …, X_{n}, Y) vektor értékét a becslést végző személynek. Világos, hogy ebben az adathalmazban a Z vektor utolsó koordinátája az Y szám fölösleges, tehát a Z vektor első n koordinátája, a Z′ = (X_{1}, …, X_{n}) vektor ugyanannyi értékes információt ad, mint a Z vektor, tehát ez elégséges statisztika.

Meg kívánjuk adni az elégséges statisztika jó definicióját olyan esetekben is, amelyekben bizonyos adatok fölöslegessége nem olyan nyílvánvaló, mint a fenti példában. Ezenkívül szeretnénk egy jó tételt bizonyítani, amely segít az elégséges statisztikák megtalálásában. Másik célunk egy olyan eredmény bizonyítása, amely megmutatja, hogy elégséges statisztikák segítségével ugyanolyan jó becslést tudunk adni, mint a teljes, tehát az elégséges statisztika információin kívül az elégséges statisztika használata során elhagyott információkat is felhasználó módszerek segítségével.

A fenti példában a Z = (X_{1}, …, X_{n}, Y) véletlen vektor feltételes eloszlása a Z′ = (X_{1}, …, X_{n}) = (x_{1}, …, x_{n}) feltétel mellett nem függ a becsülendő paramétertől, (azaz a lámpa élettartamától), mert e feltétel mellett X_{1} = x_{1},…, X_{n} = x_{n}, és a Z vektor utolsó koordinátjának, az Y valószínűségi változónak az értéke nem függ a keresett paraméter értékétől, mert az, hogy hányszor dobtuk fel a kockát, az az x_{1}, …, x_{n} számok értékétől függ.

A most tárgyalt példa sugallja az elégséges statisztika definicióját. Olyan esettel fogunk foglalkozni, ahol a megfigyelt X valószínűségi változó értékét az R^{n} n-dimenziós Euklideszi térben veszi fel, (például független 1-dimenziós valószínűségi változók n elemű sorozatát figyeljük meg), de tekinthetnénk általánosabb esetet is. Például a valószínűségi változó értéke lehet a [0, 1] intervallumban folytonos függvények terének egy eleme. Függjön ennek eloszlása egy ismeretlen ϑ paramétertől. Ezenkívül definiálunk egy T (x) függvényt az R^{n} téren, és azt mondjuk, hogy T (X) elégséges statisztika, ha az X valószínűségi változó feltételes eloszlása, feltéve a T (X) valószínűségi változó értékét a ϑ paraméterrel indexelt P_{ϑ} mérték szerint nem függ ettől a ϑ paramétertől. Az egyszerűség kedvéért fel fogjuk tenni, hogy a T (X) statisztika egy m-dimenziós Euklideszi térben veszi fel az értékét valamilyen m paraméterrel, azaz T: R^{n} → R^{m}. Az előzőleg tekintett példában Z volt az X valószínűségi változó a T (X) elégséges statisztikát pedig úgy kaptuk, hogy a Z vektornak elhagytuk az utolsó koordinátáját. Az elégséges statisztika pontos definiciója a következő.

Elégséges statisztika definiciója. Legyen adva egy (Ω, A) mérhető tér és egy X valószínűségi változó ezen a mérhető téren, amely értékeit az R^{n} Euklideszi térben veszi fel. Tegyük fel, hogy az X valószínűségi változó eloszlása P_{ϑ}, ahol ϑ ∈ Θ egy Θ paraméter halmazzal. (Maga a ϑ paraméter ismeretlen, és ezt akarjuk megbecsülni az X valószínűségi változó értékének a segítségével.)

Legyen T (x) mérhető függvény az R^{n} téren, amely értékeit egy R^{m} Euklideszi térben veszi fel valamilyen m paraméterrel. Azt mondjuk, hogy T (X) elégséges statisztika (az Xmegfigyelésre vonatkozólag), ha abban az esetben, amikor az X valószínűségi változó eloszlása P_{ϑ} valamely ϑ ∈ Θ paraméterrel, a T (X) valószínűségi változó feltételes eloszlása feltéve az X valószínűségi változó értékét nem függ ettől a ϑ paramétertől, azaz minden x ∈ R^{n} pontra és A ⊂ R^{n} Borel mérhető halmazra

P_{ϑ}(y: y ∈ A|σ(T (x))) = h_{A}(T (x)) minden ϑ ∈ Θ paraméterre (1)

valamely Borel mérhető h_{A}(·) függvénnyel az R^{m} téren. Az (1) azonosság bal oldalán az {y: y ∈ A} halmaz indikátor függvényének vettük a feltételes várható értékét az (R^{n}, B^{n}, P_{ϑ}) valószínűségi mezőn a T (x) valószínűségi változó által generált σ(T (x)) σ-algebra szerint. Ez a feltételes várható érték a T (x) valószínűségi változó függvénye. Az (1) formula állításának lényeges része az, hogy a benne szereplő h_{A}(·) fügvény nem függ a ϑ paramétertől.

1. megjegyzés: Érdemes néhany szót szólni arról, hogy milyen valószínűségi mezőben és milyen valószínűségi változókkal fogunk dolgozni vizsgálataink során. A matematikai statisztika klasszikus problémáiban független, egyforma eloszlású (X_{1}, …, X_{n}) valószínűségi változók sorozatával dolgozunk valamilyen ismeretlen P_{ϑ}, ϑ ∈ Θ, eloszlással. Kényelmesebb lesz ezt a sorozatot egyetlen X = (X_{1}, …, X_{n}) vektor értékű valószínűségi változónak tekinteni, tehát az így definiált X véletlen vektornak az eloszlásával dolgozni a szorzattéren, és azt jelölni P_{θ}-val. Ilyen módon nem csak független, hanem függő valószínűségi változók sorozatát is tudjuk vizsgálni a modellünkben.

A másik fontos kérdés az, hogy hogyan definiáljuk azt a valószínűségi mezőt, amelyben dolgozunk. A mi X valószínűségi változónk egy (Ω, A, P) valószínűségi mezőben van definiálva, de mi nem ezt a rendszert figyeljük meg, Mi azt tudjuk, hogy az X valószínűségi változó eloszlása P_{ϑ} egy ismeretlen ϑ ∈ Θ paraméterrel. Ezért érdemes egy olyan valószínűségi mezőt tekinteni, ahol a P_{ϑ} eloszlásokkal dolgozunk.

Ennek érdekében tekintsük az (R^{n}, B^{n}, P_{ϑ}), ϑ ∈ Θ, valószínűségi mezőt, azaz az R^{n} Euklideszi teret a B^{n} Borel σ-algebrával, ha az X valószínűségi változó az R^{n} téren veszi fel az értékeit, és P_{ϑ} az X valószínűségi változó eloszlása, azaz P_{ϑ}(B) = P (X ∈ B) minden B ∈ B^{n} halmazra. Ezenkívül tekintsük a ξ(x) = x, x ∈ R^{n}, valószínűségi változót az (R^{n}, B^{n}, P_{ϑ}) téren. Ekkor ξ(x) eloszlása P_{ϑ}.

Alkalmas T (X) elégséges statisztikát keresünk. De ezt úgy definiáljuk, hogy megadunk egy az (R^{n}, B^{n}) téren definiált mérhető T (x) függvényt, és ebbe behelyettesítjük az X valószínűségi változót. Az egyszerűség kedvéért feltesszük, hogy a keresett T (x) függvény egy T: R^{n} → R^{m} Borel mérhető függvény az R^{n} Euklideszi térből az R^{m} Euklideszi térbe valamely m > 0 paraméterrel. Hasonlóan egy az X valószínűségi változó segítségével definiált S(X) paraméterbecslést úgy adunk meg, hogy definiáljuk azt az S(x) függvényt az R^{n} téren, amelyikbe az X valószínűségi változót behelyettesítjük. Jegyezzük meg, hogy ha az X valószínűségi változó P_{ϑ} eloszlású, akkor az S(X) és az (R^{n}, B^{n}, P_{ϑ}) valószínűségi mezőn definiált S(x) valószínűségi változó eloszlása megegyezik.

2. megjegyzés: Használni fogjuk a következő mértékelméleti eredményt is. Legyen adva egy T (x): R^{n} → R^{m} Borel mérhető függvény, és definiáljuk a σ(T (x)) σ-algebrát az (R^{n}, B^{n}) mérhető téren úgy, mint azt a legszűkebb σ-algebrát, amelyre a T (x) függvény mérhető. A mértékelmélet egy fontos eredménye szerint egy az (R^{n}, B^{n}) mérhető téren definiált η függvény akkor és csak akkor mérhető a σ(T (x)) σ-algebra szerint, ha felírható η(x) = h(T (x)) alakban egy az R^{m} Euklideszi téren Borel mérhető h(x) függvény segítségével.

3. megjegyzés: Felidézem azokat a Radon–Nikodym deriváltakról szóló eredményeket is, amelyeket e jegyzetben használni fogunk.

Legyen adva egy μ és egy ránézve abszolút folytonos ν mérték egy (Ω, A) mérhető téren, és jelölje \frac{dν}{dμ} a ν mérték Radon–Nikodym deriváltját a μ mérték szerint. Ekkor a következő képlet segítségével tudunk áttérni egy a ν mérték szerinti integrálról egy μ mérték szerinti integrálra.

∫_{Ω} f(ω) dν(ω) = ∫_{Ω} f(ω)\frac{dν}{dμ}(ω) dμ(ω).

Ezzel az eredménnyel szoros kapcsolatban van a következő azonossság. Ha adva van egy μ egy ν és egy P mérték úgy, hogy ν abszolút folytonos a μ, és P abszolút folytonos a ν mértékre, akkor igaz a következő azonosság:

\frac{dP}{dμ} (ω) = \frac{dP}{dν} (ω)\frac{dν}{dμ}(ω).

Ez az azonosság úgy értendő, hogy a két oldal egyenlő majdnem minden ω ∈ Ω pontban a μ mérték szerint. Ezeket az eredményeket egy általános (Ω, A) mérhető térben fogalmaztuk meg, de csak az (R^{n}, B^{n}) térben fogjuk használni.

A következő eredményben az elégséges statisztika olyan jellemzését kívánjuk adni, amely segít az elégséges statisztikák megtalálásában. Olyan esetet vizsgálunk, amelyben a tekintett P_{ϑ} eloszlások abszolút folytonosak egy σ-véges μ mértékre az R^{n} Euklideszi térben, tehát létezik a \frac{dP_{ϑ}}{dμ} Radon– Nikodym derivált minden ϑ ∈ Θ paraméterre. Az alábbi Neyman–Fisher faktorizációs tétel megadja a \frac{dP_{ϑ}}{dμ} Radon–Nikodym deriváltak tulajdonságainak a segítségével annak szükséges és elégséges feltételét, hogy egy T (X) statisztika elégséges legyen az X statisztikára nézve.

Neyman–Fisher faktorizációs tétel elégséges statisztikák jellemzéséről. Legyen adva egy X valószínűségi változó egy (Ω, A) mérhető téren, amely értékeit az R^{n} Euklideszi veszi fel. Legyen az X valószínűségi változó eloszlása valamely P_{ϑ} valószínűségi mérték az R^{n} Euklideszi tér Borel mérhető részhalmazain, ahol ϑ ∈ Θ egy Θ paraméter halmazzal. Tegyük fel, hogy létezik egy olyan μ σ-véges mérték az R^{n} tér Borel mérhető részhalmazain, amelyikre mindegyik P_{ϑ}, ϑ ∈ Θ, mérték abszolút folytonos erre a μ mértékre az (R^{n}, B^{n}) téren. Legyen T (x) R^{m} értékű mérhető függvény az R^{n} téren.

A T (X) statisztika akkor és csak akkor elégséges az X statisztikára nézve, ha mindegyik ϑ ∈ Θ paraméterre a \frac{dP_{ϑ}}{dμ} Radon–Nikodym derivált az (R^{n}, B^{n}) Euklideszi téren felírható

\frac{dP_{ϑ}}{dμ} (x) = f_{ϑ}(T (x))g(x)  (2)

alakban, ahol f_{ϑ}(·) mérhető függvény az R^{m} téren, g(x) pedig olyan mérhető függvény az R^{n} téren, amelyik nem függ a ϑ paramétertől.

A Neyman–Fisher faktorizációs tétel bizonyításában fel fogjuk használni az alábbi lemma eredményét.

Lemma. Legyen adva P_{ϑ}, ϑ ∈ Θ, valószínűségi mértékek olyan családja az (R^{n}, B^{n}) Euklideszi téren, amelynek mindegyik eleme abszolút folytonos egy az (R^{n}, B^{n}) téren definiált μ σ-véges mértékre. Ekkor létezik megszámlálhatóan sok ϑ_{1}, ϑ_{2}, …, ϑ_{j} ∈ Θ, j = 1, 2, …, paraméter, és c_{j} > 0, j = 1, 2, … valós számok sorozata úgy, hogy ∑_{j=1}^{∞} c_{j} = 1, és Q = ∑_{j=1}^{∞} c_{j}P_{ϑ_{j}} olyan valószínűségi mérték az (R^{n}, B^{n}) téren, amelyre teljesül, hogy P_{ϑ} abszolút folytonos a Q mértékre minden ϑ ∈ Θ index esetében.

Megjegyzés. A c_{j}, c_{j} > 0, ∑_{j=1}^{∞} c_{j} = 1 paramétereket tetszőleges módon választhatjuk a fenti lemmában.

A lemma bizonyítása. Feltehetjük, hogy a lemmában szereplő μ mérték véges és nem csak σ-véges. Valóban, ha μ felírható μ = ∑_{j=1}^{∞} μ_{j} alakban, ahol μ_{j}, j = 1, 2, …, véges mérték, akkor a μ mértéket helyettesíthetjük tetszőleges μ′ = ∑_{j=1}^{∞} c_{j}μ_{j} alakú mértékkel is a lemmában, ahol c_{j} > 0, és a c_{j} konstansok alkalmas választásával elérhetjük, hogy az új μ′ mérték véges legyen.

Vezessük be a valószínűségi mértékek P családját, ahol P ∈ P , ha léteznek olyan P_{ϑ_{j}} mértékek, ϑ_{j} ∈ Θ, és c_{j} > 0, j = 1, 2, …, konstansok, amelyekre ∑_{j=1}^{∞} c_{j} = 1, és P = ∑_{j=1}^{∞} c_{j}P_{ϑ_{j}}. Világos, hogy mindegyik P ∈ P mérték abszolút folytonos a μ mértékre.

Elég belátni, hogy van olyan Q ∈ P mérték, amelyre igaz, hogy mindegyik P ∈ P mérték abszolút folytonos erre a Q mértékre. Egy ilyen mérték megtalálása érdekében definiáljuk a B(Q) = \{x: \frac{dQ}{dμ}(x) > 0\} halmazt minden Q ∈ P mértékre, és legyen A = sup_{B(Q): Q∈P} μ(B(Q)). Azt állítom, hogy létezik

olyan Q ∈ P mérték, amelyre μ(B(Q)) = A. Valóban, vegyük olyan B(Q_{n}), Q_{n} ∈ P, n = 1, 2, …, halmazok sorozatát, amelyekre μ(B(Q_{n})) → A. Ekkor

a Q = ∑_{n=1}^{∞} 2^{−n}P_{n} mértékre Q ∈ P, B(Q) ⊃ ⋃_{n=1}^{∞} B(Q_{n}), ezért μ(B(Q)) ≥

lim sup_{n→∞} μ(B(Q_{n})) ≥ A, illetve az A szám definiciója miatt μ(B(Q)) = A.

Azt állítom, hogy minden P ∈ P mérték abszolút folytonos az előbb konstruált Q mértékre. Valóban, tekintsünk egy P ∈ P mértéket. Ha ez nem lenne abszolút folytonos a Q mértékre, akkor létezne olyan D ∈ B halmaz, amelyre P (D) > 0, és Q(D) = 0, ezért D ∩ B(Q) = ∅. Továbbá P (D′) > 0 a D′ = D ∩ \{x: \frac{dP}{dμ} (x) > 0\} halmazra, ezért μ(D′) > 0. Innen egyrészt μ(B(Q) ∪ D′) = μ(B(Q)) + μ(D′) > μ(B(Q)) = A, másrészt a Q^{∗} = \frac{1}{2}(Q + P) mértékre Q^{∗} ∈ P, és B(Q) ∪ D′ ⊂ B(Q^{∗}). Ez azt jelenti, hogy μ(B(Q^{∗})) ≥ μ(B(Q)∪D′) > A, és ez ellentmondás. A lemmát beláttuk.

A Neyman–Fisher faktorizációs tétel bizonyítása. Először azt látjuk be, hogy ha a T (X) statisztika elégséges, azaz teljesíti a (1) relációt, és μ egy a P_{ϑ}, ϑ ∈ Θ, valószínűségi mértékeket domináló mérték, akkor teljesül a (2) reláció is ezzel a μ mértékkel. Első lépésben a \frac{dP_{ϑ}}{dμ} Radon–Nikodym deriváltak helyett a \frac{dP_{ϑ}}{dQ} Radon–Nikodym deriváltakat számoljuk ki, ahol Q a lemmában szereplő tulajdonságokat teljesítő mérték.

Megmutatjuk, hogy az (1) tulajdonság nem csak a P_{ϑ}, ϑ ∈ Θ, hanem minden P ∈ P mértékre, tehát speciálisan a Q mértékre is érvényes. Ennek érdekében tekintsünk egy A ∈ B(R^{n}) és B ∈ B(R^{m}) halmazt, egy P = ∑_{j=1}^{∞} c_{j}P_{ϑ_{j}} ∈ P valószínűségi mértéket, és végezzük el a következő számolást, amelyikben felhasználjuk az (1) formulát, és benne a h(T (x)) függvény jelentését.

P ({x: x ∈ A} ∩ {x: T (x) ∈ B})

= ∑_{j=1}^{∞} c_{j}P_{ϑ_{j}}({x: x ∈ A} ∩ {x: T (x) ∈ B})

= ∑_{j=1}^{∞} c_{j} ∫_{{x: T (x)∈B}} h_{A}(T (x)) dP_{ϑ_{j}}

= ∫_{{x: T (x)∈B}} ∑_{j=1}^{∞} c_{j}h_{A}(T (x)) dP_{ϑ_{j}}

= ∫_{{x: T (x)∈B}} h_{A}(T (x)) dP,

ahonnan

P (x ∈ A|σ(T (x))) = h_{A}(T (x)) minden P ∈ P mértékre.

Speciálisan

P_{ϑ}(x ∈ A|σ(T (X))) = Q(x ∈ A|σ(T (x))) minden ϑ ∈ Θ paraméterre.

Ennek az utolsó relációnak a segítségével fogjuk bizonyítani a (2) relációt. Ennek érdekében először a \frac{dP_{ϑ}}{dQ}, ϑ ∈ Θ, Radon–Nikodym deriváltat fogjuk kiszámolni.

Jelölje f_{ϑ}(T (x)) a \frac{dP_{ϑ}}{dQ} Radon–Nikodym deriváltat az (R^{n}, σ(T (x))) téren, azaz, amikor azt a σ(T (x)) σ-algebrát tekintjük az R^{n} téren, ami a legszűkebb olyan σ-algebra az R^{n} téren, amelyikre a T (x) függvény mérhető. Ez a Radon–Nikodym derivált a T (x) függvény függvénye, mert σ(T (x)) mérhető.

Ekkor tetszőleges A ∈ B(R^{n}) halmazra, felírhatjuk hogy

P_{ϑ}(x: x ∈ A) = ∫ P_{ϑ}(x ∈ A|σ(T (x)))dP_{ϑ}
= ∫ Q(x: x ∈ A|σ(T (x))f_{ϑ}(T (x))dQ
= ∫ E_{Q}(I_{{(x: x∈A}}f_{ϑ}(T (x))|σ(T (X))dQ
= ∫ I_{{x: x∈A}}f_{ϑ}(T (x))dQ = ∫_{{x: x∈A}} f_{ϑ}(T (x))dQ,

ahol I_{A} az A halmaz indikátor függvényét jelöli.

Innen

\frac{dP_{ϑ}}{dQ} (x) = f_{ϑ}(T (x)),

és

\frac{dP_{ϑ}}{dμ} (x) = \frac{dP_{ϑ}}{dQ} (x)\frac{dQ}{dμ}(x) = f_{ϑ}(T (x))g(x),

ahol g(x)) a \frac{dQ}{dμ} Radon–Nikodym derivált az (R^{n}, B^{n}) téren. A (2) formulát beláttuk.

Lássuk be, hogy a (2) formulából következik a (1) formula. Ennek érdekében először kiszámoljuk a \frac{dP_{ϑ}}{dQ} Radon–Nikodym deriváltat, ha a \frac{dP_{ϑ}}{dμ} Radon–Nikodym derivált teljesíti a (2) relációt.

Azt állítom, hogy

\frac{dP_{ϑ}}{dQ} (x) = u_{ϑ}(T (x)) a B^{n} σ-algebrán  (3)

az

u_{ϑ}(T (x)) = \frac{f_{ϑ}(T (x))}{∑_{j=1}^{∞} c_{j}f_{ϑ_{j}}(T (x))}

függvénnyel. Az u_{ϑ}(T (x)) függvény explicit alakjának az ismeretére nem lesz szükségünk, elég azt tudni, hogy ez T (x) függvénye. Azért hasznosabb a (3), mint a (2) formula, mert ebben nem szerepel a második, nem a T (x) függvénytől függő g(x) faktor, (amelyik viszont nem függ a ϑ paramétertől).

A (3) bizonyításában felhasználjuk a \frac{dP_{ϑ}}{dμ} = \frac{dP_{ϑ}}{dQ} \frac{dQ}{dμ} azonosságot, ahonnan azt kapjuk, hogy

f_{ϑ}(T (x))g(x) = \frac{dP_{ϑ}}{dQ} (x) (∑_{j=1}^{∞} c_{j}f_{ϑ_{j}}(T (x)))g(x)) .

Innen osztással kifejezve a \frac{dP_{ϑ}}{dQ} Radon-Nikodym deriváltat megkapjuk a (3) formulát a megadott u_{ϑ}(T (x)) függvénnyel. Valójában az említett számolás jogossága némi indoklásra szorul. Mi van akkor, ha a felhasznált azonosság mind a két oldala nullával egyenlő? Csak röviden indokolom meg a számolás jogosságát. A bizonyítandó azonosság igaz, ha 2^{n} < f_{ϑ}(T (x))g(x) ≤ 2^{n+1}, és 2^{m} < ∑_{j=1}^{∞} c_{j}f_{ϑ_{j}}(T (x))g(x) ≤ 2^{m−1} valamilyen n, m = 0, ±1, ±2, … számokkal. Innen következik, hogy a (3) formula igaz majdnem minden x pontban a Q mérték szerint, mert csak null mértékű halmazt nem vettünk figyelembe a számolásban.

Belátom, hogy a (3) formula teljesülése esetén érvenyes az (1) formula a h_{A}(T (x)) = E_{Q}(I_{{x: x∈A}}|σ(T (x))) választással minden A ∈ R^{n} Borel mérhető halmazra. Ez az alábbi számolásból következik.

Tetszőleges A ∈ R^{n} és B ∈ R^{m} Borel mérhető halmazokra

∫_{{x: T (x))∈B}} I_{{x: x∈A}}dP_{ϑ} = ∫_{{x: T (x)∈B}} I_{{x: x∈A}}u_{ϑ}(T (x))dQ
= ∫_{{x: T (x)∈B}} E_{Q}(I_{{x: x∈A}}u_{ϑ}(T (x))|σ(T (x)))dQ
= ∫_{{ω: T (x)∈B}} h_{A}(T (x)))u_{ϑ}(T (x))dQ
= ∫_{{x: T (x)∈B}} h_{A}((T (x))dP_{ϑ},

és h_{A}(T (x)) σ(T (x)) mérhető függvény. Ezért

P_{ϑ}(x ∈ A)|σ(T (x)) = h_{A}(T (x))).

Ezzel a tétel mindkét irányú állítását beláttuk.

E jegyzet befejező részében azt mutatjuk meg, hogy ha adva van egy úgynevezett torzítatlan paraméter becslés, akkor tudunk konstruálni olyan elégséges statisztikán alapuló torzítatlan becslést, amelyik jobb ennél a becslésnél, mert tetszőleges paraméter esetén kisebb a szórása. A tétel megfogalmazása előtt felidézem a torzítatlan becslés definicióját.

Torzítatlan becslés definiciója. Legyen adva egy (Ω, A) mérhető tér és azon egy X valószínűségi változó, amely értékeit az R^{n} Euklideszi téren veszi fel. Legyen az X valószínűségi változó eloszlása P_{ϑ}, ahol ϑ ∈ Θ egy Θ paraméter halmazzal. Annak a ϑ paraméternek az értéke, amelyik meghatározza az X valószínűségi változó eloszlását ismeretlen.

Legyen adva valamely ψ(ϑ), ϑ ∈ Θ, függvény amelyet meg akarunk becsülni. Az X valószínűségi változó egy S(X) függvényét, ahol S(x) mérhető függvény az (R^{n}, B^{n}) téren becslésnek nevezünk. Azt mondjuk, hogy S(X) torzítatlan becslése a ψ(ϑ) függvénynek, ha ES(X) = E_{ϑ}S(x) = ψ(ϑ) minden ϑ ∈ Θ paraméterre abban az esetben, ha az X valószínűségi változó eloszlása P_{ϑ}, ahol E_{ϑ} várható értéket jelent a P_{ϑ} mérték szerint.

A következő Rao–Blackwell–Kolmogorov tétel arról szól, hogy hogyan lehet egy torzítatlan paraméter becslést helyettesíteni egy jobb, elégséges statisztikán alapuló torzítatlan becsléssel.

Rao–Blackwell–Kolmogorov tétel. Legyen adva egy (Ω, A) mérhető tér, azon egy X R^{n} térbeli értéket felvevő valószínűségi változó, amelynek eloszlása a P_{ϑ}, ϑ ∈ Θ, eloszlások családjába tartozik valamely ismeretlen ϑ ∈ Θ paraméterrel. Legyen adva a ϑ paraméter valamely ψ(ϑ) függvényének egy torzítatlan S(X) becslése az X valószínűségi változó segítségével. Ezenkívül tegyük fel, hogy létezik egy olyan μ σ-véges mérték az R^{n} téren, amelyre mindegyik P_{ϑ}, ϑ ∈ Θ, mérték abszolút folytonos, és egy olyan T (x) mérhető függvény az R^{n} térből valamely R^{m} térbe, amelyre a μ mértékkel együtt teljesül a (2) formula valamely f_{ϑ}(T (x)) és g(x) függvényekkel.

Ekkor T (X) elégséges statisztika a Neyman–Fisher faktorizációs tétel szerint. Ezenkívül az E_{ϑ}(S(x)|σ(T (x))) feltételes várható érték a P_{ϑ} mérték szerint teljesíti az U(T (x)) = E_{ϑ}(S(x)|σ(T (x))) azonosságot egy olyan az R^{m} téren definiált mérhető U(x) függvénnyel, amelyik nem függ a ϑ paramétertől. U(T (X)) torzítatlan becslése a ψ(ϑ) függvénynek, amelyre Var U(T (X)) ≤ Var S(X) minden ϑ ∈ Θ paraméterre, ha X P_{ϑ} eloszlású ϑ ∈ Θ paraméterrel.

A Rao–Blackwell–Kolmogorov tétel bizonyítása. Először azt kell megmutatni, hogy az E_{ϑ}(S(x)|σ(T (x)) feltételes várható érték nem függ a P_{ϑ} mértéktől. A bizonyítás alapgondolata az, hogy a feltéteteles eloszlások nem függnek a ϑ paramétertől, és a vizsgált feltételes várható értéket ki lehet számolni a feltételes eloszlások szerinti integrál segítségével, tehát egy olyan integrál formájában, amely nem függ a ϑ paramétertől.

Ahhoz, hogy ezt a bizonyítást végrehajtsuk szükségünk van a valószínűségszámítás egy nem triviális eredményére a feltételes eloszlások létezéséről, amelyek szerinti klasszikus Lebesgue integrál lehetővé teszi a feltételes várható értékek kiszámolását. Valójában ennél kicsit többre van szükségünk. Úgy kell megadni a feltételes eloszlásokat mindegyik P_{ϑ} mérték szerint, hogy ez az eloszlás ne függjön a ϑ paramétertől. (A feltételes eloszlások konstrukciója során megjelenő különböző ϑ paraméterekhez tartozó null-mértékű kivételes, rossz halmazoknak együttesen is kicsiknek kell lenniük.) Ez a tulajdonság azonban a Neyman–Fisher tétel bizonyításában kapott részeredmények segítségével biztosítható.

Felidézem a feltételes eloszlások létezéséről szóló eredményt.

Legyen adva egy (Ω, A, P) valószínűségi mező, azon egy F ⊂ A σ-algebra és egy ξ valószínűségi változó amely értékeit az R^{n} Euklideszi térben veszi fel. Ekkor létezik egy olyan F (B, ω) függvény, ahol az első B koordináta az R^{n} Euklideszi tér Borel-mérhető részhalmaza, a második ω koordináta az Ω halmaz pontja, úgy hogy a következő tulajdonságok teljesülnek.

a) F (·, ω) valószínűségi mérték minden rögzített ω ∈ Ω pontra az R^{n} tér Borel mérhető részhalmazain.

b) F (B, ·) F mérhető függvény az Ω halmazon, az R^{n} Euklideszi tér minden B rögzített Borel mérhető részhalmazára.

c) P (ξ ∈ B|F)(ω) = F (B, ω) az R^{n} tér minden B Borel mérhető részhalmazára.

A Neyman–Fisher féle faktorizációs tételben beláttuk, hogy a tétel feltételeinek teljesülése esetén létezik olyan Q valószínűségi mérték az R^{n} tér Borel mérhető részhalmazain, amelyre Q(x ∈ B|σ(T (x))) = P_{ϑ}(x ∈ B|σ(T (x))) minden B Borel mérhető halmazra az R^{n} Euklideszi térben. Alkalmazhatjuk a feltételes eloszlásokról szóló tétel eredményét az (R^{n}, B^{n}, Q) valószínűségi mezőn a ξ(x) = x valószínűségi változóra és F = σ(T (x)) σ-algebrára. A fenti eredmény alapján a fenti választásal kapott Q(B, x) feltételes eloszlás választható a P_{ϑ}(B, x) feltételes eloszlásnak minden ϑ ∈ Θ paraméterre.

Innen, és abból a viszonylag egyszerű eredményből, amely lehetővé teszi a feltételes várható érték kiszámolását a feltételes eloszlás segítségével következik, hogy a

V (x) = E_{ϑ}(S(x)|σ(T (x)) = ∫ S(y)Q( dy, x)

függvény nem függ a ϑ paramétertől, és V (x) felírható V (x) = U(T (x)) alakban, mert σ(T (x)) mérhető függvény.

A tétel befejező részének a bizonyítása egyszerű.

EU(T (X)) = E_{ϑ}U(T (x)) = E_{ϑ}(E_{ϑ}(S(x)|σ(T (x)))
= E_{ϑ}S(x) = ES(X) = ψ(ϑ)

ha az X valószínűségi változó eloszlása P_{ϑ}, tehát U(X) az S(x) valószínűségi változóhoz hasonlóan a ψ(ϑ) függvény torzítatlan becslése.

Hasonlóan, felhasználva a feltételes várható érték tulajdonságait kapjuk, hogy

EU^{2}(T (X)) = E_{ϑ}U^{2}(T (x)) = E_{ϑ} ([E_{ϑ}(S(x)|σ(T (x))]^{2})
≤ E_{ϑ}S^{2}(x) = ES^{2}(X),

ha az X valószínűségi változó eloszlása P_{ϑ}.

Ezért az U(T (X)) és S(X) becslések torzítatlanságát felhasználva kapjuk a

Var U((T(X)) = EU^{2}(T (X)) − ψ(ϑ)^{2} ≤ ES^{2}(X) − ψ(ϑ)^{2} = Var S(X)

egyenlőtlenséget, ha az X valószínűségi változó eloszlása P_{ϑ}.

Kiegészítés.

Röviden ismertetek néhány további hasznos fogalmat és eredményt a becslésekkel kapcsolatban. A bizonyításokat elhagyom.

Az elégséges statisztikák nem egyértelműen meghatározottak. Például az eredeti megfigyelt véletlen vektor mindig elégséges statisztika, de érdekes esetekben van más, kevesebb információt tartalmazó elégséges statisztika is. Az a kérdés, hogy van-e legjobb elégséges statisztika. A válasz nagyon általános esetekben igenlő, de az eredmény megfogalmazása érdekében először be kell vezetni a megfelelő fogalmat. Ezért definiáljuk a minimális elégséges statisztikákat.

Minimális elégséges statisztika definiciója. Legyen adva egy (Ω, A) mérhető tér és azon egy X valószínűségi változó, amely értékeit az R^{n} Euklideszi térben veszi fel, és eloszlása valamely P_{ϑ}, ϑ ∈ Θ valószínűségi mérték az R^{n} téren egy Θ paraméter halmazzal.

Legyen T (x) olyan mérhető (vektor értékű) függvény az R^{n} téren, amelyre T (X) elégséges statisztika ezzel a P_{ϑ}, ϑ ∈ Θ, mértékcsaláddal. Azt mondjuk, hogy T (X) minimális elégséges statisztika, ha minden olyan S(x) függvényre az R^{n} Euklideszi téren, amelyre S(X) elégséges statisztika ugyanezzel a P_{ϑ}, ϑ ∈ Θ, mértékcsaláddal, a T (x) = u(S(x)) azonosság teljesül valamely u(·) mérhető függvénnyel, vagy ami ezzel ekvivalens, σ(T (·)) ⊂ σ(S(·)), azaz az a legszűkebb σ-algebra az R^{n} téren, amelyre a T (·) függvény mérhető, kisebb, mint az a legszűkebb σ-algebra az R^{n} téren, amelyre az S(·) függvény mérhető.

Ha két különböző S_{1}(x) és S_{2}(x) függvény mindegyike meghatároz egy minimális elégséges statisztikát (ugyanazzal a P_{ϑ}, ϑ ∈ Θ, mértékcsaláddal), akkor az általuk generált σ-algebrák megegyeznek, vagy ami ezzel ekvivalens, e transzformációk egymás függvényei, azaz léteznek olyan u_{1}(·) és u_{2}(·) függvények, amelyekre S_{2}(x) = u_{2}(S_{1}(x)), és S_{1}(x) = u_{1}(S_{2}(x)) . Ez az eredmény megmondja, hogy milyen mértékben egyértelműen meghatározott egy minimális elégséges statisztika.

Nagyon általános feltételek mellett létezik minimális elégséges statisztika. Bahadur R. R. (1957) On unbiased estimetes of unifrormly minimum variance című cikkében, Sankhya,18, 211–224, bebizonyította minimális elégséges statisztikák létezését akkor, ha létezik a P_{ϑ}, ϑ ∈ Θ, mértékeknek közös domináló mértéke. (Ez volt a Neyman–Fisher faktorizációs tétel feltétele is.) Ismeretes ezenkívül a minimális elégséges statisztikáknak jellemzése is. Erról szól az alábbi tétel.

Tétel minimális elégséges statisztikák jellemzéséről. Legyen a P_{ϑ}, ϑ ∈ Θ, eloszláscsalád az R^{n} téren olyan, hogy e valószínűségi mértékcsaládnak van egy μ σ-véges domináló mértéke. Legyen a P_{ϑ}, ϑ ∈ Θ, mérték sűrűségfüggvénye a μ mérték szerint L_{ϑ}(x). Egy T (x) függvény akkor és csak akkor határoz meg egy minimális elégséges T (X) statisztikát, ha tetszőleges x, y ∈ R^{n} pontpárra

\frac{L_{ϑ}(x)}{L_{ϑ}(y)} nem függ a ϑ ∈ Θ paramétertől ⟺ T (x) = T (y).

Heurisztikus szinten egyszerűen megmagyarázhatóak az előbb megfogalmazott eredmények. Vezessük be a következő ekvivalencia osztályokat az R^{n} téren. Egy x és y pont akkor tartozik ugyanabba az ekvivalencia osztályba, ha az \frac{L_{ϑ}(x)}{L_{ϑ}(y)} hányados értéke nem függ a ϑ ∈ Θ paramétertől. Vegyük észre, hogy egy x és y pont ismerete ugyanazt az információt adja a ϑ ∈ Θ paraméter értékéről, ha ezek a pontok ugyanabban az ekvivalencia osztályban vannak, míg eltérő információt ad, ha különböző ekvivalencia osztályokban vannak. Ez a következő képet sugallja.

Tekintsük azt az U σ-algebrát az R^{n} téren, amelynek atomjai az előbb definiált ekvivalencia osztályok. Heurisztikus szinten azt várjuk, hogy egy T (X) statisztika akkor és csak akkor elégséges, ha a T (x) függvény mérhető az U σ-algebrára. Ez azt jelenti, hogy U a (létező) minimális elégséges statisztikát meghatározó σ-algebra, és T (X) akkor és csak akkor minimális elégséges statiszika, ha a T (x) függvény az U σ-algebrát generálja.

Egy másik probléma, amivel foglalkozni fogunk az, hogy találjunk minél jobb torzítatlan paraméter becslést egy minta segítségével. Bevezetem az e problémával kapcsolatos legfontosabb fogalmakat, és megadok néhány eredményt, de a bizonyításokat elhagyom. Az első fogalom a hatásosság (efficiency), amely arról szól, hogy mikor jobb egy torzítatlan becslés, mint a másik.

Hatásosság definiciója. Legyen T_{1}(X) és T_{2}(X) a ϑ paraméter valamely ψ(ϑ) függvényének torzítatlan becslése. Azt mondjuk, hogy a T_{1}(x) becslés hatásosabb, mint a T_{2}(X) becslés, ha

Var_{ϑ}(T_{1}(X)) ≤ Var_{ϑ}(T_{2}(X)) minden ϑ ∈ Θ paraméterre.

A ϑ ∈ Θ paraméter egy ψ(ϑ), függvényének torzítatlan becslése hatásos, ha az a ψ(ϑ), ϑ ∈ Θ, függvény minden torzítatlan becslésénél hatásosabb.

A most bevezetett hatásosság csak részben rendezés, ezért nincsen mindig hatásos rendezés. Ha viszont van, akkor az egyértelmű. Ezt mondja ki az alábbi tétel.

Tétel. Ha T_{1}(X) és T_{2}(X) egyaránt torzítatlan, hatásos becslései a ψ(ϑ), ϑ ∈ Θ, függvénynek, akkor

P_{ϑ}(T_{1}(x) = T_{2}(x)) = 1 minden ϑ ∈ Θ paraméterre.

Ez a tétel megegyezik a Bolla–Krámli könyv 3. fejezetének az 1.3 tételével. A bizonyítást, amely megtalálható ebben a könyvben elhagyom. Csak megjegyzem a bizonyítás fő gondolatát. Ha T_{1}(X) és T_{2}(X) egyaránt torzítatlan, hatásos becslései a ψ(ϑ), ϑ ∈ Θ, függvénynek, akkor ugyanez elmondható a \frac{T_{1}(X)+T_{2}(X)}{2} becslésre is. Sőt, abból hogy ez nem lehet szigorúan hatásosabb, mint a T_{1}(X) és T_{2}(X) becslések, (különben az utóbbi becslések nem lennének hatásosak) következik a tétel állítása.

Éredekel minket az is, hogy mikor van egyetlen torzítatlan becslés. Ez vezetett az alábbi fogalom bevezetéséhez.

Teljes statisztika definiciója. Egy T (X) statisztika teljes a P_{ϑ}, ϑ ∈ Θ, eloszláscsalád szerint, ha minden olyan g(·) függvényre, amelyre érvényes az E_{ϑ}(g(T (x)) = 0 reláció minden ϑ ∈ Θ paraméterre, ugyancsak érvényes a P_{ϑ}(g(T (x)) = 0) = 1 reláció minden ϑ ∈ Θ paraméterre.

A Rao–Blackwell–Kolmogorov tétel alapján tudjuk, hogy ha T (x) elégséges statisztika, akkor tetszőleges torzítatlan becslésnél van hatásosabb, a T (X) statisztikán alapuló torzítatlan becslés. Ha ez a T (X) statisztika teljes, és egy ψ(ϑ) függvénynek van egy a T (X) statisztikán alapuló g(T (X)) torzítatlan becslése, akkor ez a becslés hatásos, mert a teljesség miatt a ψ(ϑ) függvénynek nincs más a T (X) statisztikán alapuló torzítatlan becslése.

Érdemes kimondani a következő tételt is. (Ez a Bolla–Krámli könyv második fejezetének 3.3 tétele.)

Tétel. Ha egy T (X) elégséges statisztika teljes, akkor az minimális elégséges statisztika is.

Végül ismertetem egy fontos eloszláscsaládnak, az úgynevezett exponenciális eloszláscsaládnak a fogalmát. Egyrészt fontos eloszláscsaládokról mondhatjuk, hogy exponenciális függvénycsaládot alkotnak, másrészt ezeknek szép tulajdonságai vannak. Ezekben lehet találni természetes módon érdekes elégséges statisztikákat, amelyek nagyon általános feltételek mellett teljesek is. Ez az előbb kimondott tétel alapján azt jelenti, hogy e statisztikák minimális elégséges statisztikák.

Exponenciális eloszláscsaládok definiciója. Azt mondjuk, hogy az R^{n} Euklideszi téren definiált P_{ϑ}, ϑ ∈ Θ, valószínűségi mértékek halmaza exponenciális családot alkot, ha Θ ⊂ R^{k} valamilyen k ≥ 1 indexszel, a P_{ϑ}, ϑ ∈ Θ mértékeknek létezik egy ν σ-véges domináló mértéke, és a P_{ϑ}, ϑ ∈ Θ, mértéknek a ν mérték szerinti sűrűségfüggvénye a következő alakú.

\frac{dP_{ϑ}}{dν} (x) = c(ϑ) exp \{∑_{j=1}^{k} a_{j}(ϑ)T_{j}(x)\} h(x) minden ϑ ∈ Θ paraméterre, (4)

valamilyen előre megadott

a(ϑ) = (a_{1}(ϑ), …, a_{k}(ϑ)), T (x) = (T_{1}(x), …, T_{k}(x)), h(x) ≥ 0 és c(ϑ) függvényekkel, ahol a: Θ → R^{k} és T: R^{n} → R^{k}, h(x) egy alkalmas függvény az R^{n} téren, és c(ϑ) alkalmas normáló konstans, amelyik biztosítja azt, hogy P_{ϑ} valószínűségi mérték legyen.

A Neyman–Fisher faktorizációs tételből következik, hogy a

T (x) = (T_{1}(x), …, T_{k}(x))

függvény elégséges statisztikát harároz meg. Továbbá, ha X_{1}, …, X_{N} független példányai egy \frac{dP_{ϑ}}{dν} (x) sűrűségfüggvényű exponenciális családnak egy ν domináló mértékkel, akkor, ahogy azt egyszerű számolás mutatja, az

X^{(N)} = (X_{1}, …, X_{N})

vektor is exponenciális eloszlású dν^{(N)}(x_{1}, …, x_{N}) = ∏_{j=1}^{N} ν( dx_{j}) domináló

mértékkel, és a \frac{dP_{ϑ}^{(N)}}{dν^{(N)}} sűrűségfüggvényét is egyszerűen fel lehet írni a következő képlet segítségével.

\frac{dP_{ϑ}^{(N)}}{dν^{(N)}} (x_{1}, …, x_{N}) = c^{N}(ϑ) exp \{∑_{j=1}^{k} a_{j}(ϑ) (∑_{l=1}^{N} T_{j}(x_{l}))\} ∏_{j=1}^{N} h(x_{j}).

Innen következik, hogy ebben az exponenciális eloszláscsaládban a

T^{(N)}(x_{1}, …, x_{N}) = (∑_{l=1}^{N} T_{1}(x_{l}), …, ∑_{l=1}^{N} T_{k}(x_{l}))  (5)

vektor elégséges statisztika. (Lásd a Bolla–Krámli könyv 2. fejezetében a 3.4 Tétel bizonyításának a számolásait.)

Abban a speciális esetben, amikor a (4) formulában a_{j}(ϑ) = ϑ_{j}, 1 ≤ j ≤ k, van természetes paraméterezésű exponenciális családról beszélünk. Ha adva van egy az (4) képlettel megadott sűrűségfüggvénnyel rendelkező exponenciális család, akkor ebből a ϑ = (ϑ_{1}, …, ϑ_{k}) paraméter alkalmas transzformációjával természetes paraméterezésű exponenciális családot kapunk. Nevezetesen a ϑ_{j} paramétert az a_{j}(ϑ) paraméterrel helyettesítjük minden 1 ≤ j ≤ k indexre. (A ν domináló mértéket nem változtatjuk meg.) Egy természetes paraméterezésű exponenciális családban szereplő mértékek sűrűségfüggvénye

\frac{dP_{ϑ}}{dν} (x) = c(ϑ) exp \{∑_{j=1}^{k} ϑ_{j}T_{j}(x)\} h(x) minden ϑ ∈ Θ paraméterre (6)

alakú. Egy természetes paraméterezésű exponenciális családot teljes rangúnak nevezünk, ha a Θ ⊂ R^{k} paramétertartomány tartalmaz nyílt részhalmazt. Igaz a következő eredmény.

Tétel. Legyen adva egy a (6) képlettel definiált természetes paraméterezésű exponenciális család. Ha ez az exponenciális család teljes rangú, akkor a T (x) = (T_{1}(x), …, T_{k}(x)) statisztika elégséges és teljes.

Megjegyzem, a (5) képletben definiált statisztika szintén elégséges és teljes, ha a hozzákapcsolódó exponenciális családot az előbb leírt módon egy teljes rangú természetes paraméterezésű exponenciális család segítségével definiáljuk.