Statisztikai becslések jósága.

Ebben a jegyzetben azzal a kérdéssel foglalkozunk, hogy bizonyos természetes tulajdonságokat teljesítő statisztikai modellekben milyen jó paraméterbecslést lehet adni.

Annak érdekében, hogy jobban megértsük milyen eredményt várhatunk, tekintsük a következő példát. Vegyünk egy (X_{1}, …, X_{n}) mintát, amely független, egyforma eloszlású valószínűségi változókból áll, és becsüljük meg az X_{j} valószínűségi változók μ = EX_{j} várható értékét. A természetes becslés az X̄ = \frac{X_{1}+···+X_{n}}{n} kifejezés. Ez a μ paraméter torzítatlan becslése, amelynek hibája a centrális határeloszlástétel szerint közel normális eloszlású, nulla vérható értékkel és \frac{Var X_{1}}{n} szórásnégyzettel. Felmerül a kérdés, hogy lehete jobb becslést adni, illetve lehet-e hasonlóan jó becslést adni általánosabb esetben is.

Be fogjuk látni, hogy bizonyos regularitási feltételek teljesülése esetén nem lehet jobb becslést adni, mint amit a fenti példa sugall. Alsó becslést adunk egy paraméterbecslés hibájának a szórásnégyzetére, és a hiba nagyságrendje egy n elemű minta esetén O(\frac{1}{n}) nagyságrendű lesz. A szórásnégyzet hibájára adott alsó becslésben megjelenik egy fontos paraméter, az úgynevezett Fisher információ.

Másik irányban be fogjuk látni, hogy (még több regularitási feltétel teljesülése esetén) létezik olyan paraméter becslés, az úgynevezett maximum likelihood becslés, amely olyan jó becslést ad (aszimptotikusan normális eloszlású hibával), mint amilyet a fenti példa sugall. Ezen becslés hibájának a megadásában is megjelenik a Fisher információ.

Felmerül még az a kérdés, hogy az ezekben az eredményekben szereplő regularitási feltételek valóban fontosak-e. Fogunk példát mutatni olyan a regularitási feltételt nem teljesitő természetes modellre, amelyben lényegesen jobb paraméterbecslést lehet csinálni, mint amit a fent emlitett eredmények sugallnak.

Az első kérdés, amivel foglalkozni fogunk a következő. Legyen adva egy X valószínűségi változó egy (Ω, A, P) valószínűségi mezőn, amely értékeit az R^{n} Euklideszi térben veszi fel, eloszlása valamilyen P_{ϑ} mérték, ahol ϑ ∈ Θ, és a Θ paraméterhalmaz a számegyenes egy nyílt részhalmaza. Feltesszük továbbá, hogy a P_{ϑ} mértéknek van egy f_{ϑ}(x), ϑ ∈ Θ, x ∈ R^{n}, sűrűségfüggvénye egy σ-véges ν domináló mérték szerint az R^{n} Euklideszi téren. Milyen jó becslést tudunk adni a ϑ paraméter valamely ψ(ϑ) függvényére? Először egy alsó becslést kívánunk adni a ψ(ϑ) függvény torzítatlan becsléseinek a hibájára, azaz olyan T (X) becslések hibájára, amelyekre

E_{ϑ}T (X) = ∫ T (x)f_{ϑ}(x)ν( dx) = ψ(ϑ),

ha X eloszlásfüggvénye P_{ϑ}. Bebizonyítjuk ilyen becslésekre a Cramer–Rao egyenlőtlenséget, amely alkalmas feltételek teljesülése esetén alsó becslést ad a Var_{ϑ}T (X) = E_{ϑ}T^{2}(X) − ψ^{2}(ϑ) szórásnégyzetre. Külön érdekel minket az a speciális eset, amikor az X valószínűségi változó X = (X_{1}, …, X_{n}) alakú, ahol X_{1}, …, X_{n} független, egyforma eloszlású valószínűségi változók sorozata, valamely P_{ϑ}^{(0)}, ϑ ∈ Θ, eloszlásfüggvénnyel.

E jegyzetben főleg azt az esetet vizsgáljuk, amikor a Θ paramétertartomány az egydimenziós Euklideszi tér nyílt részhalmaza, de röviden ismertetni fogom ezen eredmény általánosítását arra az esetre, amikor a Θ paramétertartomány a k-dimenziós R^{k} Euklideszi tér nyílt részhalmaza.

Egy másik e jegyzetben tárgyalt probléma a maximum likelihood becslés viselkedéséről szól. Heurisztikus szinten elmagyarázom, hogy alkalmas feltételek teljesülése esetén a maximum likelihood becslés aszimptotikusan optimális. Majdnem olyan jó becslést ad, mint amilyet a Cramer–Rao egyenlőtlenség még megenged. Azután megfogalmazok egy pontos tételt a maximum likelihood becslés tulajdonságairól, de a bizonyítás részleteit elhagyom.

A Cramer–Rao egyenlőtlenség megfogalmazásában felteszem, hogy úgynevezett reguláris esettel fogunk foglalkozni, ahol az f_{ϑ}(x) sűrűségfüggvény elég sima fűggvénye az x és ϑ változóknak, valamint bizonyos integrálokban a ϑ változó szerinti deriválás és az x változó szerinti integrálás felcserélhető. Pontosabban fogalmazva, felteszem, hogy bizonyos U(x) függvényekre

\frac{∂^{j}}{∂ϑ^{j}} ∫ U(x)f_{ϑ}(x)ν( dx) = ∫ U(x)\frac{∂^{j}}{∂ϑ^{j}} f_{ϑ}(x)ν( dx), j = 1, 2.

Megadom azokat az eseteket, amelyekben ezt a formulát használni fogjuk a bizonyításokban. Egyrészt

\frac{∂^{j}}{∂ϑ^{j}} ∫ f_{ϑ}(x)ν( dx) = ∫ \frac{∂^{j}}{∂ϑ^{j}} f_{ϑ}(x)ν( dx), j = 1, 2,

másrészt

\frac{∂}{∂ϑ} ∫ T (x)f_{ϑ}(x)ν( dx) = ∫ \frac{∂}{∂ϑ}T (x)f_{ϑ}(x)ν( dx),

ahol T (x) a vizsgált becslőfüggvény. Megjegyzem, hogy ∫ f_{ϑ}(x)ν( dx) = 1, és ∫ T (x)f_{ϑ}(x)ν( dx) = E_{ϑ}T (x).

Bevezetem a Fisher információ fogalmát, amely megjelenik a Cramer–Rao egyenlőtlenség megfogalmazásában.

Fisher információ definiciója. Legyen adva egy σ-véges ν domináló mérték szerinti f_{ϑ}(x), x ∈ R^{n}, sűrűségfügvényeknek egy ϑ ∈ Θ, paraméterrel indexelt családja, mely sűrűségfüggvények elég simán függnek az x és ϑ változóktól. E függvénycsalád Fisher információja egy ϑ ∈ Θ pontban

I(ϑ) = E_{ϑ} (\frac{∂}{∂ϑ} log f_{ϑ}(x))^{2} = ∫ (\frac{∂}{∂ϑ} log f_{ϑ}(x))^{2} f_{ϑ}(x)ν( dx).  (1)

Megjegyzés. Az (1) formulában, és hasonló képletekben a 0·∞ = 0 konvenciót fogjuk alkalmazni, azaz definició szerint ∫_{{x: f_{ϑ}(x)=0}} S(x)f_{ϑ}(x)ν( dx) = 0 egy S(x) függvény integráljára. Ez a formula akkor is érvényes, ha S(x) = ±∞ bizonyos pontokban. A reguláris viselkedés feltételében szereplő azonosságokban szereplő integrálok mindkét oldalán az {x: f_{ϑ}(x) > 0} halmazon integrálunk.

Megfogalmazom a Cramer–Rao egyenlőtlenséget.

Cramer–Rao egyenlőtlenség. Legyen adva egy X valószínűségi változó egy (Ω, A, P) valószínűségi mezőn, amely értékeit az R^{n} Euklideszi térben veszi fel, eloszlása valamely P_{ϑ}, ϑ ∈ Θ, mértékcsaládba tartozik, és mindegyik P_{ϑ}, ϑ ∈ Θ, mértéknek létezik f_{ϑ}(x), x ∈ R^{n}, ϑ ∈ Θ, sűrűségfüggvénye egy σ-véges ν domináló mérték szerint az R^{n} Euklideszi téren. Továbbá a Θ paraméterhalmaz a számegyenes egy nyílt részhalmaza. Feltesszük, hogy az f_{ϑ} sűrűségfüggvények regulárisan viselkednek. Legyen adva egy ψ(ϑ) függvény, ahol ψ(·) differenciálható függvény a Θ halmazon, és annak egy torzítatlan T (X) becslése, azaz legyen E_{ϑ}T (X) = ψ(ϑ) minden ϑ ∈ Θ paraméterre. Ekkor

Var (T (X)) ≥ \frac{|ψ′(ϑ)|^{2}}{I(ϑ)}  (2)

abban az esetben, ha az X valószínűségi változó eloszlása P_{ϑ}. A (2) képletben szereplő I(ϑ) kifejezés az f_{ϑ}(x), ϑ ∈ Θ, sűrűségfüggvénycsalád Fisher információja a ν domináló mérték szerint a ϑ pontban.

Tekintsük azt a speciális esetet, amikor X = (X_{1}, …, X_{n}), és X_{1}, …, X_{n} függgetlen, egyforma eloszlású valószínűségi változók valamilyen P_{ϑ}^{(0)}, ϑ ∈ Θ, eloszlással a számegyenesen, amelynek létezik f_{ϑ}^{(0)}(x), ϑ ∈ Θ, sűrűségfüggvénye egy ν σ-véges mérték szerint a számegyenesen. Legyen

I_{1}(ϑ) = E_{ϑ} (\frac{∂}{∂θ} log f_{ϑ}^{(0)}(x))^{2} = ∫ (\frac{∂}{∂ϑ} log f_{ϑ}^{(0)}(x))^{2} f_{ϑ}^{0}(x)ν( dx).  (3)

Ekkor I(ϑ) = nI_{1}(ϑ), ahol az I(ϑ) Fisher információ kiszámolásában a ν(dx_{1}) × ⋯ × ν(dx_{n}) szorzatmérték a domináló mérték.

Ha T (X) = T (X_{1}, …, X_{n}) a ψ(ϑ) függvény torzítatlan becslése, és az X_{1} valószínűségi változó eloszlása P_{ϑ}^{(0)}, akkor

Var (T (X_{1}, …, X_{n})) = Var (T (X)) ≥ \frac{|ψ′(ϑ)|^{2}}{nI_{1}(ϑ)} .  (4)

A Cramer–Rao egyenlőtlenség bizonyítása. A (2) formulát az alábbi két U és V valószínűségi változóra vonatkozó egyenlőtlenség segítségével fogjuk bizonyítani.

|Cov (U, V)|^{2} ≤ Var U · Var V.  (5)

Ez az egyenlőtlenség következik a Cauchy–Schwarz egyenlőtlenségből, mert

|Cov (U, V)|^{2} = [E(U − EU)(V − EV)]^{2}
≤ E(U − EU)^{2}E(V − EV)^{2} = Var U · Var V.

Az (5) egyenlőtlenséget U(x) = \frac{∂}{∂ϑ} log f_{ϑ}(x) és V (x) = T (x) választással fogjuk alkalmazni az (R^{n}, B^{n}, P_{ϑ}) valószínűségi mezőn a

P_{ϑ}( dx) = f_{ϑ}(x)ν( dx)

valószínűségi mértékkel. A bizonyítás érdekében kiszámoljuk az Var V (x) szórásnégyzetet és Cov (U(x), V (x)) kovarianciát. Először azt látjuk be, hogy

E_{ϑ}U(x) = 0,

mert

E_{ϑ}U(x) = ∫ \frac{∂}{∂ϑ}(log f_{ϑ}(x))f_{ϑ}(x)ν( dx) = ∫ \frac{∂}{∂ϑ}f_{ϑ}(x))ν( dx)
= \frac{∂}{∂ϑ} ∫ f_{ϑ}(x))ν( dx) = 0,

E számolásban kihasználtuk, hogy az integrálás és deriválás sorrendje felcserélhető a regularitási feltétel miatt, valamint

∫ f_{ϑ}(x)ν( dx) = 1 minden ϑ ∈ Θ paraméterre,

ahonnan

\frac{∂}{∂ϑ} ∫ f_{ϑ}(x)ν( dx) = 0.

Innen Var U(x) = E_{ϑ}U(x)^{2}, Cov (U(x), V (x)) = E_{ϑ}U(x)V (x), ezért

Var U(x) = E_{ϑ}U(x)^{2} = ∫ (\frac{∂}{∂ϑ}(log f_{ϑ}(x)))^{2} f_{ϑ}(x)ν( dx) = I(ϑ)

és

Cov (U(x), V (x)) = ET (x)U(x) = ∫ T (x)\frac{∂}{∂ϑ}(log f_{ϑ}(x))f_{ϑ}(x)ν( dx)
= ∫ T (x)\frac{∂}{∂ϑ}f_{ϑ}(x))ν( dx)
= \frac{∂}{∂ϑ} ∫ T (x)f_{ϑ}(x))ν( dx) = ψ′(ϑ).

Itt megint kihasználtuk, hogy a regularitási tulajdonság miatt az integrálás és deriválás sorrendje felcserélhető, valamint azt, hogy ∫ T (x)f_{ϑ}(x))ν( dx) = E_{ϑ}T (x) = ψ(ϑ). Ezért az (5) formula szerint

ψ′(ϑ)^{2} ≤ Var T (x)I(ϑ).

Innen következik a (2) formula, mert a T (X) valószínűségi változó szórásnégyzete az (Ω, A, P) valószínűségi mezőn megyezik a T (x) valószínűségi változó szórásnégyzetével az (R^{n}, B^{n}, P_{ϑ}) valószínűségi mezőn.

Be akarjuk bizonyítani az I(ϑ) = nI_{1}(ϑ) azonosságot, ahol az I_{1}(ϑ) kifejezést a (3) relációban definiáltuk. Ennek érdekében először megadjuk az (1) formulában definiált I(ϑ) Fisher információnak egy másik definicióját. (Feltesszük, hogy az f_{ϑ}(x) sűrűségfüggvénynek a ϑ paraméter szerint van második deriváltja is, és az is szépen viselkedik.) Megmutatjuk, hogy

I(ϑ) = − ∫ \frac{∂^{2}}{∂ϑ^{2}} (log f_{ϑ}(x))f_{ϑ}(x)ν( dx).  (6)

Valóban,

\frac{∂^{2}}{∂ϑ^{2}} log f_{ϑ}(x) = \frac{\frac{∂^{2}}{∂ϑ^{2}} f_{ϑ}(x)}{f_{ϑ}(x)} − ( \frac{\frac{∂}{∂ϑ}f_{ϑ}(x)}{f_{ϑ}(x)})^{2} ,

és a jobboldal első tagjának az integrálja eltűnik, azaz

∫ \frac{\frac{∂^{2}}{∂ϑ^{2}} f_{ϑ}(x)}{f_{ϑ}(x)}f_{ϑ}(x)ν( dx) = \frac{∂^{2}}{∂ϑ^{2}} ∫ f_{ϑ}(x)ν( dx) = 0.

Ebben a számolásban megint kihasználtuk, hogy a regularitási feltételeink megengedik, hogy bizonyos integrálások és deriválások sorrendjét felcseréljük.

Ezt felhasználva, és az előző azonosságot kiintegrálva megkapjuk az

− ∫ \frac{∂^{2}}{∂ϑ^{2}} (log f_{ϑ}(x))f_{ϑ}(x)ν( dx) = ∫ ( \frac{\frac{∂}{∂ϑ}f_{ϑ}(x)}{f_{ϑ}(x)})^{2} f_{ϑ}(x)ν( dx)
= ∫ (\frac{∂}{∂ϑ} log f_{ϑ}(x))^{2} f_{ϑ}(x)ν( dx) = I(ϑ)

azonosságot, ami azt jelenti, hogy a (6) azonosság igaz.

A (6) azonosság segítségével a következőképp kapjuk meg az I(ϑ) = nI_{1}(ϑ) azonosságot.

Mivel X_{1}, …, X_{n} független és egyforma eloszlású valószínűségi változók, ezért ezek együttes sűrűségfüggénye f_{ϑ}(x) = f_{ϑ}^{(0)}(x_{1}) ⋯ f_{ϑ}^{(0)}(x_{n}) az x = (x_{1}, …, x_{n}) pontban a ν( dx_{1}) × ⋯ × ν( dx_{n}) szorzatmérték szerint. Ezért az X = (X_{1}, …, X_{n}) vektor Fisher információja a (6) képlet szerint

I(ϑ) = − ∫ \frac{∂^{2}}{∂ϑ^{2}} log ( ∏_{k=1}^{n} f_{ϑ}^{(0)}(x_{k})) ∏_{k=1}^{n} f_{ϑ}^{(0)}(x_{k})ν( dx_{k})
= −n ∫ \frac{∂^{2}}{∂ϑ^{2}} (log f_{ϑ}^{(0)}(x_{1}))f_{ϑ}^{(0)}(x_{1})ν( dx_{1}).

A (6) formula bizonyításához hasonlóan kapjuk, hogy

I_{1}(ϑ) = − ∫ \frac{∂^{2}}{∂ϑ^{2}} (log f_{ϑ}^{(0)}(x_{1}))f_{ϑ}^{(0)}(x_{1})ν( dx_{1})

a (3) formulában definiált I_{1}(ϑ) függvényre. (Valójában ez a képlet a (6) formula speciális esete.) Ezért az I(ϑ) = nI_{1}(ϑ) azonosság érvényes. A (4) formula következik ebből az azonosságból, ha a (2) formulát az X = (X_{1}, …, X_{n}) vektor sűrűségfüggvényére alkalmazzuk. A Cramer–Rao egyenlőtlenséget bebizonyítottuk.

Röviden ismertetem a Cramer–Rao egyenlőtlenséget abban az általánosabb esetben, ha a Θ paramétertartomány az R^{k} Euklideszi tér nyílt részhalmaza valamely k ≥ 1 paraméterrel. A bizonyítás azon részleteit, amelyek hasonlóak az egydimenziós esethez elhagyom. Egyedül a bizonyítás azon lépéséről fogok írni, ahol új, az egydimenziós eset tárgyalásában nem szereplő érvelést alkalmazunk.

E problémában az X valószínűségi változó eloszlása valamely P_{ϑ} mérték egy f_{ϑ}(x) sűrűségfüggvénnyel az R^{n} téren egy ν σ-véges domináló mértékkel, és a ϑ paraméter a ϑ ∈ Θ feltételt egy k-dimenziós Θ nyílt paraméterhalmazzal teljesíti.

Először definiálni kell az I(ϑ) Fisher információt egy ϑ = (ϑ_{1}, …, ϑ_{k}) ∈ Θ pontban. Ez az az (A_{i,j}(ϑ)), 1 ≤ i, j ≤ k, k × k szimmetrikus (pozitív szemidefinit) mátrix, amelynek elemei az

A_{i,j}(ϑ) = ∫ \frac{∂}{∂ϑ_{i}} (log f_{ϑ}(x))\frac{∂}{∂ϑ_{j}} (log f_{ϑ}(x))f_{ϑ}(x)ν( dx), 1 ≤ i, j ≤ k,

számok.

Legyen T (X) torzítatlan becslése egy ψ(ϑ) függvénynek. Ekkor az egydimenziós esethez hasonló feltételek mellett

Var (T (X)) ≥ (\frac{∂}{∂ϑ_{1}} ψ(ϑ), …, \frac{∂}{∂ϑ_{k}} ψ(ϑ)) I(ϑ)^{−1} (\frac{∂}{∂ϑ_{1}} ψ(ϑ), …, \frac{∂}{∂ϑ_{k}} ψ(ϑ))^{∗}

(7)

minden ϑ ∈ Θ pontban, ahol ^{∗} egy vektor transzponáltját jelöli.

Az egydimenziós esethez hasonlóan az I(ϑ) Fisher információt megadó mátrix elemeit deiniálhatjuk a következő módon is.

A_{i,j}(ϑ) = − ∫ \frac{∂^{2}}{∂ϑ_{i}∂ϑ_{j}} (log f_{ϑ}(x))f_{ϑ}(x)ν( dx), 1 ≤ i, j ≤ k.

Ezt felhasználva megmutathatjuk, hogy független, azonos eloszlású koordinátákból álló vektorok becslésére a (4) formulához hasonló becslést lehet megadni vektor értékű paraméter tartomány esetében is.

Legyen X = (X_{1}, …, X_{n}), ahol X_{1}, …, X_{n} független, azonos eloszlású valószínűségi változók sorozata, amelyeknek P_{ϑ}^{(0)}, ϑ ∈ Θ, eloszlásának van f_{ϑ}^{(0)}(x), sűrűségfüggvénye egy ν σ-véges mérték szerint. Ki lehet számolni az f^{(0)}(ϑ) sűrűségfüggvényhez és ν domináló mértékhez tartozó I_{1}(ϑ) Fisher információ mátrixát, és azt kapjuk, hogy I(ϑ) = nI_{1}(ϑ), ahol I(ϑ) az X valószínűségi vektor sűrűségfüggvényéhez és a hozzá tartozó domináló mértékhez tartozó Fisher információ mátrixa. Innen következik, hogy ha az X = (X_{1}, …, X_{n}) véletlen vektor teljesíti a Cramer–Rao egyenlőtlenség feltételeit, akkor érvényes rá a (7) becslés azon változata, amelyben az I(ϑ) Fisher információ mátrixot az nI_{1}(ϑ) mátrixszal helyettesítjük.

A Cramer–Rao egyenlőtlenség bizonyítása vektor értékű Θ paramétertartomány esetében hasonló az egydimenziós paramétertartomány esetéhez. Ezért a bizonyításnak csak azt a pontját vázolom, ahol új módszer szükséges. Ez a (7) formula bizonyítása.

A bizonyítás első lépésében az egydimenziós esethez hasonlóan érvelünk. Az (5) formula segítségével hasonló becsléseket teszünk, mint az egydimenziós esetben. Jelen esetben is V (x) = T (x) függvényt választunk. Az U(x) függvényt az U_{j}(x) = \frac{∂}{∂ϑ_{j}} (log f_{ϑ}(x)), j = 1, …, k, függvények és tetszőleges c_{1},…, c_{k} konstansok segítségével az U(x) = ∑_{j=1}^{k} c_{j}U_{j}(x) képlettel definiáljuk. Ilyen választással be tudjuk látni az (5) egyenlőtlenség felhasználásával, hogy

|∑_{j=1}^{k} c_{j} \frac{∂}{∂ϑ_{j}} ψ(ϑ)|^{2} ≤ Var T (x) (∑_{i=1}^{k} ∑_{j=1}^{k} c_{i}c_{j}A_{i,j}(ϑ)) ,  (8)

ahol az A_{i,j}(ϑ) együtthatók a I(ϑ) Fisher mátrix definiciójában szereplő számok, és c_{1}, …, c_{k} tetszőleges konstansok. Ezt az egyenlőtlenséget számunkra hasznosabb alakban fogjuk felírni.

Legyen e_{1}, …, e_{k}, az (A_{i,j}(ϑ)), 1 ≤ i, j ≤ k, Fisher információs mátrix ortonormált sajátvektoraiból álló bázis az R^{k} Euklideszi térben, és legyenek λ_{1}, …, λ_{k} a hozzájuk tartozó sajátértékek. Fejezzük ki a (8), illetve a bizonyítandó (7) egyenlőtlenségeket az e_{1}, …, e_{k}, koordinátarendszerben. Ennek érdekében írjuk az

S(ϑ) = (\frac{∂}{∂ϑ_{1}} ψ(ϑ), …, \frac{∂}{∂ϑ_{k}} ψ(ϑ))

vektort S(ϑ) = ∑_{j=1}^{k} α_{j}e_{j} alakban alkalmas (a ϑ paramétertől függő) α_{1},…, α_{k} együtthatókkal. Akkor felhasználva, hogy a (8) formula tetszőleges c_{1},…, c_{k} együtthatókra érvényes, az új koordinátarendszerben azt kapjuk, hogy

(∑_{j=1}^{k} c_{j}α_{j})^{2} ≤ Var T (x) (∑_{j=1} λ_{j}c_{j}^{2})

tetszőleges c_{1}, …, c_{k} konstansokkal. A bizonyítandó (7) egyenlőtlenség pedig

Var T (x) ≥ ∑_{j=1}^{k} \frac{α_{j}^{2}}{λ_{j}}

alakban írható. Ezt a relációt megkapjuk az előző egyenlőtlenségből, ha azt c_{j} = \frac{α_{j}}{λ_{j}} választással alkalmazzuk. Ez ugyanis azt adja, hogy

(∑_{j=1}^{k} \frac{α_{j}^{2}}{λ_{j}} )^{2} ≤ Var T (x) (∑_{j=1}^{k} \frac{α_{j}^{2}}{λ_{j}} ) .

A Cramer–Rao egyenlőtlenség tárgyalásának a végén teszek egy megjegyzést arról, hogy milyen alsó becslést lehet adni egy nem feltétlenül torzítatlan becslés hibájára, ha a Cramer–Rao egyenlőtlenség többi feltétele teljesül. (Most egydimenziós paraméterrel rendelkező modelleket vizsgálunk.)

Tekintsük egy ψ(ϑ) függvény nem feltétlenül torzítatlan T (X) becslését, és legyen

b_{T} (ϑ) = E_{ϑ}(T (x)) − ψ(ϑ).

Ha a Cramer–Rao egyenlőtlenség egyéb feltételei teljesülnek, akkor felírhatjuk, hogy

Var (T (x)) ≥ \frac{(ψ′(ϑ) + b′_{T} (ϑ))^{2}}{I(ϑ)} minden ϑ ∈ Θ paraméterre

a Cramer–Rao egyenlőtlenség alapján, ha azt a ψ^{∗}(ϑ) = E_{ϑ}T (x) = ψ(ϑ) + b_{T} (ϑ) függvényre alkalmazzuk.

Vezessük be az R_{ϑ}(T) = E_{ϑ}(T (x)−ψ(ϑ))^{2} mennyiséget, amit úgy hívnak, hogy a ψ(ϑ) függvény T (X) becslésének a négyzetes rizikója, és ami jól méri a T (X) becslés hibáját. Ekkor felírhatjuk a Steiner azonosság alapján, hogy

R_{ϑ}(T) = Var (T (x)) + b_{T}^{2} (ϑ),

és

R_{ϑ}(T) ≥ \frac{(ψ′(ϑ) + b′_{T} (ϑ))^{2}}{I(ϑ)} + b_{T}^{2} (ϑ) minden ϑ ∈ Θ paraméterre.

Megjegyzem, előfordulhat, hogy torzított becsléssel kisebb négyzetes rizikó érhető el, mint a lehető legjobb torzítatlan becsléssel.

A következő témánk az, hogy hogyan lehet jó paraméterbecsést adni. A maximum likelihood becslést fogom röviden ismertetni. Ennek két jó tulajdonsága is van. Egyrészt egy általános elvet fogalmaz meg, aminek a segítségével bonyolult esetekben is tudunk javasolni egy módszert az ismeretlen paraméter(ek) becslésére. Másrészt ez egy aszimptotikusan optimális becslést biztosít bizonyos regularitási feltételek teljesülése esetén. Olyan kis hibával becsüli meg a keresett paramétert nagy minta elemszám esetén, mint amilyet a Kramer–Rao egyenlőtlenség sugall.

Heurisztikus szinten ismertetem azon eredmény bizonyítását, amely megadja a maximum likelihood becslés hibájának az aszimptotikus viselkedését nagy elemszámú minta esetén. Megadom a maximum likelihood egyenlet megoldásának aszimptotikus viselkedését bizonyos lineáris közelítéseket végrehajtva a valódi paraméter kis környezetében. Ezen közelítések elhanyagolhatóan kis hibát adnak alkalmas feltételek teljesülése esetén. Ennek a heurisztikus szinten plauzibilis állításnak a bizonyítása adja a precíz bizonyítást, amit elhagyok. Ehelyett megelégszem egy a Bolla–Krámli könyvben (szintén bizonyítás nélkül) kimondott eredmény ismertetésével.

Először csak a legegyszerűbb esetet vizsgálom, amikor egy egydimenziós paraméter becslését tekintem. A következő problémával foglalkozom. Legyen adva f(x, ϑ) sűrűségfüggvények egy családja a számegyenesen, amelynek elemei egy ϑ ∈ R^{1}, azaz értékét a számegyenesen felvevő paramétertől függnek, és figyeljük meg ξ_{1}(ω), …, ξ_{n}(ω) független, egyforma eloszlású valószínűségi változók egy sorozatát, amelyek eloszlásának van egy f(x, ϑ_{0}), sűrűségfüggvénye, ahol ϑ_{0}, ismeretlen paraméter. Ezt a paramétert akarjuk megbecsülni a megfigyelt valószínűségi változók segítségével.

A maximum likelihood módszer a következő becslési eljárást javasolja. Legyen az a ϑ̂_{n} = ϑ̂_{n}(ξ_{1}, …, ξ_{n}) szám a ϑ_{0} paraméter maximum likelihood becslése, amelyikre igaz az, hogy a (ξ_{1}, …, ξ_{n}) vektor sűrűségfüggvénye, azaz a

∏_{k=1}^{n} f(ξ_{k}, ϑ) = exp {∑_{k=1}^{n} log f(ξ_{k}, ϑ)}

szorzat itt veszi fel a maximumát. Ez a szám megtalálható, mint az

∑_{k=1}^{n} \frac{∂}{∂ϑ} log f(ξ_{k}, ϑ) = 0  (9)

úgynevezett maximum likelihood egyenlet megoldása. Ezután minket a ϑ̂_{n} − ϑ_{0} különbség aszimptotikus viselkedése érdekel, ahol ϑ̂_{n} a (9) egyenlet (megfelelő) megoldása.

Ezen egyenlet közvetlen vizsgálata meglehetősen nehéz. de a (9) egyenlet baloldalán szereplő kifejezés baloldalának a Taylor sorfejtése az (ismeretlen) ϑ_{0} pont körül jó és egyszerű approximációt ad a ϑ̂_{n} mennyiségre, és lehetővé teszi a ϑ̂_{n} − ϑ_{0} különbség aszimptotikus viselkedésének a megadását.

Ez a Taylor sorfejtés azt adja, hogy

∑_{k=1}^{n} \frac{∂}{∂ϑ} log f(ξ_{k}, ϑ̂_{n}) = ∑_{k=1}^{n} \frac{\frac{∂}{∂ϑ}f(ξ_{k}, ϑ_{0})}{f(ξ_{k}, ϑ_{0})}

+(ϑ̂_{n} − ϑ_{0}) (∑_{k=1}^{n} ( \frac{\frac{∂^{2}}{∂ϑ^{2}} f(ξ_{k}, ϑ_{0})}{f(ξ_{k}, ϑ_{0})} − \frac{(\frac{∂}{∂ϑ}f(ξ_{k}, ϑ_{0}))^{2}}{f^{2}(ξ_{k}, ϑ̄_{0})} )) + O (n(ϑ̂_{n} − ϑ_{0})^{2})

= ∑_{k=1}^{n} (η_{k} + ζ_{k}(ϑ̂_{n} − ϑ_{0})) + O (n(ϑ̂_{n} − ϑ_{0})^{2}) ,  (10)

ahol

η_{k} = \frac{\frac{∂}{∂ϑ}f(ξ_{k}, ϑ_{0})}{f(ξ_{k}, ϑ_{0})}, és ζ_{k} = \frac{\frac{∂^{2}}{∂ϑ^{2}} f(ξ_{k}, ϑ_{0})}{f(ξ_{k}, ϑ_{0})} − \frac{(\frac{∂}{∂ϑ}f(ξ_{k}, ϑ_{0}))^{2}}{f^{2}(ξ_{k}, ϑ̄_{0})}

a k = 1, …, n indexekre. Meg akarjuk érteni a (10) kifejezés jobboldalán szereplő mennyiség aszimptotikus viselkedését.

Az

Eη_{k} = ∫ \frac{\frac{∂}{∂ϑ}f(x, ϑ_{0})}{f(x, ϑ_{0})}f(x, ϑ_{0}) dx = \frac{∂}{∂ϑ} ∫ f(x, ϑ_{0}) dx = 0

azonosság érvényes, mert ∫ f(x, ϑ) dx = 1 minden ϑ paraméterre, és ezen reláció differenciálása adja az utolsó azonosságot. Hasonlóan Eη_{k}^{2} = −Eζ_{k} =

∫ \frac{(\frac{∂}{∂ϑ} f(x,ϑ_{0}))^{2}}{f(x,ϑ_{0})} dx > 0, k = 1, …, n. Ezért a centrális határeloszlástétel szerint

χ_{n} = \frac{1}{\sqrt{n}} ∑_{k=1}^{n} η_{k} aszimptotikusan normális nulla várható értékkel és I(ϑ) =

∫ \frac{(\frac{∂}{∂ϑ} f(x,ϑ_{0}))^{2}}{f(x,ϑ_{0})} dx > 0 szórásnégyzettel. A matematikai statisztika irodalomban az I(ϑ) számot Fisher információnak hívják. A nagy számok törvénye szerint

\frac{1}{n} ∑_{k=1}^{n} ζ_{k} ∼ −I(ϑ).

Így a (10) formula a ϑ̂_{n} maximum likelihood becslés approximációját su-

gallja azzal a ϑ̃_{n} valószínűségi változóval, amelyet az ϑ̃_{n}−ϑ_{0} = −\frac{∑_{k=1}^{n} η_{k}}{∑_{k=1}^{n} ζ_{k}} egyen-

let határoz meg, és az előző számolásokból következik, hogy \sqrt{n}(ϑ̃_{n} − ϑ_{0}) aszimptotikusan normális nulla várható értékkel és \frac{1}{I(ϑ)} szórásnégyzettel. A ϑ̃_{n} valószínűségi változó nem megoldása a (9) egyenletnek, az ezen egyenlet baloldalán szereplő kifejezés értékének a nagyságrendje O(n(ϑ̃_{n} − ϑ_{0})^{2}) = O(1) ebben a pontban. Másrészt, némi számolás mutatja, hogy a (9) egyenlet baloldalán szereplő függvény differenciálhányadosa ebben a pontban viszonylag nagy, nagyobb, mint const. n valamilyen const. > 0 számmal. Innen következik, hogy a maximum likelihood egyenletnek van egy olyan ϑ̂_{n} megoldása, amelyre ϑ̂_{n} − ϑ̃_{n} = O (\frac{1}{n}). Ezért a \sqrt{n}(ϑ̂_{n} − ϑ_{0}) és \sqrt{n}(ϑ̃_{n} − ϑ_{0}) kifejezéseknek hasonló az aszimptotikus viselkedésük.

A fent ismertetett bizonyításvázlat lényege igy foglalható össze: Vegyük egy egyszerű linearizált verzióját a vizsgálandó kifejezésnek egy alkalmas Taylor sorfejtés segítségével, adjuk meg e linearizált verzió aszimptotikus viselkedését, és mutassuk meg, hogy a linearizáció csak elhanyagolhatóan kis hibát okozott.

Ismertetek egy pontos feltételekkel megfogalmazott eredményt a maximum likelihood becslés viselkedéséről. Ez Cramer és Dugué tétele, amely a Bolla–Krámli könyv 4.3 tételében van kimondva.

Cramer–Dugué tétel. Legyen adva egy X = (X_{1}, …, X_{n}) véletlen vektor egy (Ω, A, P) valószínűségi mezőn, ahol X_{1}, ….X_{n} független, egyforma eloszlású valószínűségi változók, amelyek eloszlása P_{ϑ} valamilyen f_{ϑ}(x), ϑ ∈ Θ, sűrűségfüggvénnyel, ahol a Θ paraméterhalmaz a számegyenes nyílt részhalmaza, és f_{ϑ} ≠ f_{ϑ′}, ha ϑ ≠ ϑ′. Tegyük fel, hogy teljesülnek a következő feltételek.

i.) A ϑ_{0} valódi paraméter egy U környezetében léteznek a f_{ϑ}(x) sűrűségfüggvénynek a ϑ paraméter szerinti 1. 2. és 3. parciális deriváltjai.

ii.) Léteznek olyan F_{1}, F_{2}, F_{3} függvények, amelyekre

|\frac{∂}{∂ϑ}f_{ϑ}(x)| < F_{1}(x), |\frac{∂^{2}}{∂ϑ^{2}} f_{ϑ}(x)| < F_{2}(x), |\frac{∂^{3}}{∂ϑ^{3}} log f_{ϑ}(x)| < F_{3}(x)

minden ϑ ∈ U paraméterre. Továbbá F_{1} és F_{2} integrálható függvények, és E_{ϑ_{0}}(F_{3}(x)) < ∞.

iii.) I(ϑ) < ∞ minden ϑ ∈ U paraméterre, és I(ϑ_{0}) > 0.

Akkor az n elemű mintához tartozó maximum likelihood egyenletnek létezik olyan ϑ̂_{n} gyöke, amelyre n → ∞ esetén

(1) P (ϑ̂_{n} → ϑ_{0}) = 1.

(2) \sqrt{n}(ϑ̂_{n} − ϑ_{0}) → N (0, \frac{1}{I(ϑ_{0})}) eloszlásban, ahol N (0, \frac{1}{I(ϑ_{0})}) a normális eloszlást jelöli 0 várható értékkel és \frac{1}{I(ϑ_{0})} szórásnégyzettel.

(3) \sqrt{n}(ϑ̂_{n} −ϑ_{0}) minden momentuma konvergál az N (0, \frac{1}{I(ϑ_{0})}) eloszlás által meghatározott megfelelő momentumhoz, ha n → ∞.

Végül röviden ismertetem a maximum likelihood becslés aszimptotikus viselkedéséről szóló eredményt abban az esetben, ha a Θ paramétertartomány a k-dimenziós tér nyílt részhalmaza, k ≥ 1. Az eredménynek most is csak egy nagyon vázlatos heurisztikus magyarázatát fogom adni.

Annak érdekében, hogy kimondjuk az eredményt szükséges az eddigiektől némileg eltérő jelölést bevezetni. Jelölje ϑ = (ϑ_{1}, …, ϑ_{k}) a Θ paramétertartomány egy pontját, ϑ(0) = (ϑ_{1}(0), …, ϑ_{k}(0)) az (ismeretlen) valódi becsülendő paramétert, és legyen ϑ̂(n) = (ϑ̂_{1}(n), …, ϑ̂_{k}(n)) az n elemű minta segítségével elvégzett maximum likelihood becslés értéke.

Jelölje ξ_{1}, …, ξ_{n} a megfigyelt n elemű mintát. Ekkor a k-dimenziós paramétertartomány esetében a maximum likelihood egyenlet a következő alakú.

∑_{j=1}^{n} \frac{∂_{l}}{∂ϑ_{l}} log f(ξ_{j}, ϑ) = 0, l = 1, …, k.

A ϑ(0) pont körüli Taylor sorfejtéssel kapjuk, hogy a fenti összeg értéke a ϑ̂(n) pontban

∑_{j=1}^{n} \frac{∂}{∂ϑ_{l}} log f(ξ_{j}, ϑ̂(n)) = ∑_{j=1}^{n} \frac{\frac{∂_{l}}{∂ϑ_{l}} f(ξ_{j}, ϑ(0))}{f(ξ_{j}, ϑ(0))}

+ ∑_{j=1}^{n} ∑_{m=1}^{k}(ϑ̂_{m}(n) − ϑ_{m}(0))( \frac{\frac{∂^{2}}{∂ϑ_{l}∂ϑ_{m}} f(ξ_{j}, ϑ(0))}{f(ξ_{j}, ϑ(0))}

− \frac{\frac{∂}{∂ϑ_{l}} f(ξ_{j}, ϑ(0))\frac{∂}{∂ϑ_{m}} f(ξ_{j}, ϑ(0))}{f^{2}(ξ_{j}, ϑ(0))})

+O (n(ϑ̂(n) − ϑ(0))^{2})

= ∑_{j=1}^{n} (η_{j,l}(n) + ( ∑_{m=1}^{k} ζ_{j,l,m}(n)(ϑ̂_{m}(n) − ϑ_{m}(0))))

+O (n(ϑ̂(n) − ϑ(0))^{2}) ,

l = 1 …, k, ahol

η_{j,l}(n) = \frac{\frac{∂}{∂ϑ_{l}} f(ξ_{j}, ϑ(0))}{f(ξ_{j}, ϑ(0))},

és

ζ_{j,l,m}(n) = \frac{\frac{∂^{2}}{∂ϑ_{l}∂ϑ_{m}} f(ξ_{j}, ϑ(0))}{f(ξ_{j}, ϑ(0))} − \frac{\frac{∂}{∂ϑ_{l}} f(ξ_{j}, ϑ(0))\frac{∂}{∂ϑ_{m}} f(ξ_{j}, ϑ(0))}{f^{2}(ξ_{j}, ϑ(0))}

a j = 1, …, n és l, m = 1, …, k indexekre.

Innen az elhanyagolható hibatagokat elhagyva a következő jó közelítést kapjuk a ϑ̂_{m}(n) − ϑ_{m}(0), m = 1, …, k, kifejezésekre a maximum likelihood becslés, azaz az n elemű minta segítségével adott ϑ̄(n) becslés és a valódi ϑ(0) paraméter különbségére. Vezessük be az U_{l}(n) = ∑_{j=1}^{n} η_{j,l}(n) és V_{l,m}(n) = ∑_{j=1}^{n} ζ_{j,l,m}(n) mennyiségeket. Segítségükkel felírhatjuk az

∑_{m=1}^{k} V_{l,m}(n)(ϑ̂_{m}(n) − ϑ_{m}(0)) = −U_{l}(n), l = 1, …, k,

lineáris egyenletrendszert. Innen

(ϑ̂_{1}(n) − ϑ_{1}(0), …, (ϑ̂_{k}(n) − ϑ_{k}(0)) = −(U_{1}(n), …, U_{k}(n))Z(n)^{−1}, (11)

ahol Z(n) a Z(n) = (V_{l,m}(n)), l, m = 1, …, k mátrix.

Az egydimenziós esethez hasonló számolás adja, hogy EU_{l} = 0, l = 1, …, k, és az \frac{1}{\sqrt{n}}(U_{1}(n), …, U_{k}(n)) vektor a centrális határeloszlástétel szerint eloszlásban konvergál egy nulla várható értékű és I(ϑ_{0}) kovarianciamátrixú normális eloszláshoz, ahol I(ϑ_{0}) a Fisher információ mátrix. Másrészt a nagy számok törvénye alkalmazható mindegyik V_{l,m}(n), l, m = 1, …, k, valószínűségi változóra, és az azt adja, hogy az \frac{1}{n}(V_{l,m}(n)) = \frac{1}{n}Z(n), l, m = 1, …, k, mátrix egy valószínűséggel konvergál az I(ϑ_{0}) mátrixhoz, ezért inverze konvergál e mátrix inverzéhez.

Ezen eredmények alapján nem nehéz belátni, felhasználva a (11) formulát, hogy a \sqrt{n}(ϑ̄(n) − ϑ(0)) (normalizált) maximum likelihood becslés hibája aszimptotikusan nulla várható értékű normális eloszlású valószínűségi változó, amelynek kovarianciája

lim_{n→∞} nE[(U_{1}(n), …, U_{k}(n))Z(n)^{−1}]^{∗}[(U_{1}(n), …, U_{k}(n))Z(n)^{−1}]

= I(ϑ_{0})^{−1}E (\frac{1}{n}[(U_{1}(n), …, U_{k}(n))]^{∗}(U_{1}(n), …, U_{k}(n))) I(ϑ_{0})^{−1}

= I(ϑ_{0})^{−1},

mert lim_{n→∞} nZ(n)^{−1} = I(ϑ_{0})^{−1}, és

lim_{n→∞} E (\frac{1}{n}[(U_{1}(n), …, U_{k}(n))]^{∗}(U_{1}(n), …, U_{k}(n))) = I(ϑ_{0}).

Ez azt jelenti, hogy szép, reguláris esetekben a normalizált maximum likelihood becslés hibája, azaz a \sqrt{n}(ϑ̄(n) − ϑ(0)) kifejezés aszimptotikusan normális eloszlású, nulla várható értékkel és I(ϑ_{0})^{−1} kovariancia mátrixszal.

Végül összehasonlítom a maximum likelihood becslés hibájáról kapott eredményt a Kramer–Rao egyenlőtlenség állításával abban az esetben, ha k-dimenziós reguláris modelleket tekintünk.

Legyen adva független, egyforma eloszlású ξ_{1}, …, ξ_{n} valószínűségi változók sorozata f_{ϑ(0)}(x) sűrűségfüggvénnyel, ahol ϑ(0) ∈ Θ, létezik f_{ϑ}(x) sűrűségfüggvény minden ϑ ∈ Θ paraméterre, azok szépen viselkednek, és Θ egy nyílt halmaz a k-dimenziós Euklideszi térben. Tekintsük a ϑ(0) paraméter ϑ̂(n) maximum likelihood becslését. Legyen ψ(·) egy sima függvény a Θ halmazon, és vizsgáljuk a ψ(ϑ̂(n)) − ψ(ϑ(0)) különbség aszimptotikus viselkedését nagy n paraméterre.

Mivel ϑ̂(n)) − ϑ(0)) kicsi, (nagyságrendje O(n^{−1/2})), ezért a

Z(n) = ∑_{l=1}^{k} \frac{∂}{∂ϑ_{l}} ψ(ϑ(0))((ϑ̂_{l}(n)) − ϑ_{l}(0))

kifejezés jó közelítése a ψ(ϑ̂(n)) − ψ(ϑ(0)) különbségnek. A \sqrt{n}Z(n) és \sqrt{n}(ψ(ϑ̂(n)) − ψ(ϑ(0))) kifejezéseknek ugyanaz a határeloszlása. Viszont \sqrt{n}Z(n) határeloszlását tudjuk a maximum likelihood becslésre vonatkozó centrális határeloszlástétel alapján. Valóban, abból, hogy \sqrt{n}(ϑ̂(n) − ϑ(0)) határeloszlása a k-dimenziós normális eloszlás I(ϑ(0))^{−1} kovariancia mátrixszal és nulla várható értékkel, következik, hogy \sqrt{n}Z(n) határeloszlása a normális eloszlás nulla várható értékkel és σ^{2}(ϑ(0) szórásnégyzettel, ahol

σ^{2}(ϑ(0)) = (\frac{∂}{∂ϑ_{1}} ψ(ϑ(0)), …, \frac{∂}{∂ϑ_{k}} ψ(ϑ(0))) I(ϑ(0))^{−1}

(\frac{∂}{∂ϑ_{1}} ψ(ϑ(0)), …, \frac{∂}{∂ϑ_{k}} ψ(ϑ(0)))^{∗} .

Ezért \sqrt{n}(ψ(ϑ̂(n)) − ψ(ϑ(0))) határeloszlása is a normális eloszlás nulla várható értékkel és σ^{2}(ϑ(0)) szórásnégyzettel.

Érdemes ezt az eredményt összehasonlítani a Cramer–Rao egyenlőtlenséggel. Utóbbi azt állítja hogy a ψ(ϑ(0)) függvény bármely torzítatlan ϑ̄(n) = T (ξ_{1}, …, ξ_{n}) becslésére Var (\sqrt{n}[ϑ̄(n) − ψ(ϑ(0))]) ≥ σ^{2}(ϑ(0)). Ez azt jelenti, hogy a ψ(ϑ̂(n)) maximum likelihood becslés szórásnégyzete aszimptotikusan nem nagyobb, mint ψ(ϑ(0)) bármely torzítatlan becsléséé.

Kiegészítés.

A most tárgyalt maximum likelihood becslés elve általánosabb feltételek mellett is alkalmazható. A módszer lényege az, hogy olyan paramétert keresünk, amelyre a hozzá tartozó eloszlás esetén a megfigyelt minta sűrűségfüggvényének az értéke az adott helyen a lehető legnagyobb. Lehet, hogy nem abszolút, hanem csak lokális maximumot keresünk. Az ismertetett vázlatos bizonyítással indokolt eredmény arról szólt, hogy szép esetekben ezt a szélsőértéket, tehát a maximum likelihood becslést a sűrűségfüggvény értékének a paraméter szerinti deriválása segítségével megkapjuk, és ilyen módon egy nagyon jó tulajdonságokkal rendelkező becsléshez jutunk. De ezt a módszert olyan esetekben is alkalmazhatjuk, amikor az ebben a tárgyalásban felhasznált regularítási feltételek nem teljesülnek, például a maximumot nem tudjuk differenciálás segítségével megtalálni. De a maximum likelihood becslés elve ilyenkor is alkalmazható, tehát a keresett maximumot ilyenkor is megkereshetjük, és a kapott maximumot tekinthetjük a maximum likelihood becslés értékének. Ez az eljárás gyakran ad jó eredményt. Az alábbi példa tanulságos lehet.

Legyen adva egy n elemű független egyforma eloszlású valószínűségi változókból álló X = (X_{1}, …, X_{n}) minta, amelynek X_{j}, 1 ≤ j ≤ n, elemei egyenletes eloszlásúak egy [ϑ, ϑ + 1] intervallumban, ahol ϑ ∈ R^{1} ismeretlen paraméter, és ezt akarjuk megbecsülni megfigyelésünk alapján. Értsük meg, hogy milyen módszert javasol a maximum likelihood becslés elve ebben az esetben.

Ekkor a megfigyelt minta eloszlásának van sűrűségfüggvénye (a Lebesgue mérték szerint), amely így írható fel: f_{ϑ}(x_{1}, …, x_{n}) = 1, ha ϑ ≤ x_{j} ≤ ϑ + 1 minden 1 ≤ j ≤ n indexre, és f_{ϑ}(x_{1}, …, x_{n}) = 0 egyébként. Érdemes ezt olyan egyszerűbb alakban felírni, amelyben ez az f_{ϑ}(·) sűrűségfüggvény nem n hanem csak két változó függvénye. Ennek érdekében vezessük be a a következő T: R^{n} → R^{2} leképezést.

T (x_{1}, x_{2}, …, x_{n}) = (min(x_{1}, …, x_{n}), max(x_{1}, …, x_{n})).

Definiáljuk továbbá a következő g_{ϑ}: R^{2} → R^{1} függvényt. g_{ϑ}(x, y) = 1, ha ϑ ≤ x ≤ y ≤ ϑ + 1, és g_{ϑ}(x, y) = 0 egyébként.

Ezzel a választással érvényes az

f_{ϑ}(x_{1}, …, x_{n}) = g_{ϑ}(T (x_{1}, …, x_{n}))

azonosság.

Az f_{ϑ}(x_{1}, …, x_{n}) függvénynek a maximumhelyét úgy keressük, mint a g_{ϑ}(T (x_{1}, …, x_{n})) függvény maximumhelyét. Ez a maximumhely nem egyértelmű. Olyan ϑ̂ értékekre vétetik fel, amelyekre y − 1 ≤ ϑ̂ ≤ x, ahol

x = min(x_{1}, …, x_{n}), y = max(x_{1}, …, x_{n}).

Ilyen ϑ̂ értékekre lesz gϑ̂(T (x_{1}, …, x_{n})) = 1. Ez azt jelenti, hogy a maximum likelihood becslés ebben az esetben nem egyértelmű. Definiáljuk a legkisebb X_{(1)} = min(X_{1}, …, X_{n}) és legnagyobb X_{(n)} = max(X_{1}, …, X_{n}) elemet az X = (X_{1}, …, X_{n}) mintából. Egy maximum likelihood becslést úgy kapunk, mint ezen X_{(1)} és X_{(n)} elemek S(X_{(1)}, X_{(n)}) függvényét alkalmas S(x, y) függvénnyel. Az S(X_{(1)}, X_{(n)}) valószínűségi változó akkor lesz maximum likelihood becslés, ha y − 1 ≤ S(x, y) ≤ x az S(x, y) függvényre minden olyan (x, y) pontpárra, amelyre x ≤ y ≤ x + 1.

Ezen maximum likelihood becslések közül a legtermészetesebb a ϑ̂_{n} = \frac{X_{(1)}+X_{(n)}}{2} − \frac{1}{2} becslés, azaz a ϑ̂_{n} = S(X_{(1)}, X_{(n)}) becslés az S(x, y) = \frac{x+y}{2} − \frac{1}{2} függvénnyel. Ez analóg a várható értéknek a mintaelemek átlaga szerinti becslésével, ami jó becslés reguláris esetekben, de itt másfajta átlagot érdemes venni. Vegyük észre, hogy a Neyman–Fisher faktorizációs tétel alapján T (X_{(1)}, X_{(n)}) elégséges statisztika. (Általában a maximum likelihood becslések elégséges statisztikán alapulnak, és ezt nem nehéz látni a Neyman–Fisher faktorizációs tétel segítségével.) Lássuk be, hogy ez a becslés torzítatlan, és számoljuk ki a szórásnégyzetét.

Feladatok:

Bizonyítsa be, hogy ha X_{1}, …, X_{n} független, egyforma eloszlású valószínűségi változók egyenletes eloszlással a [ϑ, ϑ + 1] intervallumban, akkor az (X_{(1)}, X_{(n)}) véletlen vektor sűrűségfüggvénye, ahol X_{(1)} = min(X_{1}, …, X_{n}) és X_{(n)} = max(X_{1}, …, X_{n}) az a g(x, y) függvény, amelyre

g(x, y) = n(n−1)(y−x)^{n−2}, ha ϑ ≤ x ≤ y ≤ ϑ+1, és g(x, y) = 0 egyébként.

Mutassa meg, hogy a ϑ̂_{n} = \frac{X_{(1)}+X_{(n)}}{2} − \frac{1}{2} becslés torzítatlan, és szórásnégyzete \frac{1}{2(n+1)(n+2)}.

Megjegyzés. S Cramer–Rao egyenlőtlenség alapján bizonyos regularitási feltételek teljesülése esetében egy torzítatlan becslés hibájának a szórásnégyzete nagyobb, mint \frac{const.}{n}. Ebben a példában ez a szórásnégyzet O(\frac{1}{n^{2}} ), viszont nem teljesülnek a Cramer–Rao egyenlőtlenség feltételei.

Segítség. A következő integrált kell kiszámolni a ϑ̂_{n} = \frac{X_{(1)}+X_{(n)}}{2} − \frac{1}{2} becslés szórásnégyzetének kiszámításához:

∫_{\{(x,y): ϑ≤x≤y≤ϑ+1\}} n(n − 1)(y − x)^{n−2} (\frac{(x + y)}{2} − \frac{1}{2} − ϑ)^{2} dx dy.

Érdemes az u = y − x, v = x + y − 1 − 2ϑ változó transzformációt elvégezni, amelynek Jacobi determinánsa 2. Az előző integrál a következőképp fejezhető ki az u és v változók segítségével:

\frac{n(n − 1)}{2} ∫_{\{(u,v)∈D\}} u^{n−2} · \frac{v^{2}}{4} du dv,

ahol D = {(u, v): 0 ≤ u ≤ 1, u − 1 ≤ v ≤ 1 − u}.

Tekintsük a következő feladatot. Legyenek X_{1}, …, X_{n} független, egyforma eloszlású valószínűségi változók egyenletes eloszlással a [0, ϑ] intervallumban valamilyen ϑ > 0 paraméterrel. Határozza meg a ϑ paraméter maximum likelihood becslését az X = (X_{1}, …, X_{n}) minta alapján, és számolja ki e becslés hibájának várható értékét és szórásnégyzetét.

Segítség. Először a maximum likelihood becslés meghatározásával foglalkozunk. Ennek módszerét ismertetem röviden. Az X = (X_{1}, …, X_{n}) minta sűrűségfüggvénye f_{ϑ}(x_{1}, …, x_{n}) = ϑ^{−n}, ha 0 ≤ x_{j} ≤ ϑ, 1 ≤ j ≤ n, és f_{ϑ}(x_{1}, …, x_{n}) = 0 egyébként. Írjuk ezt fel egyszerűbb, számunkra hasznosabb alakban. Definiáljuk az y = T (x_{1}, …, x_{n}) függvényt a következő módon. Legyen

T (x_{1}, …, x_{n}) = max(x_{1}, …, x_{n}), ha x_{j} ≥ 0 minden 1 ≤ j ≤ n indexre,

T (x_{1}, …, x_{n}) = 0 egyébként. Legyen g_{ϑ}(x) = ϑ^{−n}, ha 0 < x ≤ ϑ, és g_{ϑ}(x) = 0 egyébként, és legyen X_{(n)} = max(X_{1}, …, X_{n}). Ekkor

f_{ϑ}(x_{1}, …, x_{n}) = g_{ϑ}(T (x_{1}, …, x_{n})),

és ez maximumát a ϑ = T (x_{1}, …, x_{n}) paraméterre veszi fel. Ezért a maximum likelihood becslés a ϑ̂ = T (X_{1}, …, X_{n}) = X_{(n)} becslés. Jegyezzük meg, hogy X_{(n)} sűrűségfüggvényét a h_{ϑ}(x) = nx^{n−1}ϑ^{−n}, ha 0 ≤ x ≤ ϑ, és h_{ϑ}(x) = 0 egyébként képlet határozza meg. Ez lehetővé teszi a a ϑ̂_{n} = X_{(n)} maximum likelihood becslés várható értékének és szórásnégyzetének kiszámítását.

Tekintsük a következő feladatot. Határozzuk meg egy normális eloszlású, azaz f_{μ,σ}(x) = \frac{1}{\sqrt{2π}σ}e^{−(x−μ)^{2}/2σ^{2}} sűrűségfüggvényű valószínűségi változó μ és σ paraméterét egy X = (X_{1}, …, X_{n}) minta ismeretében a maximum likelihood becslés módszerével. Tekintsük azt az esetet, amikor mind a μ mind a σ paraméter ismeretlen, és a (μ, σ) párt akarjuk megbecsülni, és azt az esetet is, amikor az egyik paraméter értéke ismert, és a másik paramétert akarjuk megbecsülni.