A december 5-i szeminárium témája Rövid összefoglaló

A matematikai statisztika rendkívül fontos témái a becsléselmélet, a hipotézisvizsgálat és konfidenica intervallumok meghatározása. A gyakorlat utolsó két óráján ezzekkel a témákkal foglalkozunk. Ennek a gyakorlatnak a témája a becsléselmélet. A tipikus becsléselméleti problémák a következő jellegűek.

Adott független, egyforma eloszlású valószínűségi változók egy ξ_{1}, …, ξ_{n} sorozata, melyek eloszlása valamely F_{ϑ}(·) eloszlásfüggvény valamilyen ismeretlen ϑ paraméterrel. Becsüljük meg ezt a ϑ paramétert, azaz az F_{ϑ}(·) eloszlásfüggvényt minél jobban. Formálisan, definiáljunk olyan T_{n}(x_{1}, …, x_{n}) n-változós függvényt, melyre a megfigyelt véletlen ξ_{1}, …, ξ_{n} sorozat segítségével kiszámítható ϑ̂_{n} = T_{n}(ξ_{1}, …, ξ_{n}) valószínűségi változó valamilyen értelemben jól közelíti az ismeretlen ϑ paramétert. Vizsgálhatjuk azt az általánosabb problémát, amikor az ismeretlen F_{ϑ_{1},...,ϑ_{k}}(·) eloszlásfüggvény k ismeretlen ϑ_{1}, …, ϑ_{k} paramétertől függ, (ahol k valamely rögzített egész szám,) és becsüljük meg az összes ϑ_{1}, …, ϑ_{k} paramétert. Előfordulhat olyan eset is, amikor ezen ismeretlen paraméterek közül csak néhányat akarunk megbecsülni, de nem mindegyiket. Az ilyen jellegű problémákat nevezzük paraméteres becslési problémának. Előfordulhat, hogy a következő problémával foglalkozunk. Adott független, egyforma eloszlású valószínűségi változók egy ξ_{1}, …, ξ_{n} sorozata, melyek eloszlása valamely ismeretlen F (·) eloszlásfüggvény. Jelen esetben nem tudunk semmit az ismeretlen eloszlásfüggvényről. Becsüljük meg a ξ_{k} valószínűségi változók várható értékét, szórásnégyzetét vagy az eloszlását. Az ilyen problémákat hívják nem paraméteres becslésproblémának. Először tekintünk néhány példát.

1. Egy pénzdarabot sokszor egymás után feldobunk. Becsüljük meg annak a valószínűségét, hogy a pénzdarab a fej-oldalra esik. Írjunk 1-t fejdobás és 0-t írásdobás esetén. Ekkor a probléma formálisan a következő módon fogalmazható meg: Adott független B(1, p) eloszlású (binomiális eloszlású, 1 és p paraméterekkel), valószínűségi változók ξ_{1}, …, ξ_{n} sorozata (az egyes dobások eredményei), ahol a p paraméter ismeretlen. Becsüljük meg ezt az ismeretlen p paramétert.

A természetes becslés, p̂_{n} = \frac{1}{n} ∑_{k=1}^{n} ξ_{k}, azaz T_{n}(x_{1}, …, x_{n}) = \frac{1}{n} ∑_{k=1}^{n} x_{k}. Ekkor

p̂_{n} = T_{n}(ξ_{1}, …, ξ_{n}) = \frac{1}{n} ∑_{k=1}^{n} ξ_{k} = \frac{A fejdobások száma}{n}.

A nagy számok törvénye szerint p̂_{n} ⇒ p, ahol ⇒ sztochasztikus konvergenciát jelöl, azaz lim_{n→∞} P (|p̂_{n} − p| > ε) → 0 minden ε > 0 számra.

2. Arra vagyunk kiváncsiak, hogy egy dobókocka milyen valószínűséggel esik különböző oldalaira. Ennek meghatározása érdekében a dobókockát feldobjuk sokszor, és megjegyezzük, hogy a különböző dobások során melyik oldalára esett a kocka.

Formálisan megfogalmazva a probléma a következő: Adott F_{p_{1},...,p_{6}} eloszlássorozat, (ez az eloszláscsalád valójában csak 5 paramétertől függ, mert a p_{1} + ⋯ + p_{6} = 1 reláció teljesül.) úgy, hogy egy F_{p_{1},...,p_{6}} eloszlású ξ valószínűségi változóra P (ξ = j) = p_{j}, j = 1, 2, …, 6. Becsüljük meg az ismeretlen p_{j} paramétereket. A természetes becslés a következő:

p̂_{j} = \frac{A j eredményű dobások száma}{n}, 1 ≤ j ≤ 6.

Formálisan, p̂_{j} = T_{j}(ξ_{1}, …, ξ_{n}), 1 ≤ j ≤ n, ahol

T_{j}(x_{1}, …, x_{n}) = \frac{a j értékek száma az x_{1}, …, x_{n} sorozatban}{n}.

A nagy számok törvénye alapján érvényes a p̂_{j} ⇒ p_{j}, 1 ≤ j ≤ 6 reláció, ahol ⇒ sztochasztikus konvergenciát jelöl. E feladat egy módosított változata: Az előző problémát tekintjük, de minket csak az érdekel, hogy milyen valószínűséggel esik a kocka a hatos oldalra. Ez egy természetes példa arra, amikor egy több paramétertől függő eloszláscsaládot figyelünk meg, de minket csak néhány, (jelen esetben egy) paraméter értéke érdekel.

3. Ledobunk egymástól függetlenül n pontot, melyek egy [ϑ, ϑ+1] intervallumba esnek egyenletes eloszlással, azaz annak valószínűsége, hogy egy pont a [ϑ, ϑ + 1] egy részintervallumába esik megegyezik ennek az intervallumnak a hosszával. Jelölje ξ_{1}, …, ξ_{n} a ledobott pontok helyét. Becsüljük meg ezek ismeretében az ismeretlen ϑ paramétert. Erről a feladatról már volt szó a november 14-i gyakorlaton. Megbeszéltük, hogy

két természetes becslés jelenik meg. Az egyik: ϑ̃_{n} = \frac{ξ_{1} + ⋯ + ξ_{n}}{n} − \frac{1}{2}, a másik ϑ̂_{n} =

\frac{ξ_{1}^{∗} + ξ_{n}^{∗}}{n} − \frac{1}{2}, ahol ξ_{1}^{∗} < ξ_{2}^{∗} < ⋯ < ξ_{n}^{∗}, a ξ_{1}, …, ξ_{n} (véletlen) számok nagyság szerinti sorrendbe rakva. (Ezt hívják az irodalomban rendezett mintának.) Láttuk, hogy mind a két becslés jó, de a második becslés jobb az elsőnél a következő értelemben: Eϑ̃_{n} = ϑ, és Eϑ̂_{n} = ϑ, azaz mind a két becslés várható értéke megegyezik a keresett paraméterrel. Viszont a várható érték körüli ingadozást természetes módon

mérő szórásnégyzetekre a következő reláció érvényes: Var ϑ̃_{n} = \frac{1}{12n}, és Var ϑ̂_{n} =

\frac{1}{2(n + 1)(n + 2)}. Ezért Var ϑ̃_{n} ≥ Var ϑ̂_{n} minden n ≥ 2 számra.

4. Legyen egy lámpa élettartama exponenciális eloszlású valószínűségi változó ismeretlen λ paraméterrel, azaz f(x) = λe^{−λx}, ha x ≥ 0, és f(x) = 0, ha x ≤ 0. Megvizsgáljuk n lámpa élettertamát. Ezek (egymástól független) ξ_{1}, …, ξ_{n} exponenciális eloszlású valószínűségi változók λ paraméterrel. Becsüljük meg a λ paramétert. Első ránézésre nem tudunk kitalálni egy természetes becslést erre a λ paraméterre. Természetes kívánság egy olyan általános elv megfogalmazása, mely az általános esetben, például erre a problémára is egy jó módszert ad egy ismeretlen paraméter becslésére. Ilyen módszer az alább ismertetett maximum likelihood módszer. Ez általános elvet fogalmaz meg ismeretlen paraméter(ek) becslésére. Másik jó tulajdonsága a maximum likelihood módszernek az, hogy bizonyos itt nem ismertetett eredmények azt mondják ki, hogy a maximum likelihood módszer általános feltételek esetén nagy mintaelemszám esetén aszimptotikusan optimális eljárást nyújt.

Maximum likelihood módszer. Legyen adva eloszlásfüggvényeknek egy λ vagy véges sok (λ_{1}, …, λ_{k}) valós számal paraméterezett családja, melyeknek van

f_{λ}(x) = f(λ, x) vagy f_{λ_{1},...,λ_{k}}(x) = f(λ_{1}, …, λ_{k}, x), −∞ < x < ∞,

alakú sűrűségfüggvényük. Legyen ξ_{1}, …, ξ_{n} független, egyforma eloszlású valószínűségi változók sorozata ezzel az f_{λ}(x) = f(λ, x) vagy f(λ_{1}, …, λ_{k}, x) sűrűségfüggvénnyel az ismeretlen λ paraméterrel vagy ismeretlen (λ_{1}, …, λ_{k}) paramétercsaláddal. Ekkor

a ξ_{1}, …, ξ_{n} sorozat együttes sűrűségfüggvénye az f(λ, x_{1}, …, x_{n}) = ∏_{j=1}^{n} f(λ, x_{j}) il-

letve az f(λ_{1}, …, λ_{k}, x_{1}, …, x_{n}) = ∏_{j=1}^{n} f(λ_{1}, …, λ_{k}, x_{j}) n-dimenziós sűrűségfüggvény.

Helyettesítsük be ebbe a paraméterektől függő sűrűségfüggvénybe a megfigyelt ξ_{1}, …, ξ_{n} valószínűségi változókat, azaz tekintsük az

f(λ_{1}, …, λ_{k}, ξ_{1}, …, ξ_{n}) illetve az f(λ_{1}, …, λ_{k}, ξ_{1}, …, ξ_{n})

valószínűségi változót. Azt mondjuk, hogy a λ̂(ξ_{1}, …, ξ_{n}) (véletlen) szám maximum likelihood becslése a λ paraméternek, a λ̂_{j}(ξ_{1}, …, ξ_{n}), 1 ≤ j ≤ k, (véletlen) k dimenziós vektor maximum likelihood becslése a (λ_{1}, …, λ_{k}) vektornak, ha ez a szám illetve vektor (lokális) maximuma az f(λ, ξ_{1}, …, ξ_{n}) illetve az f(λ_{1}, …, λ_{k}, ξ_{1}, …, ξ_{n}) függvénynek rögzített ξ_{1}, …, ξ_{n} számra.

Megjegyzés: A maximum likelihood becslésben lehet a sűrűségfüggvény maximuma

helyett annak logaritmusát vizsgálni, azaz a log f(λ, ξ_{1}, …, ξ_{n}) = ∑_{j=1}^{n} log f(λ, ξ_{j}), illetve

a log f(λ_{1}, …, λ_{k}, ξ_{1}, …, ξ_{n}) = ∑_{j=1}^{n} log f(λ_{1}, …, λ_{k}, ξ_{j}) függvény maximumát keresni.

Ez a

∑_{j=1}^{n} \frac{d log f(λ, ξ_{j})}{dλ} = 0

egyenlethez, illetve az

∑_{j=1}^{n} \frac{log f(λ_{1}, …, λ_{k}, ξ_{j})}{∂λ_{j}} = 0, 1 ≤ j ≤ k,

egyenletrendszerhez vezet.

2. Megjegyzés: A maximum likelihood becslés módszer természetes módon megfogalmazható abban az esetben is, amikor a vizsgált eloszlásfüggvénycsalád eloszlásfüggvényeinek nincs sűrűségfüggvényük, hanem például rácsos eloszlásúak. Ebben az esetben, ha az eloszlások bizonyos m értékeket vehetnek fel p_{λ}(m) = p(λ, m) vagy p_{λ_{1},...,λ_{k}}(m) = p(λ_{1}, …, λ_{k}, m) valószínűséggel, (∑_{m} p(λ, m) = 1, illetve ∑_{m} p(λ_{1}, …, λ_{k}, m) = 1.) Meg-

figyelünk egymástól független ξ_{j} = m_{j}, 1 ≤ j ≤ n, értékeket, és a maximum likelihood elv

alapján a ∏_{j=1}^{n} p(λ, m_{j}), illetve ∏_{j=1}^{n} p(λ_{1}, …, λ_{k}, , m_{j}) kifejezés maximumát adó λ̂ illetve

λ̂_{j}, 1 ≤ j ≤ k, értékek adják meg a maximum likelihood becslést.

Számítsuk ki, hogy milyen becslést sugall a maximum likelihood módszer a most vizsgált probléma esetében.

Jelen esetben a (ξ_{1}, …, ξ_{n}) vektor sűrűségfüggvénye a

∏_{j=1}^{n} λe^{−λx_{j}} = λ^{n} exp {−λ ∑_{k=1}^{n} x_{j}}

függvény. Ennek logaritmusa az n log λ−λ ∑_{k=1}^{n} x_{j} függvény. Ezért a maximum likelihood

módszer az \frac{n}{λ̂_{n}} = ∑_{j=1}^{n} ξ_{j} egyenlethez és a λ̂_{n} = \frac{n}{∑_{j=1}^{n} ξ_{j}} becsléshez vezet. Jegyezzük meg,

hogy egy λ paraméterű exponenciális eloszlású valószínűségi változó várható értéke \frac{1}{λ}.

Ezért a nagy számok törvénye azt adja, hogy λ̂_{n} ⇒ λ.

Nézzük meg milyen becslést sugall a maximum likelihood módszer a korábban tárgyalt problémákban. Az első feladatban, amikor egy pénzdarab fej oldalára való eséseének a valószínűségét kell becsülnünk, jelöljük k-val a fejdobások (véletlen) számát n dobás esetén. Ekkor p paraméter esetén annak a valószínűsége, hogy pontosan k fej-

dobás következett be P_{p}(k) = \binom{n}{k}p^{k}(1 − p)^{n−k}, ennek logaritmusa pedig log P_{p}(k) =

const. (k log p + (n − k) log(1 − p)), ahol a const. függhet a k számtól, de nem függ az ismeretlen p paramétertől. Ezért a maximum likelihood módszer által sugallt a p

paraméter szerinti deriválás a \frac{k}{p̂_{n}} − \frac{n − k}{1 − p̂_{n}} = 0 egyenlethez, és a p̂_{n} = \frac{k}{n} becsléshez

vezet. Ez az eredetileg megadott becslés.

A második feladatban hasonló a helyzet. Annak a valószínűsége, hogy k_{j} j-es dobás következik be n kisérletben, 1 ≤ j ≤ 6, k_{1} + ⋯ + k_{6} = n, p_{j}, 1 ≤ j ≤ 6 esetében

P_{p_{1},...,p_{6}} = \frac{n!}{k_{1}! ⋯ k_{6}!}p_{1}^{k_{1}} ⋯ p_{6}^{k_{6}} = \frac{n!}{k_{1}! ⋯ k_{6}!}p_{1}^{k_{1}} ⋯ p_{5}^{k_{5}}(1 − p_{1} − ⋯ − p_{5})^{k_{6}}.

E kifejezésben logaritmust véve, majd az így kapott kifejezésnek véve a parciális deriváltját a p_{1}, ⋯, p_{5} változók szerint kapjuk a

\frac{k_{j}}{p̂_{j,n}} = \frac{k_{6}}{1 − p̂_{1,n} − ⋯ − p̂_{5,n}} , 1 ≤ j ≤ 5,

egyenleteket. Ezeket az egyenleteket összehasonlítva (és felhasználva, hogy az egyenletek

jobboldala nem függ a j indextől) kapjuk, hogy \frac{p̂_{j,n}}{p̂_{s,n}} = \frac{k_{j}}{k_{s}} minden 1 ≤ j, s ≤ 6 számra,

azaz Cp̂_{j,n} = k_{j}, 1 ≤ j ≤ 5, valamilyen ismeretlen C konstanssal. Ezt beírva az

egyenletekbe kapjuk, hogy k_{6} = C − (k_{1} + ⋯ + k_{5}), ahonnan mivel ∑_{j=1}^{6} k_{j} = n, C = n,

és p̂_{j,n} = \frac{k_{j}}{n}. Azaz a maximum likelihood módszer ebben az esetben is az eredetileg javasolt becslést adja. Megjegyezzük, hogy a fenti szélsőérték feladatot egyszerűbben kiszámíthattuk volna a feltételes szélsőérték kiszámítására kidolgozott Lagrange féle multiplikátor módszerrel.

A harmadik feladatban a (ξ_{1}, …, ξ_{n}) véletlen vektor sűrűségfüggvénye 1, ha mindegyik (ξ_{1}, …, ξ_{n}) pont a [ϑ, ϑ+1] intervallum belsejében van, azaz ϑ ≤ ξ_{1}^{∗} < ξ_{n}^{∗} ≤ ϑ+1, egyébként pedig zéró. Ezért a vizsgálandó függvénynek nincs szigorú maximuma. Viszont szimmetriaokokból természetes azt a becslést tekinteni, melyre a [ϑ̂_{n}, ϑ̂_{n} +1] inter-

vallum a [ξ_{1}^{∗}, ξ_{n}^{∗}] intervallumot középen tartalmazza, és ez a tekintett ϑ̂_{n} = \frac{ξ_{1}^{∗} + ξ_{n}^{∗}}{2} − \frac{1}{2} becslés.

5. Tekintsük a következő feladatot. Megfigyelünk ξ_{1}, …, ξ_{n} független, azonos eloszlású valószínűségi változókat ismeretlen F (x) eloszlásfüggvénnyel. Becsüljük meg: a. Az ismeretlen F (x) eloszlásfüggvényt, b. A ξ_{j} valószínűségi változók várható értéket, c. A ξ_{j} valószínűségi szórásnégyzetét. Ezek a feladatok tipikus példái az úgynevezett nem parametrikus becsléselméletnek. Ugyanis nem lehet az összes lehetséges eloszlásfüggvényt természetes módon véges sok paraméterrel paraméterezni.

a. Az a.) esetben, az F (x) eloszlásfüggvény becslése esetén természetes becslés az úgynevezett empirikus eloszlásfüggvény, azaz

F_{n}(x) = F_{n}(x, ξ_{1}, …, ξ_{n}) = \frac{Azon 1 ≤ k ≤ n indexek száma, melyekre ξ_{k} < x}{n},
− ∞ < x < ∞.

Be lehet látni, hogy sup_{−∞<x<∞} |F_{n}(x) − F (x)| ⇒ 0, ha n → ∞ minden F eloszlás-

függvény esetén. Ez az órán is tárgyalt eredmény azt a tényt fejezi ki, hogy az empirikus eloszlásfüggvény valóban jó becslése az eloszlásfüggvénynek. b. A várható érték természetes becslése M_{n} = M_{n}(ξ_{1}, …, ξ_{n}) = \frac{1}{n} ∑_{k=1}^{n} ξ_{k}. Nem

nehéz belátni, hogy EM_{n}(ξ_{1}, …, ξ_{n}) = Eξ_{1}. Továbbá, a nagy számok törvénye alapján M_{n}(ξ_{1}, …, ξ_{n}) ⇒ Eξ_{1}, ahol ⇒ sztochasztikus konvergenciát jelöl. c. A Szórásnégyzet szokásos becslése a következő becslés: D_{n}^{2} = D_{n}^{2}(ξ_{1}, …, ξ_{n}) =

\frac{1}{n − 1} ∑_{k=1}^{n} (ξ_{k} − M_{n})^{2}, ahol az M_{n} = M_{n}(ξ_{1}, …, ξ_{n}) számot az előzőekben

definiáltuk. Talán meglepő, hogy ebben a képletben n − 1-gyel osztottunk és nem n-nel. Ennek egyébként nagy n mintaelemszám esetén kicsi a jelentősége. Ennek oka az, hogy mint azt némi (nem nehéz) számolás mutatja, ezzel a választással ED_{n}^{2}(ξ_{1}, …, ξ_{n}) = Var ξ_{1}. Némi további számolás azt is mutatja, hogy lim_{n→∞} Var D_{n}^{2}(ξ_{1}, …, ξ_{n}) = 0. Ezekből az eredményekből, illetve

a Csebisev egyenlőtlenségből kapjuk, hogy D_{n}^{2}(ξ_{1}, …, ξ_{n}) ⇒ Var ξ_{1}, ahol ⇒ sztochasztikus konvergenciát jelöl.

Végül megfogalmazunk néhány fontos fogalmat, elvet, melyek fontosak a becsléselméletben.

Legyen adva F_{λ}(x), valószínűségi eloszlások egy családja, és adott n-re ξ_{1}, …, ξ_{n} független, egyforma eloszlású valószínűségi változók sorozata, F_{λ} eloszlással, ahol λ ismeretlen paraméter. Azt mondjuk, hogy egy n-változós T (x_{1}, …, x_{n}) = T_{n}(x_{1}, …, x_{n}) függvény becslést ad az ismeretlen λ paraméterre, ha az ismeretlen λ paramétert a λ̂_{n} = λ̂_{n}(ξ_{1}, …, ξ_{n}) = T_{n}(ξ_{1}, …, ξ_{n}) valószínűségi változó segítségével becsüljük meg. A λ̂_{n}, illetve e valószínűségi változó függvényeinek eloszlása függ az F_{λ} eloszlástól, ezért a λ paramétertől. Ezt jelölendő, a továbbiakban P_{λ}-val fogjuk jelölni azokat a valószínűségeket, melyek az F_{λ}(·) eloszlású ξ_{1}, …, ξ_{n} valószínűségi változóktól függ.

Becslések konzisztenciája. Az előbb bevezetett jelöléseket használva azt mondjuk, hogy a T_{n}(x_{1}, …, x_{n}), n = 1, 2, …, becslőfüggvények konzisztens becslést adnak, ha

λ̂_{n} = T_{n}(ξ_{1}, …, ξ_{n}) ⇒ λ minden λ paraméterre,

ahol ⇒ sztochasztikus konvergenciát jelöl, azaz lim_{n→∞} P_{λ} (|λ̂_{n} − λ| > ε) = 0 minden lehetséges λ paraméterre és ε > 0 számra.

Becslés torzítatlanságának definiciója. Az előbb bevezetett jelöléseket használva azt mondjuk, hogy a λ̂_{n} = λ̂_{n}(ξ_{1}, …, ξ_{n}) = T_{n}(x_{1}, …, x_{n}) becslés torzítatlan, ha

E_{λ}λ_{n}(ξ_{1}, …, ξ_{n}) = λ minden λ paraméterre.

A λ̂_{n} = λ̂_{n}(ξ_{1}, …, ξ_{n}) = T_{n}(x_{1}, …, x_{n}) becsléssorozat, n = 1, 2, …, aszimptotikusan torzítatlan, ha

lim_{n→∞} E_{λ}λ_{n}(ξ_{1}, …, ξ_{n}) = λ minden λ paraméterre.

A becsléselméletben gyakran keresnek olyan torzítatlan λ̂_{n} = λ̂_{n}(ξ_{1}, …, ξ_{n}) becslést, melyre a D_{n}(λ) = Var_{λ}λ̂_{n}(ξ_{1}, …, ξ_{n}) szórásnégyzet minél kisebb. Azt mondjuk, hogy egy torzítatlan λ̂_{n} becslés optimális, ha Var_{λ}λ̂_{n}(ξ_{1}, …, ξ_{n}) ≤ Var_{λ}λ̃_{n}(ξ_{1}, …, ξ_{n}) minden torzítatlan λ̃_{n}(ξ_{1}, …, ξ_{n}) becslésre és λ paraméterre. Sok érdekes esetben van torzítatlan optimális becslés. Jegyezzük meg, hogy a Csebisev egyenlőtlenség alapján, ha egy λ̂_{n} = λ̂_{n}(ξ_{1}, …, ξ_{n}), n = 1, 2, …, becsléssorozat aszimptotikusan torzítatlan, és lim_{n→∞} Var_{λ}λ̂_{n}(ξ_{1}, …, ξ_{n}) = 0 minden λ paraméterre, akkor ez a becslés konzisztens. (Miért?) A maximum likelihood becslés nagyon általános feltételek mellett teljesíti ezeket a tulajdonságokat.