\documentclass[12pt]{article}

\usepackage[utf8]{inputenc}

\begin{document}

\begin{center}
{\bf Statisztikai  becslések jósága.}
\end{center}

\medskip\noindent
Ebben a jegyzetben azzal a kérdéssel foglalkozunk, hogy
bizonyos ter\-mé\-sze\-tes tulajdonságokat teljesítő statisztikai 
modellekben milyen jó pa\-ra\-mé\-ter\-becs\-lést lehet adni.

Annak érdekében, hogy jobban megértsük milyen eredményt várhatunk,
tekintsük a következő példát. Vegyünk egy $(X_1,\dots,X_n)$ mintát, 
amely független, egyforma eloszlású valószínűségi változókból áll, 
és becsüljük meg az $X_j$ valószínűségi változók $\mu=EX_j$ várható 
értékét. A természetes becslés az $\bar X=\frac{X_1+\cdots+X_n}n$ 
kifejezés. Ez a $\mu$ paraméter torzítatlan becslése, amely\-nek 
hibája a centrális határeloszlástétel szerint közel normális 
eloszlású, nulla vérható értékkel és $\frac{\textrm{Var}\,X_1}n$ 
szórásnégyzettel. Felmerül a kérdés, hogy lehet-e jobb becslést
adni, illetve lehet-e hasonlóan jó becslést adni 
ál\-ta\-lá\-no\-sabb esetben is.

Be fogjuk látni, hogy bizonyos regularitási feltételek teljesülése
esetén nem lehet jobb becslést adni, mint amit  a fenti példa
sugall. Als\'o becslést adunk egy paraméterbecslés hibájának a 
szórásnégyzetére, és a hiba nagyságrendje egy $n$ elemű minta 
esetén $O(\frac1n)$ nagys\'agrend\H{u} lesz. A szórásnégyzet
 hibájára adott als\'o becslésben megjelenik egy fontos paraméter, 
az úgynevezett Fisher információ.

Másik irányban be fogjuk látni, hogy (még több regularitási feltétel
teljesülése esetén) létezik olyan paraméter becslés, az úgynevezett
maximum likelihood becsl\'es, amely olyan jó becslést ad  
(aszimptotikusan normális el\-osz\-lá\-sú hibával), mint amilyet 
a fenti példa sugall. Ezen becslés hibájának a meg\-adá\-sá\-ban 
is megjelenik a Fisher információ.

Felmerül még az a kérdés, hogy az ezekben az eredményekben szereplő
regularitási feltételek valóban fontosak-e. Fogunk példát mutatni
olyan a regularitási feltételt nem teljesitő természetes modellre,
amelyben lényegesen jobb paraméterbecslést lehet csinálni, mint amit
a fent emlitett eredmények sugallnak.

Az első kérdés, amivel foglalkozni fogunk a következő. Legyen
adva egy $X$ valószínűségi változó egy $(\Omega,{\cal A},P)$ 
valószínűségi mezőn, amely értékeit az $R^n$ Euklideszi térben 
veszi fel, eloszlása valamilyen $P_\vartheta$ m\'ert\'ek,
ahol $\vartheta\in\Theta$, és a $\Theta$ paraméterhalmaz a 
számegyenes egy nyílt részhalmaza. Feltessz\"uk tov\'abb\'a,
hogy a $P_\vartheta$ m\'ert\'eknek van egy $f_\vartheta(x)$, 
$\vartheta\in\Theta$, $x\in R^n$, sűrűségfüggvénye egy $\sigma$-véges 
$\nu$ domináló mérték szerint az $R^n$ Euklideszi téren. 
Milyen jó becslést tudunk adni a $\vartheta$ paraméter valamely 
$\psi(\vartheta)$ függvényére? Először egy alsó becslést 
kívánunk adni a $\psi(\vartheta)$ függvény tor\-zí\-tat\-lan 
becs\-lé\-seinek a hib\'aj\'ara, azaz olyan  $T(X)$ becslések
hib\'aj\'ara, amelyekre 
$$
E_\vartheta T(X)=\int T(x) f_\vartheta(x)\nu(\,dx)=\psi(\vartheta),
$$
ha $X$ eloszl\'asfüggvénye $P_\vartheta$. Bebizonyítjuk ilyen 
becslésekre a Cramer--Rao egyenlőtlenséget, amely alkalmas
feltételek teljesülése esetén alsó becs\-lést ad a 
$\textrm{Var}_\vartheta T(X)=E_\vartheta T^2(X)-\psi^2(\vartheta)$
szórásnégyzetre. Külön érdekel min\-ket az a speciális eset, 
amikor az $X$ valószínűségi változó $X=(X_1,\dots,X_n)$ alakú, 
ahol $X_1,\dots,X_n$  független, egyforma eloszlású valószínűségi
változók sorozata, valamely $P^{(0)}_\vartheta$, $\vartheta\in\Theta$,
eloszl\'asfüggvénnyel. 

E jegyzetben f\H{o}leg azt az esetet vizsgáljuk, amikor a $\Theta$ 
pa\-ra\-mé\-ter\-tar\-to\-mány az egy\-dimen\-ziós Euklideszi tér 
nyílt részhalmaza, de r\"oviden ismertetni fogom ezen 
eredmény általánosítását arra az esetre, amikor a $\Theta$
paramétertartomány a $k$-dimenziós $R^k$ Euklideszi tér nyílt 
részhalmaza.

Egy másik e jegyzetben tárgyalt probléma a maximum likelihood
becslés viselkedéséről szól. Heurisztikus szinten elmagyarázom,
hogy alkalmas fel\-té\-te\-lek teljesülése esetén a maximum 
likelihood becslés aszimptotikusan optimális. Majdnem olyan jó 
becslést ad, mint amilyet a Cramer--Rao egyen\-lőt\-len\-ség 
még megenged. Azután megfogalmazok egy pontos tételt a maximum 
likelihood becslés tulajdonságairól, de a bizonyítás 
részleteit elhagyom. 

\medskip
A Cramer--Rao egyenlőtlenség megfogalmazásában felteszem, hogy 
úgy\-ne\-ve\-zett reguláris esettel fogunk foglalkozni, ahol 
az $f_\vartheta(x)$ sű\-rű\-ség\-függ\-vény elég sima fűggvénye 
az $x$ és $\vartheta$ változóknak, valamint bizonyos 
in\-teg\-rá\-lok\-ban a $\vartheta$ változó szerinti deriválás 
és az $x$ változó szerinti integrálás felcserélhető. Pontosabban
fogalmazva, felteszem, hogy
bizonyos $U(x)$ f\"uggv\'enyekre
$$
\frac{\partial^j}{\partial \vartheta^j}\int U(x) f_\vartheta(x)\nu(\,dx)=
\int U(x)\frac{\partial^j}{\partial\vartheta^j} f_\vartheta(x)\nu(\,dx),
\quad j=1,2.
$$
Megadom azokat az eseteket, amelyekben ezt a formul\'at haszn\'alni
fogjuk a bizony\'it\'asokban. Egyr\'eszt
$$
\frac{\partial^j}{\partial \vartheta^j}\int  f_\vartheta(x)\nu(\,dx)=
\int \frac{\partial^j}{\partial\vartheta^j} f_\vartheta(x)\nu(\,dx),
\quad j=1,2,
$$
m\'asr\'eszt
$$
\frac{\partial}{\partial \vartheta}\int T(x) f_\vartheta(x)\nu(\,dx)
=\int \frac{\partial}{\partial\vartheta} T(x) f_\vartheta(x)\nu(\,dx),
$$
ahol $T(x)$ a vizsg\'alt becsl\H{o}f\"uggv\'eny. Megjegyzem, hogy
$\int f_\vartheta(x)\nu(\,dx)=1$, \'es
$\int T(x) f_\vartheta(x)\nu(\,dx)=E_\vartheta T(x)$.

\medskip
Bevezetem a Fisher információ fogalmát, amely megjelenik
a Cramer--Rao egyenlőtlenség megfogalmazásában.

\medskip\noindent
{\bf Fisher információ definiciója.} {\it Legyen adva 
egy $\sigma$-v\'eges $\nu$ domin\'al\'o m\'er\-t\'ek szerinti
$f_\vartheta(x)$, $x\in R^n$, sűrűségfügvényeknek egy 
$\vartheta\in \Theta$, param\'eterrel indexelt családja, mely 
sűrűségfüggvények el\'eg sim\'an f\"uggnek az $x$ \'es $\vartheta$ 
v\'al\-to\-z\'ok\-t\'ol. E függvénycsalád Fisher információja egy 
$\vartheta\in\Theta$ pontban
\begin{eqnarray}
I(\vartheta)=E_\vartheta\left(\frac\partial{\partial \vartheta}
\log f_\vartheta(x)\right)^2 
=\int\left( \frac{\partial}{\partial\vartheta}\log 
f_\vartheta(x)\right)^2
f_\vartheta(x)\nu(\,dx). \label1
\end{eqnarray}
}

\medskip\noindent
{\it Megjegyz\'es.}\/ Az (\ref{1}) formul\'aban, \'es hasonl\'o
k\'epletekben a $0\cdot\infty=0$
konvenci\'ot fogjuk alkalmazni, azaz definici\'o szerint
$\int_{\{x\colon\; f_\vartheta(x)=0\}} S(x) f_\vartheta(x)
\nu(\,dx)=0$ egy $S(x)$ f\"uggv\'eny integr\'alj\'ara.
Ez a formula akkor is \'erv\'enyes, ha $S(x)=\pm\infty$ 
bizonyos pontokban. A regul\'aris viselked\'es felt\'etel\'eben
szerepl\H{o} azo\-nos\-s\'a\-gok\-ban szerepl\H{o} integr\'alok 
mindk\'et oldal\'an az $\{x\colon\; f_\vartheta(x)>0\}$ halmazon 
in\-teg\-r\'a\-lunk.

\medskip
Megfogalmazom a Cramer--Rao egyenlőtlenséget.

\medskip\noindent
{\bf Cramer--Rao egyenlőtlenség.} {\it Legyen adva egy $X$ 
valószínűségi változó egy $(\Omega,{\cal A},P)$ valószínűségi 
mezőn, amely értékeit az $R^n$ Euklideszi térben veszi fel, eloszlása
valamely $P_\vartheta$, $\vartheta\in\Theta$, mértékcsaládba tartozik, 
és mindegyik $P_\vartheta$, $\vartheta\in\Theta$, mértéknek létezik  
$f_\vartheta(x)$, $x\in R^n$, $\vartheta\in\Theta$, sűrűségfüggvénye  
egy $\sigma$-véges $\nu$ domináló mérték szerint az $R^n$ Euklideszi 
téren.  Továbbá a $\Theta$ para\-mé\-ter\-hal\-maz a számegyenes 
egy nyílt részhalmaza. Feltesszük, hogy az $f_\vartheta$ 
sű\-rű\-ség\-függ\-vé\-nyek regulárisan viselkednek. Legyen adva 
egy $\psi(\vartheta)$ függvény, ahol  $\psi(\cdot)$ differenciálható 
függvény  a $\Theta$ halmazon,  és annak egy torzítatlan $T(X)$ 
becslése, azaz legyen $E_\vartheta T(X)=\psi(\vartheta)$ minden 
$\vartheta\in \Theta$ param\'eterre. Ekkor
\begin{eqnarray}
\textrm{Var}\,(T(X))\ge \frac {|\psi'(\vartheta)|^2}{I(\vartheta)}
\label2
\end{eqnarray}
abban az esetben, ha az $X$ valószínűségi változó eloszlása 
$P_\vartheta$. A~(\ref{2}) képletben szereplő
 $I(\vartheta)$ kifejezés az $f_\vartheta(x)$, $\vartheta\in\Theta$,
sűrűségfüggvénycsalád Fisher információja a $\nu$ domináló
mérték szerint a $\vartheta$ pontban.

Tekintsük azt a speciális esetet, amikor $X=(X_1,\dots,X_n)$, és 
$X_1,\dots,X_n$ függgetlen, egyforma eloszlású
valószínűségi változók valamilyen $P^{(0)}_\vartheta$, 
$\vartheta\in\Theta$, eloszl\'assal a sz\'amegyenesen, amelynek
l\'etezik $f^{(0)}_\vartheta(x)$, $\vartheta\in\Theta$, 
sű\-rű\-ség\-függ\-vé\-nye egy $\nu$ $\sigma$-v\'eges mérték
szerint a számegyenesen. Legyen 
\begin{eqnarray}
I_1(\vartheta)=E_\vartheta\left(\frac{\partial}
{\partial\theta}\log f^{(0)}_\vartheta(x)\right)^2
=\int \left(\frac{\partial}{\partial\vartheta}
\log f^{(0)}_\vartheta(x)\right)^2f^{0}_\vartheta(x)\nu(\,dx).
\label3
\end{eqnarray}
Ekkor $I(\vartheta)=nI_1(\vartheta)$, ahol az $I(\vartheta)$ Fisher
információ kiszámolásában a $\nu(dx_1)\times\cdots\times\nu(dx_n)$
szorzatmérték a domináló mérték. 

Ha $T(X)=T(X_1,\dots,X_n)$
a $\psi(\vartheta)$ függvény tor\-zí\-tat\-lan becslése, és az 
$X_1$ valószínűségi változó eloszlása $P^{(0)}_\vartheta$, akkor
\begin{eqnarray}
\textrm{Var}\, (T(X_1,\dots,X_n))=\textrm{Var}\, (T(X))
\ge \frac {|\psi'(\vartheta)|^2}{nI_1(\vartheta)}. \label4 
\end{eqnarray}
}

\medskip\noindent
{\it A Cramer--Rao egyenlőtlenség bizonyítása.}
A (\ref{2}) formulát az alábbi két $U$ és $V$ valószínűségi 
változóra vonatkozó egyenlőtlenség segítségével fogjuk bizonyítani.
\begin{equation}
|\textrm{Cov}\,(U,V)|^2\le \textrm{Var}\, U \cdot \textrm{Var}\, V.
\label5
\end{equation}
Ez az egyenlőtlenség következik a Cauchy--Schwarz egyenlőtlenségből,
mert
\begin{eqnarray*}
|\textrm{Cov}\,(U,V)|^2&=&[E(U-EU)(V-EV)]^2 \\
&\le& E(U-EU)^2 E(V-EV)^2=
\textrm{Var}\, U \cdot \textrm{Var}\, V.
\end{eqnarray*}
Az (\ref{5}) egyenlőtlenséget   
$U(x)=\frac{\partial}{\partial\vartheta}\log f_\vartheta(x)$ 
és  $V(x)=T(x)$ választással fogjuk alkalmazni az 
$(R^n,{\cal B}^n,P_\vartheta)$ valószínűségi mezőn a
$$
P_\vartheta(\,dx)=f_\vartheta(x)\nu(\,dx)
$$ 
valószínűségi mértékkel.
A bizonyítás ér\-de\-ké\-ben kiszámoljuk az $\textrm{Var}\,V(x)$ 
szó\-rás\-nég\-yze\-tet és $\textrm{Cov}\,(U(x),V(x))$ kovarianciát.
Először azt látjuk be, hogy
$$
E_\vartheta U(x)=0,
$$
mert
\begin{eqnarray*}
E_\vartheta U(x)=\int \frac{\partial}{\partial\vartheta}(\log f_\vartheta(x)) 
f_\vartheta(x)\nu(\,dx)
&=&\int \frac{\partial}{\partial\vartheta}f_\vartheta(x)) \nu(\,dx) \\
&=&\frac{\partial}{\partial\vartheta}\int f_\vartheta(x)) \nu(\,dx)=0,
\end{eqnarray*}
E számolásban kihasználtuk, hogy az integrálás és deriválás sorrendje
fel\-cse\-rél\-he\-tő a regularitási feltétel miatt, valamint
$$
\int f_\vartheta(x)\nu(\,dx)=1 \quad \textrm{minden } \vartheta\in\Theta
\textrm{ paraméterre},
$$ 
ahonnan
$$
\frac{\partial}{\partial\vartheta}\int f_\vartheta(x)\nu(\,dx)=0.
$$
Innen 
$\textrm{Var}\,U(x)=E_\vartheta U(x)^2$, 
$\textrm{Cov}\,(U(x),V(x))=E_\vartheta U(x)V(x)$, ezért
$$
\textrm{Var}\,U(x)=E_\vartheta U(x)^2
=\int \left(\frac{\partial}{\partial\vartheta}(\log f_\vartheta(x))\right)^2 
f_\vartheta(x)\nu(\,dx)=I(\vartheta)
$$
és
\begin{eqnarray*}
\textrm{Cov}\,(U(x),V(x))&=&  ET(x) U(x)=
\int T(x) \frac{\partial}{\partial\vartheta}(\log f_\vartheta(x)) 
f_\vartheta(x)\nu(\,dx) \\
&=&\int T(x) \frac{\partial}{\partial\vartheta}f_\vartheta(x)) \nu(\,dx) \\
&=&\frac{\partial}{\partial\vartheta}\int T(x) f_\vartheta(x)) \nu(\,dx)
=\psi'(\vartheta).
\end{eqnarray*}
Itt megint kihasználtuk, hogy a regularitási tulajdonság miatt
az integrálás és deriválás sorrendje felcserélhető, valamint azt, hogy
$\int T(x) f_\vartheta(x)) \nu(\,dx)=E_\vartheta T(x)=\psi(\vartheta)$.
Ezért az (\ref{5}) formula szerint
$$
\psi'(\vartheta)^2\le \textrm{Var}\, T(x) I(\vartheta).
$$
Innen következik a (\ref{2}) formula, mert a $T(X)$
valószínűségi változó szó\-rás\-négy\-ze\-te az 
$(\Omega,{\cal A},P)$ valószínűségi mezőn megyezik a 
$T(x)$ valószínűségi változó szó\-rás\-négy\-ze\-té\-vel 
az $(R^n,{\cal B}^n,P_\vartheta)$ valószínűségi mezőn.

Be akarjuk bizonyítani az  $I(\vartheta)=nI_1(\vartheta)$  
azonosságot, ahol az $I_1(\vartheta)$ kifejezést a (\ref{3}) 
relációban definiáltuk. Ennek érdekében először megadjuk
az (\ref{1}) formulában definiált $I(\vartheta)$ Fisher 
információnak egy másik definicióját. (Feltesszük, hogy az
$f_\vartheta(x)$ sűrűségfüggvénynek a $\vartheta$
paraméter szerint van második deriváltja is, és az is szépen
viselkedik.) Megmutatjuk, hogy
\begin{equation}
I(\vartheta)=-\int\frac{\partial^2}{\partial\vartheta^2}
(\log f_\vartheta(x))f_\vartheta(x)\nu(\,dx).  \label6
\end{equation}

Valóban,
$$
\frac{\partial^2}{\partial\vartheta^2}\log f_\vartheta(x)
=\frac{\frac{\partial^2 }{\partial\vartheta^2}f_\vartheta(x)}{f_\vartheta(x)}
-\left(
\frac{\frac{\partial }{\partial\vartheta}f_\vartheta(x)}
{f_\vartheta(x)}\right)^2,
$$
és a jobboldal első tagjának az integrálja eltűnik, azaz
$$
\int\frac{\frac{\partial^2 }{\partial\vartheta^2}f_\vartheta(x)}{f_\vartheta(x)}
f_\vartheta(x)\nu(\,dx)
=\frac{\partial^2 }{\partial\vartheta^2}\int f_\vartheta(x)\nu(\,dx)=0.
$$
Ebben a számolásban megint kihasználtuk, hogy a regularitási 
feltételeink megengedik, hogy bizonyos integrálások és deriválások 
sorrendjét felcseréljük.

Ezt felhasználva, \'es az előző azonosságot kiintegrálva megkapjuk az
\begin{eqnarray*}
-\int \frac{\partial^2}{\partial\vartheta^2}(\log f_\vartheta(x)) 
f_\vartheta(x)\nu(\,dx)&=&
\int \left(
\frac{\frac{\partial }{\partial\vartheta}f_\vartheta(x)}
{f_\vartheta(x)}\right)^2 f_\vartheta(x)\nu(\,dx) \\
&=&\int \left(
\frac{\partial }{\partial\vartheta} \log f_\vartheta(x)
\right)^2 f_\vartheta(x)\nu(\,dx)
=I(\vartheta)
\end{eqnarray*}
azonosságot, ami azt jelenti, hogy a (\ref{6}) azonosság igaz.

A (\ref{6}) azonosság segítségével a következőképp kapjuk meg az
$I(\vartheta)=nI_1(\vartheta)$ azonosságot.

Mivel $X_1,\dots,X_n$ független és egyforma eloszlású 
valószínűségi változók, ezért ezek együttes sűr\H{u}ségfüggénye 
$f_\vartheta(x)=f^{(0)}_\vartheta(x_1)\cdots f^{(0)}_\vartheta(x_n)$ az
$x=(x_1,\dots,x_n)$ pontban a $\nu(\,dx_1)\times\cdots\times \nu(\,dx_n)$ 
szorzatmérték szerint. Ezért az $X=(X_1,\dots,X_n)$ vektor Fisher
informáci\'oja a (\ref{6}) képlet szerint
\begin{eqnarray*}
I(\vartheta)&=&-\int\frac{\partial^2}{\partial\vartheta^2}
\log\left(\prod_{k=1}^n f^{(0)}_\vartheta(x_k)\right) 
\prod_{k=1}^n f^{(0)}_\vartheta(x_k)\nu(\,dx_k)  \\  
&=&-n\int\frac{\partial^2}{\partial\vartheta^2}
(\log f^{(0)}_\vartheta(x_1)) 
f^{(0)}_\vartheta(x_1) \nu(\,dx_1).
\end{eqnarray*}
 A (\ref{6}) formula bizonyításához hasonlóan kapjuk, hogy
$$
I_1(\vartheta)=-\int\frac{\partial^2}{\partial\vartheta^2}
(\log f^{(0)}_\vartheta(x_1))
f^{(0)}_\vartheta(x_1) \nu(\,dx_1)
$$  
a (\ref{3}) formulában definiált $I_1(\vartheta)$ függvényre.
(Val\'oj\'aban ez a k\'eplet a (\ref{6}) formula speci\'alis
esete.) Ezért az $I(\vartheta)=nI_1(\vartheta)$ azonosság érvényes.
A (\ref{4}) formula k\"ovetkezik ebb\H{o}l az azonoss\'agb\'ol, ha
a (\ref{2}) formul\'at az $X=(X_1,\dots,X_n)$ vektor 
s\H{u}r\H{u}s\'egf\"uggv\'eny\'ere alkalmazzuk. A Cramer--Rao
egyen\-l\H{o}t\-len\-s\'e\-get bebizony\'itottuk.

\medskip
R\"oviden ismertetem a Cramer--Rao egyenl\H{o}tlens\'eget abban 
az \'al\-ta\-l\'a\-no\-sabb esetben, ha  a $\Theta$ 
param\'etertartom\'any az $R^k$ Euklideszi t\'er ny\'ilt r\'eszhalmaza
valamely $k\ge1$ param\'eterrel. A bizony\'it\'as azon részleteit, 
amelyek hasonlóak az egydimenziós esethez elhagyom. Egyedül a 
bizonyítás azon lé\-pé\-sé\-ről fogok írni, ahol új, az 
egydimenziós eset tárgyalásában nem szereplő érvelést alkalmazunk. 

E problémában az $X$ val\'osz\'in\H{u}s\'egi v\'altoz\'o 
eloszl\'asa valamely $P_\vartheta$ m\'ert\'ek egy $f_\vartheta(x)$
s\H{u}r\H{u}s\'egf\"uggv\'ennyel az $R^n$ t\'eren egy $\nu$
$\sigma$-v\'eges domin\'al\'o m\'ert\'ekkel, \'es a $\vartheta$ 
paraméter a $\vartheta\in\Theta$ feltételt egy
$k$-dimenzi\'os $\Theta$ ny\'ilt pa\-ra\-m\'eter\-hal\-maz\-zal 
teljesíti.

El\H{o}sz\"or defini\'alni kell az $I(\vartheta)$ Fisher 
inform\'aci\'ot egy 
$\vartheta=(\vartheta_1,\dots,\vartheta_k)\in\Theta$ pontban.
Ez az az $(A_{i,j}(\vartheta))$, $1\le i,j\le k$, $k\times k$
szimmetrikus (pozit\'iv szemidefinit) m\'atrix, amelynek elemei
az
$$
A_{i,j}(\vartheta)=\int 
\frac{\partial}{\partial \vartheta_i} (\log f_\vartheta(x))
\frac{\partial}{\partial \vartheta_j} (\log f_\vartheta(x)) 
f_\vartheta(x)\nu(\,dx), \quad 1\le i,j\le k,
$$
sz\'amok.

Legyen $T(X)$ torz\'itatlan becsl\'ese egy $\psi(\vartheta)$
f\"uggv\'enynek. Ekkor az egy\-di\-men\-zi\-\'os esethez 
hasonl\'o felt\'etelek mellett
\begin{equation}
\textrm{Var}\,(T(X))\ge 
\left(\frac{\partial}{\partial\vartheta_1} \psi(\vartheta),\dots,
\frac{\partial}{\partial\vartheta_k} \psi(\vartheta)\right)
I(\vartheta)^{-1}
\left(\frac{\partial}{\partial\vartheta_1} \psi(\vartheta),\dots,
\frac{\partial}{\partial\vartheta_k} \psi(\vartheta)\right)^*
\label7
\end{equation}
minden $\vartheta\in\Theta$ pontban, ahol ${}^*$ egy
vektor transzpon\'altj\'at jel\"oli.

Az egydimenzi\'os esethez hasonl\'oan az $I(\vartheta)$ Fisher
inform\'aci\'ot megad\'o m\'atrix elemeit deini\'alhatjuk a 
k\"ovetkez\H{o} m\'odon is.
$$
A_{i,j}(\vartheta)=-\int 
\frac{\partial^2}{\partial \vartheta_i\partial\vartheta_j} 
(\log f_\vartheta(x))
f_\vartheta(x)\nu(\,dx), \quad 1\le i,j\le k.
$$

Ezt felhasználva megmutathatjuk, hogy független, azonos eloszlású
koordinátákból álló vektorok becslésére a (\ref{4}) formulához
hasonló becslést lehet megadni vektor értékű paraméter tartomány
esetében is.

Legyen $X=(X_1,\dots,X_n)$, ahol $X_1,\dots,X_n$ független,
azonos eloszlású valószínűségi változók sorozata, amelyeknek
$P^{(0)}_\vartheta$, $\vartheta\in\Theta$, eloszlásának van
$f^{(0)}_\vartheta(x)$, sűrűségfüggvénye egy $\nu$ $\sigma$-véges
mérték szerint. Ki lehet számolni az $f^{(0)}(\vartheta)$ 
sűrűségfüggvényhez és $\nu$ domináló mértékhez tartozó 
$I_1(\vartheta)$ Fisher információ mátrixát, és azt kapjuk, hogy 
$I(\vartheta)=nI_1(\vartheta)$, ahol $I(\vartheta)$
az $X$ valószínűségi vektor sűrűségfüggvényéhez és a hozzá
tartozó domináló mér\-ték\-hez tartozó Fisher információ mátrixa.
Innen következik, hogy ha az $X=(X_1,\dots,X_n)$ v\'eletlen 
vektor teljesíti a Cramer--Rao egyenlőtlenség feltételeit, akkor 
érvényes rá a (\ref{7}) becslés azon változata, amelyben
az $I(\vartheta)$ Fisher információ mátrixot az $nI_1(\vartheta)$ 
mátrixszal helyettesítjük.

\medskip
A Cramer--Rao egyenl\H{o}tlens\'eg bizony\'it\'asa vektor \'ert\'ek\H{u}
$\Theta$ pa\-ra\-m\'e\-ter\-tar\-to\-m\'any eset\'eben hasonl\'o 
az egydimenzi\'os param\'etertartom\'any eset\'ehez. Ez\'ert a
 bizony\'it\'asnak csak azt a pontj\'at v\'azolom, ahol \'uj m\'odszer 
sz\"uks\'eges. Ez a (\ref{7}) formula bizony\'it\'asa.

A bizony\'it\'as els\H{o} l\'ep\'es\'eben az egydimenzi\'os esethez
hasonl\'oan \'ervel\"unk. Az (\ref{5}) formula seg\'its\'eg\'evel
hasonl\'o becsl\'eseket tesz\"unk, mint az egydimenzi\'os esetben.
Jelen esetben is $V(x)=T(x)$ f\"uggv\'enyt v\'alasztunk. Az $U(x)$
f\"uggv\'enyt az 
$U_j(x)=\frac{\partial}{\partial\vartheta_j}(\log f_\vartheta(x))$, 
$j=1,\dots,k$, f\"uggv\'enyek \'es tetsz\H{o}leges $c_1$,\dots, $c_k$ 
konstansok seg\'its\'eg\'evel az $U(x)=\sum_{j=1}^k c_jU_j(x)$
k\'eplettel de\-fi\-ni\-\'al\-juk. Ilyen v\'alaszt\'assal be tudjuk l\'atni 
az~(\ref{5}) egyenl\H{o}tlens\'eg felhaszn\'al\'as\'aval, hogy
\begin{equation}
\left|\sum_{j=1}^k c_j
\frac{\partial}{\partial\vartheta_j}
\psi(\vartheta)
\right|^2\le \textrm{Var}\, T(x) 
\left(\sum_{i=1}^k\sum_{j=1}^k c_i c_jA_{i,j}(\vartheta)\right),
\label8
\end{equation}
ahol az $A_{i,j}(\vartheta)$ egy\"utthat\'ok a $I(\vartheta)$ 
Fisher m\'atrix definici\'oj\'aban sze\-rep\-l\H{o} sz\'amok,
\'es $c_1,\dots,c_k$ tetsz\H{o}leges konstansok. 
Ezt az egyenl\H{o}tlens\'eget sz\'a\-munk\-ra hasznosabb alakban 
fog\-juk fel\-\'irni. 

Legyen $e_1,\dots,e_k$, az $(A_{i,j}(\vartheta))$, $1\le i,j\le k$, 
Fisher inform\'aci\'os m\'at\-rix ortonorm\'alt saj\'atvektoraib\'ol
\'all\'o b\'azis az $R^k$ Euklideszi t\'erben, \'es le\-gye\-nek
$\lambda_1,\dots,\lambda_k$ a hozz\'ajuk tartoz\'o 
saj\'at\'ert\'ekek. Fejezz\"uk ki a (\ref{8}), illetve a 
bizony\'itand\'o (\ref{7}) egyenl\H{o}tlens\'egeket az 
$e_1,\dots,e_k$,  koordin\'atarendszerben. Ennek \'erdek\'eben
\'irjuk az 
$$
S(\vartheta)=\left(\frac{\partial}{\partial\vartheta_1}\psi(\vartheta),\dots,
\frac{\partial}{\partial\vartheta_k}\psi(\vartheta)\right)
$$
vektort $S(\vartheta)=\sum_{j=1}^k\alpha_j e_j$ alakban alkalmas 
(a $\vartheta$ param\'etert\H{o}l f\"ugg\H{o}) $\alpha_1$,\dots, 
$\alpha_k$ egy\"utthat\'okkal. Akkor felhaszn\'alva, hogy a 
(\ref{8}) formula tetsz\H{o}leges $c_1$,\dots, $c_k$ 
egy\"utthat\'okra \'erv\'enyes, az \'uj koordin\'atarendszerben 
azt kapjuk, hogy
$$
\left(\sum_{j=1}^k c_j\alpha_j\right)^2\le 
\textrm{Var}\, T(x)
\left(\sum_{j=1}\lambda_j c_j^2\right)
$$
tetsz\H{o}leges $c_1,\dots,c_k$ konstansokkal. A bizony\'itand\'o 
(\ref{7}) egyenl\H{o}tlens\'eg pedig 
$$
\textrm{Var}\, T(x)\ge
\sum_{j=1}^k\frac{\alpha_j^2}{\lambda_j}
$$
alakban \'irhat\'o. Ezt a rel\'aci\'ot megkapjuk az el\H{o}z\H{o}
egyenl\H{o}tlens\'egb\H{o}l, ha azt $c_j=\frac{\alpha_j}{\lambda_j}$
v\'alaszt\'assal alkalmazzuk. Ez ugyanis azt adja, hogy
$$
\left(\sum_{j=1}^k\frac{\alpha_j^2}{\lambda_j}\right)^2\le
\textrm{Var}\, T(x)
\left(\sum_{j=1}^k\frac{\alpha_j^2}{\lambda_j}\right).
$$

\medskip
A Cramer--Rao egyenlőtlenség tárgyalásának a végén teszek
egy meg\-jegy\-zést arról, hogy milyen alsó becslést lehet
adni egy nem feltétlenül torzítatlan becslés hibájára,  
ha a Cramer--Rao egyenlőtlenség többi feltétele teljesül.
(Most egydimenziós paraméterrel rendelkező modelleket vizsgálunk.)


Tekintsük egy $\psi(\vartheta)$ függvény nem feltétlenül 
torzítatlan $T(X)$ becslését, és legyen
$$
b_T(\vartheta)=E_\vartheta(T(x))-\psi(\vartheta).
$$
Ha a Cramer--Rao egyenlőtlenség egyéb feltételei teljesülnek,
akkor fel\-ír\-hat\-juk, hogy
$$
\textrm{Var}\,(T(x))\ge\frac{(\psi'(\vartheta)+b_T'(\vartheta))^2}
{I(\vartheta)} \quad \textrm{ minden }\vartheta\in\Theta
\textrm{ paraméterre}
$$
a Cramer--Rao egyenlőtlenség alapján, ha azt a 
$\psi^*(\vartheta)=E_\vartheta T(x)=\psi(\vartheta)+b_T(\vartheta)$
f\"uggv\'enyre alkalmazzuk.

Vezessük be az $R_\vartheta(T)=E_\vartheta(T(x)-\psi(\vartheta))^2$ 
mennyiséget, amit \'ugy h\'ivnak, hogy a $\psi(\vartheta)$ 
f\"uggv\'eny $T(X)$ becslés\'enek a négyzetes rizikója, és  ami
jól méri a $T(X)$ becslés hibáját. Ekkor felírhatjuk a Steiner 
azonoss\'ag alapján, hogy
$$
R_\vartheta(T)=\textrm{Var}\,(T(x))+b^2_T(\vartheta),
$$
\'es
$$
R_\vartheta(T)\ge\frac{(\psi'(\vartheta)+b_T'(\vartheta))^2}
{I(\vartheta)}+b^2_T(\vartheta) \quad \textrm{minden }
\vartheta\in\Theta\textrm{ paraméterre}.
$$

Megjegyzem, előfordulhat, hogy torzított becsléssel kisebb négyzetes
ri\-zi\-kó érhető el, mint a lehető legjobb torzítatlan becsléssel. 

\medskip
A következő témánk az, hogy hogyan lehet jó paraméterbecsést adni.
A maximum likelihood becslést fogom röviden ismertetni. Ennek két
jó tulajdonsága is van. Egyrészt egy általános elvet fogalmaz meg,
aminek a segítségével bonyolult esetekben is tudunk javasolni
egy módszert az ismeretlen paraméter(ek) becslésére. Másrészt
ez egy aszimptotikusan optimális becslést biztosít bizonyos
regularitási feltételek teljesülése esetén. Olyan kis hibával
becsüli meg a keresett paramétert nagy minta
elemszám esetén, mint amilyet a Kramer--Rao egyenlőtlenség
sugall. 

Heurisztikus szinten ismertetem azon eredmény bizonyítását,
amely meg\-ad\-ja a maximum likelihood becslés hibájának az 
aszimptotikus viselkedését nagy elemszámú minta esetén. 
Megadom a maximum likelihood egyenlet meg\-ol\-dá\-sá\-nak 
aszimptotikus viselkedését bizonyos lineáris közelítéseket 
végrehajtva a valódi paraméter kis környezetében. Ezen 
közelítések el\-ha\-nya\-gol\-ha\-tó\-an kis hibát adnak 
alkalmas feltételek teljesülése esetén. Ennek a 
heu\-risz\-ti\-kus szinten plauzibilis állításnak a 
bizonyítása adja a precíz bizonyítást, amit elhagyok.
Ehelyett megelégszem egy a Bolla--Krámli könyv\-ben (szintén 
bizonyítás nélkül) kimondott eredmény ismertetésével.

Először csak a legegyszerűbb esetet vizsg\'alom, amikor egy
egydimenziós paraméter becslését tekintem. A következő
problémával foglalkozom. Legyen adva $f(x,\vartheta)$
sűrűségfüggvények egy családja a számegyenesen, amelynek
elemei egy $\vartheta\in R^1$, azaz érték\'et a számegyenesen
felvevő paramétert\H{o}l függnek, és figyeljük meg
$\xi_1(\omega),\dots,\xi_n(\omega)$ független, egyforma 
eloszlású valószínűségi változók egy sorozatát, amelyek 
eloszlásának van egy $f(x,\vartheta_0)$,
sű\-rű\-ség\-függ\-vénye, ahol $\vartheta_0$, ismeretlen 
paraméter. Ezt a param\'etert akarjuk megbecsülni a 
meg\-fi\-gyelt va\-ló\-szí\-nű\-sé\-gi változók segítségével.

A maximum likelihood módszer a következő becslési eljárást
javasolja. Legyen az a
$\hat\vartheta_n =\hat\vartheta_n(\xi_1,\dots,\xi_n)$ szám a
$\vartheta_0$ paraméter maximum likelihood becslése, 
amelyikre igaz az, hogy a $(\xi_1,\dots,\xi_n)$ vektor 
sűrűségfüggvénye, azaz a
$$
\prod_{k=1}^n f(\xi_k,\vartheta)=\exp\left\{\sum_{k=1}^n\log
f(\xi_k,\vartheta)\right\}
$$
szorzat itt veszi fel a maximumát. Ez a szám megtalálható,
mint az 
\begin{equation}
\sum_{k=1}^n\frac{\partial}{\partial\vartheta}\log
f(\xi_k,\vartheta)=0 \label9
\end{equation}
úgy\-ne\-ve\-zett maximum likelihood egyenlet megoldása. 
Ezután minket a $\hat\vartheta_n-\vartheta_0$  
k\"ul\"onbs\'eg aszimptotikus viselked\'ese \'erdekel, 
ahol $\hat\vartheta_n$ a~(\ref{9}) egyenlet (meg\-fe\-le\-lő)
meg\-ol\-dá\-sa.

Ezen egyenlet közvetlen vizsgálata meglehetősen nehéz.
de a~(\ref{9}) egyenlet baloldalán szereplő kifejezés 
baloldalának a Taylor sorfejtése az (ismeretlen)
$\vartheta_0$ pont körül jó és egyszerű approximációt ad 
a $\hat\vartheta_n$ mennyiségre, és lehetővé teszi a
$\hat\vartheta_n-\vartheta_0$ különbség aszimptotikus 
viselkedésének a megadását.

Ez a Taylor sorfejtés azt adja, hogy
\begin{eqnarray}
&&\sum_{k=1}^n\frac{\partial}{\partial\vartheta}\log
f(\xi_k,\hat\vartheta_n)=
\sum_{k=1}^n\frac{\frac{\partial}{\partial\vartheta}
f(\xi_k,\vartheta_0)}{f(\xi_k,\vartheta_0)}  \nonumber  \\
&&+(\hat\vartheta_n-\vartheta_0)
\left(\sum_{k=1}^n\left(\frac{\frac{\partial^2}{\partial\vartheta^2}
f(\xi_k,\vartheta_0)}{f(\xi_k,\vartheta_0)}-
\frac{\left(\frac{\partial}{\partial\vartheta}
f(\xi_k,\vartheta_0)\right)^2}
{f^2(\xi_k,\bar\vartheta_0)} \right)\right)
+O\left(n(\hat\vartheta_n-\vartheta_0)^2\right) \nonumber \\
&&= \sum_{k=1}^n
\left(\eta_k+\zeta_k(\hat\vartheta_n-\vartheta_0)\right)
+O\left(n(\hat\vartheta_n-\vartheta_0)^2\right),
\label{10}
\end{eqnarray}
ahol
$$
\eta_k=\frac{\frac{\partial}{\partial\vartheta}
f(\xi_k,\vartheta_0)}{f(\xi_k,\vartheta_0)},\quad \textrm{és}\quad
\zeta_k=
\frac{\frac{\partial^2}{\partial\vartheta^2}
f(\xi_k,\vartheta_0)}{f(\xi_k,\vartheta_0)}-
\frac{ \left( \frac{\partial}{\partial\vartheta}
f( \xi_k,\vartheta_0)\right)^2}{f^2(\xi_k,\bar\vartheta_0)}
$$
a $k=1,\dots,n$ indexekre. Meg akarjuk érteni a (\ref{10}) 
kifejezés jobboldalán szereplő mennyiség
aszimptotikus viselkedését.

Az
$$
E\eta_k=\int\frac{\frac{\partial}{\partial\vartheta}
f(x,\vartheta_0)}{f(x,\vartheta_0)}f(x,\vartheta_0)\,dx
=\frac{\partial}{\partial\vartheta}\int
f(x,\vartheta_0)\,dx=0
$$
azonosság érvényes, mert
$\int f(x,\vartheta)\,dx=1$ minden $\vartheta$ paraméterre,
és ezen reláció differenciálása adja az utolsó azonosságot.
Hasonlóan
$E\eta^2_k=-E\zeta_k
=\int\frac{\left(\frac{\partial}{\partial\vartheta}
f(x,\vartheta_0)\right)^2}{f(x,\vartheta_0)}\,dx>0$, \
$k=1,\dots,n$. Ezért a centrális határeloszlástétel szerint 
$\chi_n=\frac{1}{\sqrt n}\sum\limits_{k=1}^n\eta_k$
aszimptotikusan normális nulla várható értékkel és
$I(\vartheta)=\int\frac{\left(\frac{\partial}{\partial\vartheta}
f(x,\vartheta_0)\right)^2}{f(x,\vartheta_0)}\,dx>0$
szórásnégyzettel. A matematikai statisztika irodalomban az
$I(\vartheta)$ számot Fisher információnak hívják. A nagy számok
t\"orvénye szerint
$\frac{1}{n}\sum\limits_{k=1}^n\zeta_k\sim -I(\vartheta)$.

\'Igy a (\ref{10})  formula a $\hat\vartheta_n$ maximum likelihood
becslés approximációját su\-gall\-ja azzal a $\tilde\vartheta_n$
valószínűségi változóval, amelyet az 
$\tilde\vartheta_n-\vartheta_0=
-\frac{\sum\limits_{k=1}^n\eta_k}{\sum\limits_{k=1}^n\zeta_k}$
egyenlet határoz meg, és az előző számolásokból következik,
hogy $\sqrt n(\tilde\vartheta_n-\vartheta_0)$ 
aszimp\-to\-ti\-ku\-san
normális nulla várható értékkel és $\frac1{I(\vartheta)}$ 
szórásnégyzettel. A $\tilde\vartheta_n$ valószínűségi változó 
nem megoldása a (\ref{9}) egyenletnek, az ezen egyenlet 
baloldalán szereplő kifejezés értékének a nagyságrendje
$O(n(\tilde\vartheta_n-\vartheta_0)^2)=O(1)$ ebben a pontban. 
Másrészt, némi számolás mutatja, hogy a (\ref{9}) egyenlet
baloldal\'an szerepl\H{o} függvény differenciálhányadosa 
ebben a pontban vi\-szony\-lag nagy, nagyobb, mint 
$\textrm{const.}\, n$ valamilyen $\textrm{const.}>0$ számmal. 
Innen következik, hogy a maximum likelihood egyenletnek van egy 
olyan $\hat\vartheta_n$ megoldása, amelyre
$\hat\vartheta_n-\tilde\vartheta_n=O\left(\frac1n\right)$. Ezért
a $\sqrt n(\hat\vartheta_n-\vartheta_0)$ és
$\sqrt n(\tilde\vartheta_n-\vartheta_0)$ kifejezéseknek hasonló
az aszimptotikus viselkedésük. 

A fent ismertetett bizonyításvázlat lényege igy foglalható össze:
Vegyük egy egyszerű linearizált verzióját a vizsgálandó
kifejezésnek egy alkalmas Taylor sorfejtés segítségével,
adjuk meg e linearizált verzió aszimptotikus viselkedését,
és mutassuk meg, hogy a linearizáció csak elhanyagolhatóan
kis hibát okozott.


\medskip
Ismertetek egy pontos feltételekkel megfogalmazott eredményt
a maximum likelihood becslés viselkedéséről. Ez Cramer és Dugué
tétele, amely a Bolla--Krámli könyv 4.3 tételében van kimondva.

\medskip\noindent
{\bf Cramer--Dugué tétel.} {\it Legyen adva egy $X=(X_1,\dots,X_n)$ 
v\'eletlen vektor egy $(\Omega,{\cal A},P)$ va\-ló\-szí\-nű\-sé\-gi 
mezőn, ahol $X_1,\dots.X_n$ f\"uggetlen, egyforma eloszl\'as\'u
valószínűségi változók, amelyek eloszlása $P_\vartheta$ valamilyen 
$f_\vartheta(x)$, $\vartheta\in\Theta$, sű\-rű\-ség\-függ\-vénnyel, 
ahol a $\Theta$ paraméterhalmaz a számegyenes nyílt 
rész\-hal\-ma\-za, és $f_\vartheta\neq f_{\vartheta'}$, ha 
$\vartheta\neq\vartheta'$. Tegyük fel, hogy teljesülnek a 
következő fel\-té\-te\-lek.

\medskip
\begin{description}
\item{i.)} A $\vartheta_0$ valódi paraméter egy $U$ környezetében
léteznek a $f_\vartheta(x)$ sű\-rű\-ség\-függ\-vén\-ynek a $\vartheta$
paraméter szerinti 1. 2. és 3. parciális deriváltjai.

\item{ii.)} Léteznek olyan $F_1$, $F_2$, $F_3$ függvények, amelyekre
$$
\left|\frac{\partial}{\partial\vartheta} f_\vartheta(x)\right|<F_1(x),\quad 
\left|\frac{\partial^2}{\partial\vartheta^2} f_\vartheta(x)\right|<F_2(x),\quad 
\left|\frac{\partial^3}{\partial\vartheta^3} \log f_\vartheta(x)\right|<F_3(x) 
$$
minden $\vartheta\in U$ paraméterre. Továbbá  $F_1$ és $F_2$ 
integrálható függvények, és $E_{\vartheta_0}(F_3(x))<\infty$.

\item{iii.)} $I(\vartheta)<\infty$ minden $\vartheta\in U$ paraméterre, 
és $I(\vartheta_0)>0$.
\end{description}

\medskip
Akkor az $n$ elemű mintához tartozó maximum likelihood egyenletnek
lé\-te\-zik olyan $\hat\vartheta_n$ gyöke, amelyre $n\to \infty$
esetén

\medskip
\begin{description}
\item{\rm{(1)}} $P(\hat\vartheta_n\to\vartheta_0)=1$.

\item{\rm{(2)}}
$\sqrt n(\hat\vartheta_n-\vartheta_0)\to 
{\cal N}\left(0,\frac1{I(\vartheta_0)}\right)$ eloszlásban, ahol
${\cal N}\left(0,\frac1{I(\vartheta_0)}\right)$ a normális 
el\-osz\-lást jelöli $0$ várható értékkel és 
$\frac1{I(\vartheta_0)}$ szórásnégyzettel.

\item{\rm{(3)}} $\sqrt n(\hat\vartheta_n-\vartheta_0)$ minden
momentuma konvergál az ${\cal N}\left(0,\frac1{I(\vartheta_0)}\right)$ 
eloszlás által meghatározott megfelelő momentumhoz, ha $n\to\infty$.

\end{description}
 }

\medskip
Végül röviden ismertetem a maximum likelihood becslés aszimptotikus
viselkedéséről szóló eredményt abban az esetben, ha a  $\Theta$
paramétertartomány a $k$-dimenziós tér nyílt részhalmaza, $k\ge1$. 
Az eredménynek most is csak egy nagyon vázlatos heurisztikus 
magyarázatát fogom adni.

Annak érdekében, hogy kimondjuk az eredményt szükséges az eddigiektől
némileg eltérő jelölést bevezetni. Jelölje 
$\vartheta=(\vartheta_1,\dots,\vartheta_k)$ a $\Theta$ 
pa\-ra\-mé\-ter\-tar\-to\-mány egy pontját, 
$\vartheta(0)=(\vartheta_1(0),\dots,\vartheta_k(0))$ 
az (ismeretlen) valódi be\-csü\-len\-dő paramétert, és legyen 
$\hat\vartheta(n)=(\hat\vartheta_1(n),\dots,\hat\vartheta_k(n))$ 
az $n$ elemű minta se\-gít\-sé\-gé\-vel elvégzett maximum likelihood 
becslés értéke. 

Jel\"olje $\xi_1,\dots,\xi_n$ a megfigyelt $n$ elem\H{u} mint\'at.
Ekkor a $k$-dimenziós paramétertartomány esetében a maximum likelihood
egyenlet a következő alakú.  
$$
\sum_{j=1}^n\frac{\partial_l}{\partial\vartheta_l}\log
f(\xi_j,\vartheta)=0, \quad l=1,\dots,k.
$$
A $\vartheta(0)$ pont k\"or\"uli Taylor sorfejt\'essel kapjuk, hogy a 
fenti \"osszeg \'ert\'eke a $\hat\vartheta(n)$ pontban
\begin{eqnarray*}
&&\sum_{j=1}^n\frac{\partial}{\partial\vartheta_l}\log
f(\xi_j,\hat\vartheta(n))=
\sum_{j=1}^n\frac{\frac{\partial_l}{\partial\vartheta_l}
f(\xi_j,\vartheta(0))}{f(\xi_j,\vartheta(0))}    \\
&& \qquad +\sum_{j=1}^n\sum_{m=1}^k
(\hat\vartheta_m(n)-\vartheta_m(0))
\Biggl(\frac{\frac{\partial^2}{\partial\vartheta_l\partial\vartheta_m}
f(\xi_j,\vartheta(0))}{f(\xi_j,\vartheta(0))}\\
&&\qquad\qquad\qquad\qquad\qquad\qquad -
\frac{\frac{\partial}{\partial\vartheta_l}f(\xi_j,\vartheta(0))
\frac{\partial}{\partial\vartheta_m}f(\xi_j,\vartheta(0))}
{f^2(\xi_j,\vartheta(0))} \Biggr) \\
&&\qquad\qquad\qquad +O\left(n(\hat\vartheta(n)-\vartheta(0))^2\right)  \\
&&\qquad= \sum_{j=1}^n\left(\eta_{j,l}(n)+
\left(\sum_{m=1}^k\zeta_{j,l,m}(n)(\hat\vartheta_m(n)-\vartheta_m(0))
\right)\right)\\
&&\qquad\qquad\qquad\qquad+O\left(n(\hat\vartheta(n)-\vartheta(0))^2\right), 
\end{eqnarray*}
$l=1\dots,k$, ahol
$$
\eta_{j,l}(n)=\frac{\frac{\partial}{\partial\vartheta_l}
f(\xi_j,\vartheta(0))}{f(\xi_j,\vartheta(0))},
$$
és
$$
\zeta_{j,l,m}(n)=
\frac{\frac{\partial^2}{\partial\vartheta_l\partial\vartheta_m}
f(\xi_j,\vartheta(0))}{f(\xi_j,\vartheta(0))}-
\frac{\frac{\partial}{\partial\vartheta_l}f(\xi_j,\vartheta(0))
\frac{\partial}{\partial\vartheta_m}f(\xi_j,\vartheta(0))}
{f^2(\xi_j,\vartheta(0))}
$$
a $j=1,\dots,n$ \'es $l,m=1,\dots,k$ indexekre. 

Innen az elhanyagolható hibatagokat elhagyva a következő jó
közelítést kapjuk a $\hat\vartheta_m(n)-\vartheta_m(0)$, 
$m=1,\dots,k$, kifejezésekre a maximum likelihood becslés,
azaz az $n$ elemű minta segítségével adott 
$\bar\vartheta(n)$ becslés és a valódi
$\vartheta(0)$ paraméter különbségére. Vezessük be az 
$U_l(n)=\sum_{j=1}^n\eta_{j,l}(n)$ és $V_{l,m}(n)=\sum_{j=1}^n\zeta_{j,l,m}(n)$ 
mennyiségeket. Segítségükkel felírhatjuk az
$$
\sum_{m=1}^k V_{l,m}(n)(\hat\vartheta_m(n)-\vartheta_m(0))=-U_l(n), 
\quad l=1,\dots,k,
$$
lineáris egyenletrendszert. Innen
\begin{equation}
(\hat\vartheta_1(n)-\vartheta_1(0),\dots,(\hat\vartheta_k(n)-\vartheta_k(0))
=-(U_1(n),\dots,U_k(n)) Z(n)^{-1}, 
\label{11}
\end{equation}
ahol $Z(n)$ a $Z(n)=(V_{l,m}(n))$, $l,m=1,\dots,k$ m\'atrix.

Az egydimenziós esethez hasonló számolás adja, hogy $EU_l=0$, 
$l=1,\dots,k$, és az $\frac1{\sqrt n}(U_1(n),\dots,U_k(n))$ vektor
a centrális határeloszlástétel sze\-rint eloszlásban konvergál
egy nulla várható értékű és $I(\vartheta_0)$ 
ko\-va\-ri\-an\-cia\-mát\-ri\-xú normális eloszláshoz, ahol 
$I(\vartheta_0)$ a Fisher inform\'aci\'o m\'atrix. Másrészt a nagy 
számok törvénye alkalmazható mindegyik $V_{l,m}(n)$, $l,m=1,\dots,k$, 
va\-ló\-szí\-nű\-sé\-gi változóra, és az azt adja, hogy az 
$\frac1n(V_{l,m}(n))=\frac1nZ(n)$, $l,m=1,\dots,k$, mátrix egy  
va\-ló\-sz\'i\-nű\-ség\-gel konvergál az $I(\vartheta_0)$ mátrixhoz, 
ezért inverze konvergál e mátrix in\-ver\-zé\-hez.

Ezen eredmények alapján nem nehéz belátni, felhasználva a (\ref{11})  
formulát, hogy a $\sqrt n(\bar\vartheta(n)-\vartheta(0))$ 
(normalizált)  maximum likelihood becslés hibája 
aszimp\-to\-ti\-ku\-san nulla várható értékű normális eloszlású 
valószínűségi vál\-to\-zó, amelynek kovarianciája 
\begin{eqnarray*}
&&\lim_{n\to\infty} n E
[(U_1(n),\dots,U_k(n)) Z(n)^{-1}]^*
[(U_1(n),\dots,U_k(n)) Z(n)^{-1}]  \\
&&\qquad =I(\vartheta_0)^{-1} 
E\left(\frac1n[(U_1(n),\dots,U_k(n))]^*
(U_1(n),\dots,U_k(n))\right)
I(\vartheta_0)^{-1} \\
&&\qquad=I(\vartheta_0)^{-1},
\end{eqnarray*}
mert $\lim\limits_{n\to\infty} n Z(n)^{-1}=I(\vartheta_0)^{-1}$, 
\'es
$$
\lim_{n\to\infty}E\left(\frac1n[(U_1(n),\dots,U_k(n))]^*
(U_1(n),\dots,U_k(n))\right)=I(\vartheta_0).
$$

Ez azt jelenti, hogy szép, reguláris esetekben a normaliz\'alt 
maximum likelihood becsl\'es hibája, azaz a 
$\sqrt n(\bar\vartheta(n)-\vartheta(0))$ kifejez\'es 
aszimptotikusan normális eloszl\'as\'u, nulla várható értékkel 
és $I(\vartheta_0)^{-1}$ kovariancia mát\-rix\-szal.

\medskip
V\'eg\"ul \"osszehasonl\'itom a maximum likelihood becsl\'es
hib\'aj\'ar\'ol kapott eredm\'enyt a Kramer--Rao 
egyenl\H{o}tlens\'eg \'all\'it\'as\'aval abban az esetben, ha
$k$-dimenzi\'os regul\'aris modelleket tekint\"unk.

Legyen adva f\"uggetlen, egyforma eloszl\'as\'u $\xi_1,\dots,\xi_n$
val\'osz\'in\H{u}s\'egi v\'al\-to\-z\'ok sorozata $f_{\vartheta(0)}(x)$
s\H{u}r\H{u}s\'egf\"uggv\'ennyel, ahol $\vartheta(0)\in\Theta$,
l\'etezik $f_\vartheta(x)$ s\H{u}\-r\H{u}\-s\'eg\-f\"ugg\-v\'eny 
minden $\vartheta\in\Theta$ param\'eterre, azok sz\'epen viselkednek, 
\'es $\Theta$ egy ny\'ilt halmaz a $k$-di\-men\-zi\'os Euklideszi 
t\'erben. Tekints\"uk a $\vartheta(0)$ param\'eter 
$\hat\vartheta(n)$ maximum likelihood becs\-l\'e\-s\'et. Legyen 
$\psi(\cdot)$ egy sima f\"uggv\'eny a $\Theta$ halmazon, \'es 
vizsg\'aljuk a $\psi(\hat\vartheta(n))-\psi(\vartheta(0))$
k\"ul\"onbs\'eg aszimptotikus vi\-sel\-ke\-d\'e\-s\'et nagy 
$n$ param\'eterre.

Mivel $\hat\vartheta(n))-\vartheta(0))$ kicsi, 
(nagys\'agrendje $O(n^{-1/2})$), ez\'ert a
$$
Z(n)=\sum_{l=1}^k\frac{\partial}{\partial\vartheta_l}\psi(\vartheta(0))
((\hat\vartheta_l(n))-\vartheta_l(0))
$$ 
kifejez\'es j\'o k\"ozel\'it\'ese a 
$\psi(\hat\vartheta(n))-\psi(\vartheta(0))$ k\"ul\"onbs\'egnek. A
$\sqrt n Z(n)$ \'es $\sqrt n(\psi(\hat\vartheta(n))-\psi(\vartheta(0)))$
kifejez\'eseknek ugyanaz a hat\'areloszl\'asa. Viszont $\sqrt n Z(n)$ 
hat\'areloszl\'as\'at tudjuk a maximum likelihood becsl\'esre
vonatkoz\'o centr\'alis hat\'areloszl\'ast\'etel alapj\'an. Val\'oban,
abb\'ol, hogy $\sqrt n(\hat\vartheta(n)-\vartheta(0))$ 
hat\'areloszl\'asa a $k$-dimenzi\'os norm\'alis eloszl\'as 
$I(\vartheta(0))^{-1}$ kovariancia m\'at\-rix\-szal \'es nulla 
v\'arhat\'o \'ert\'ekkel, k\"ovetkezik, hogy $\sqrt n Z(n)$ 
hat\'areloszl\'asa a nor\-m\'a\-lis eloszl\'as nulla v\'arhat\'o 
\'ert\'ekkel \'es 
$\sigma^2(\vartheta(0)$ sz\'or\'asn\'egyzettel, ahol
\begin{eqnarray*}
\sigma^2(\vartheta(0))\!\!\!\!\!\!
&&=\left(\frac{\partial}{\partial\vartheta_1}\psi(\vartheta(0)),\dots,
\frac{\partial}{\partial\vartheta_k} \psi(\vartheta(0))\right)
I(\vartheta(0))^{-1} \\
&& \qquad\qquad\qquad\qquad \quad
\left(\frac{\partial}{\partial\vartheta_1} \psi(\vartheta(0)),\dots,
\frac{\partial}{\partial\vartheta_k} \psi(\vartheta(0))\right)^*.
\end{eqnarray*}
Ez\'ert 
$\sqrt n(\psi(\hat\vartheta(n))-\psi(\vartheta(0)))$
hat\'areloszl\'asa is a nor\-m\'a\-lis eloszl\'as nulla 
v\'ar\-ha\-t\'o \'ert\'ekkel \'es $\sigma^2(\vartheta(0))$ 
sz\'or\'asn\'egyzettel.

\'Erdemes ezt az eredm\'enyt \"osszehasonl\'itani a Cramer--Rao
egyen\-l\H{o}t\-len\-s\'eg\-gel. Ut\'obbi azt \'all\'itja hogy a 
$\psi(\vartheta(0))$ f\"uggv\'eny b\'armely torz\'itatlan 
$\bar\vartheta(n)=T(\xi_1,\dots,\xi_n)$ becsl\'es\'ere
$\textrm{Var}\,\left(\sqrt n
[\bar\vartheta(n)-\psi(\vartheta(0))]\right)\ge\sigma^2(\vartheta(0))$.
Ez azt je\-len\-ti, hogy a $\psi(\hat\vartheta(n))$ maximum likelihood
becsl\'es sz\'or\'asn\'egyzete aszimp\-to\-ti\-ku\-san nem nagyobb, mint
$\psi(\vartheta(0))$ b\'armely torz\'itatlan becsl\'es\'e\'e.

\medskip
\begin{center}
{\bf Kiegészítés.}
\end{center}

\medskip\noindent
A most tárgyalt maximum likelihood becslés elve általánosabb 
feltételek mellett is alkalmazható. A módszer lényege az, hogy 
olyan paramétert ke\-re\-sünk, amelyre a hozz\'a tartozó eloszlás 
esetén a megfigyelt minta sű\-rű\-ség\-függ\-vé\-ny\'e\-nek az 
értéke az adott helyen a lehető legnagyobb. Lehet, hogy nem abszolút,
hanem csak lokális maximumot keresünk. Az ismertetett vázlatos 
bizonyítással indokolt eredmény arról szólt, hogy szép esetekben 
ezt a szél\-ső\-ér\-té\-ket, teh\'at a maximum likelihood 
becsl\'est a sűrűségfüggvény értékének a paraméter sze\-rin\-ti 
deriválása segítségével megkapjuk, és ilyen módon egy nagyon jó 
tu\-laj\-don\-sá\-gok\-kal rendelkező becsléshez jutunk. De ezt
a módszert olyan esetekben is alkalmazhatjuk, amikor az ebben a 
tárgyalásban fel\-hasz\-nált regularítási feltételek nem teljesülnek, 
például a maximumot nem tudjuk differenciálás segítségével 
megtalálni. De a maximum likelihood becslés elve ilyenkor is 
alkalmazható, tehát a keresett maximumot ilyenkor is
meg\-ke\-res\-het\-jük, és a kapott maximumot tekinthetjük a
maximum likelihood becs\-lés értékének. Ez az eljárás 
gyakran ad jó eredményt. Az alábbi példa ta\-nul\-sá\-gos lehet.

\medskip
Legyen adva egy $n$ elemű független egyforma eloszlású
valószínűségi vál\-to\-zók\-ból álló $X=(X_1,\dots,X_n)$ minta, 
amelynek $X_j$, $1\le j\le n$, elemei egyenletes eloszlásúak 
egy $[\vartheta,\vartheta+1]$ intervallumban, ahol 
$\vartheta\in R^1$ ismeretlen paraméter, és ezt akarjuk 
megbecsülni megfigyelésünk alapján. Értsük meg, hogy milyen 
módszert javasol a maximum likelihood becslés elve ebben 
az esetben.

Ekkor a megfigyelt minta eloszlásának van sűrűségfüggvénye (a 
Lebesgue mérték szerint), amely
így írható fel: $f_\vartheta(x_1,\dots,x_n)=1$, ha 
$\vartheta\le x_j\le\vartheta+1$ minden $1\le j\le n$ indexre,
\'es $f_\vartheta(x_1,\dots,x_n)=0$ egy\'ebk\'ent. 
Érdemes ezt olyan egyszerűbb alakban felírni, amelyben ez
az $f_\vartheta(\cdot)$ sűrűségfüggvény nem $n$ hanem csak 
két változó függvénye. Ennek érdekében vezessük be a 
a következő $T\colon\;R^n\to R^2$ lek\'epezést.
$$
T(x_1,x_2,\dots,x_n)=(\min(x_1,\dots,x_n),\max(x_1,\dots,x_n)).
$$
Defini\'aljuk tov\'abb\'a a következő
 $g_\vartheta\colon\; R^2\to R^1$ függvényt. 
$g_\vartheta(x,y)=1$, ha $\vartheta\le x\le y\le\vartheta+1$, és
$g_\vartheta(x,y)=0$ egyébként.

Ezzel a választással \'erv\'enyes az
$$
f_\vartheta(x_1,\dots,x_n)=g_\vartheta(T(x_1,\dots,x_n)) 
$$
azonosság.

Az $f_\vartheta(x_1,\dots,x_n)$ függvénynek a maximumhely\'et 
\'ugy keress\"uk, mint a $g_\vartheta(T(x_1,\dots,x_n))$ 
függ\-vény maximumhely\'et. Ez a maximumhely nem 
egy\-ér\-tel\-mű. Olyan $\hat\vartheta$ 
 értékekre vétetik fel, amelyekre $y-1\le\hat\vartheta\le x$,
ahol 
$$
x=\min(x_1,\dots,x_n),\quad y=\max(x_1,\dots,x_n).
$$ 
Ilyen $\hat\vartheta$ \'ert\'ekekre lesz 
$g_{\hat\vartheta}(T(x_1,\dots,x_n))=1$. Ez azt jelenti, hogy a 
ma\-xi\-mum likelihood becslés ebben az esetben nem
egyértelmű. Definiáljuk a legkisebb $X_{(1)}=\min(X_1,\dots,X_n)$  
és legnagyobb $X_{(n)}=\max(X_1,\dots,X_n)$  ele\-met az
$X=(X_1,\dots,X_n)$ mintából. Egy maximum likelihood becslést úgy 
kapunk, mint ezen $X_{(1)}$ \'es $X_{(n)}$ elemek $S(X_{(1)},X_{(n)})$ 
függvényét alkalmas $S(x,y)$ függvénnyel. Az $S(X_{(1)},X_{(n)})$ 
valószínűségi változó akkor lesz maximum likelihood
becslés, ha $y-1\le S(x,y)\le x$  az $S(x,y)$ függvényre minden
olyan $(x,y)$ pontp\'arra, amelyre $x\le y\le x+1$.

Ezen maximum likelihood becslések közül a legtermészetesebb a
$\hat\vartheta_n=\frac{X_{(1)}+X_{(n)}}2-\frac12$ becsl\'es, azaz a
$\hat\vartheta_n=S(X_{(1)},X_{(n)})$ becsl\'es az 
$S(x,y)=\frac{x+y}2-\frac12$ f\"uggv\'ennyel.
Ez analóg a várható értéknek a mintaelemek átlaga sze\-rin\-ti
becslésével, ami j\'o becsl\'es regul\'aris esetekben, de itt 
másfajta átlagot \'erdemes venni. Vegyük észre, hogy
a Neyman--Fisher faktoriz\'aci\'os tétel alapján $T(X_{(1)},X_{(n)})$ 
elégséges statisztika. (Általában a maximum likelihood becslések 
elégséges statisztikán alapulnak, és ezt nem nehéz látni a 
Neyman--Fisher faktoriz\'aci\'os tétel segítségével.) Lássuk be, 
hogy ez a becslés torzítatlan, és számoljuk ki a szórásnégyzetét.

\medskip\noindent
{\it Feladatok:}

\medskip\noindent
Bizony\'itsa be, hogy ha $X_1,\dots,X_n$ független, egyforma eloszlású
va\-ló\-szí\-nű\-sé\-gi változók egyenletes eloszl\'assal a
$[\vartheta,\vartheta+1]$ intervallumban, akkor az
$(X_{(1)},X_{(n)})$ véletlen vektor sű\-rű\-ség\-függ\-vé\-nye, ahol
$X_{(1)}=\min(X_1,\dots,X_n)$  \'es $X_{(n)}=\max(X_1,\dots,X_n)$
az a $g(x,y)$ f\"uggv\'eny, amelyre 
$$
g(x,y)=n(n-1)(y-x)^{n-2}, \textrm{ ha } 
\vartheta\le x\le y\le\vartheta+1, \textrm{ és } g(x,y)=0 
\textrm{ egyébként}.
$$
Mutassa meg, hogy a
$\hat\vartheta_n=\frac{X_{(1)}+X_{(n)}}2-\frac12$ becsl\'es 
torz\'itatlan, \'es sz\'or\'asn\'egyzete $\frac1{2(n+1)(n+2)}$.

\medskip\noindent
{\it Megjegyz\'es.}\/ S Cramer--Rao egyenl\H{o}tlens\'eg 
alapj\'an bizonyos re\-gu\-la\-ri\-t\'a\-si fel\-t\'e\-te\-lek 
teljes\"ul\'ese eset\'eben egy torz\'itatlan becsl\'es 
hib\'aj\'anak a sz\'o\-r\'as\-n\'egy\-ze\-te nagyobb, mint 
$\frac{\textrm{const.}}n$. Ebben a p\'eld\'aban ez a 
sz\'or\'asn\'egyzet $O(\frac1{n^2})$, viszont nem 
teljes\"ulnek a Cramer--Rao egyenl\H{o}tlens\'eg 
felt\'etelei.

\medskip\noindent
{\it Seg\'its\'eg.}\/ A k\"ovetkez\H{o} integr\'alt kell kisz\'amolni
a 
$\hat\vartheta_n=\frac{X_{(1)}+X_{(n)}}2-\frac12$ becsl\'es  
sz\'or\'asn\'egyzet\'enek kisz\'am\'it\'as\'ahoz: 
$$
\int_{\{(x,y)\colon\; \vartheta\le x\le y\le\vartheta+1\}}n(n-1)(y-x)^{n-2}
\left(\frac{(x+y)}2-\frac12-\vartheta\right)^2 \,dx\,dy.
$$
\'Erdemes az $u=y-x$, $v=x+y-1-2\vartheta$ v\'altoz\'o 
transzform\'aci\'ot elv\'egezni, amely\-nek Jacobi 
determin\'ansa 2. Az el\H{o}z\H{o} integr\'al a 
k\"ovetkez\H{o}k\'epp fejezhet\H{o} ki az $u$ \'es $v$ v\'altoz\'ok
seg\'its\'eg\'evel:
$$
\frac {n(n-1)}2\int_{\{(u,v)\in D\}} u^{n-2}\cdot \frac{v^2}4 \,du\,dv,
$$
ahol $D=\{(u,v)\colon\;0\le u\le 1,\; u-1\le v\le1-u \}$.

\medskip\noindent
Tekints\"uk a k\"ovetkez\H{o} feladatot.
Legyenek $X_1,\dots,X_n$ független, egyforma eloszlású
va\-ló\-szí\-nű\-sé\-gi változók egyenletes eloszl\'assal a
$[0,\vartheta]$ intervallumban valamilyen $\vartheta>0$ 
param\'eterrel. Hat\'arozza meg a $\vartheta$ param\'eter
maximum likelihood becsl\'es\'et az
$X=(X_1,\dots,X_n)$ minta alapj\'an, \'es sz\'amolja ki 
e becsl\'es hib\'aj\'anak v\'arhat\'o \'ert\'ek\'et \'es
sz\'or\'asn\'egyzet\'et.

\medskip\noindent
{Seg\'its\'eg.} El\H{o}sz\"or a maximum likelihood becsl\'es
meghat\'aroz\'as\'aval fog\-lal\-ko\-zunk. Ennek m\'odszer\'et 
ismertetem r\"oviden. Az  $X=(X_1,\dots,X_n)$ minta 
s\H{u}\-r\H{u}\-s\'eg\-f\"ugg\-v\'e\-nye
$f_\vartheta(x_1,\dots,x_n)=\vartheta^{-n}$, ha $0\le x_j\le\vartheta$,
$1\le j\le n$, \'es $f_\vartheta(x_1,\dots,x_n)=0$ egy\'ebk\'ent.
\'Irjuk ezt fel egyszer\H{u}bb, sz\'amunkra hasz\-no\-sabb alakban.
De\-fi\-ni\-\'al\-juk az $y=T(x_1,\dots,x_n)$ f\"uggv\'enyt a 
k\"ovetkez\H{o} m\'odon. Legyen  
$$
T(x_1,\dots,x_n)=\max(x_1,\dots,x_n), \textrm{ ha }x_j\ge0
\textrm{ minden }1\le j\le n \textrm{ indexre},
$$
$T(x_1,\dots,x_n)=0$ egy\'ebk\'ent. Legyen $g_\vartheta(x)=\vartheta^{-n}$,
ha $0<x\le\vartheta$, \'es $g_\vartheta(x)=0$ egy\'ebk\'ent, \'es
legyen $X_{(n)}=\max (X_1,\dots,X_n)$. Ekkor 
$$
f_\vartheta(x_1,\dots,x_n)=g_\vartheta(T(x_1,\dots,x_n)),
$$ 
\'es ez maximum\'at a $\vartheta=T(x_1,\dots,x_n)$ param\'eterre 
veszi fel. Ez\'ert a maximum likelihood becsl\'es a 
$\hat\vartheta=T(X_1,\dots,X_n)=X_{(n)}$ becsl\'es. Jegyezz\"uk meg,
hogy $X_{(n)}$ s\H{u}r\H{u}s\'egf\"uggv\'eny\'et a 
$h_\vartheta(x)=nx^{n-1}\vartheta^{-n}$,
ha $0\le x\le \vartheta$, \'es $h_\vartheta(x)=0$ egy\'ebk\'ent 
k\'eplet hat\'arozza meg. Ez lehet\H{o}v\'e teszi a
a $\hat\vartheta_n=X_{(n)}$ maximum likelihood becsl\'es
v\'arhat\'o \'ert\'ek\'enek \'es sz\'or\'asn\'egyzet\'enek
kisz\'am\'it\'as\'at.

\medskip\noindent
Tekintsük a következő feladatot. Határozzuk meg egy
normális eloszlású, azaz 
$f_{\mu,\sigma}(x)=\frac1{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2}$ 
sűrűségfüggvényű valószínűségi változó  $\mu$ és $\sigma$ 
paraméterét egy $X=(X_1,\dots,X_n)$ minta ismeretében a maximum
likelihood becslés módszerével. Tekintsük azt az esetet,
amikor mind a $\mu$ mind a $\sigma$ paraméter ismeretlen, és
a $(\mu,\sigma)$ párt akarjuk megbecsülni, és azt az esetet is, 
amikor az egyik paraméter értéke ismert, és a másik paramétert 
akarjuk megbecsülni.


\end{document}
