Eloszlásfüggvény becslése cenzorált minta segítségével. A jó becslés megtalálása.

Az empirikus eloszlásfüggvény becslése cenzorált minta alapján a következő feladatot jelenti.

Legyen X_{1}, …, X_{n} független, egyforma eloszlású valószínűségi változók sorozata F eloszlással, Z_{1}, …, Z_{n} független, egyforma eloszlású valószínűségi változók sorozata G eloszlással, és legyen az X_{1}, …, X_{n} és Z_{1}, …, Z_{n} sorozat egymástól független.

Nem ismerjük sem az F sem a G eloszlásfüggvényt. Az F eloszlásfüggvényt kívánjuk megbecsülni, de csak az Y_{i} = min(X_{i}, Z_{i}) valószínűségi változókat, és a δ_{i} = I(X_{i} ≤ Z_{i}) eseményeket, 1 ≤ i ≤ n, tudjuk megfigyelni, azaz azt, hogy a megfigyelt Y_{i} valószínűségi változó X_{i}-vel vagy Z_{i}-vel egyenlő-e.

Kaplan és Meyer a következő becslést javasolta az S(u) = 1 − F (u) függvényre:

1 − F_{n}(u) = S_{n}(u) = \{ \begin{matrix}∏_{i=1}^{n} (\frac{N(Y_{i})}{N(Y_{i}) + 1})^{I(Y_{i}≤u,δ_{i}=1)} & ha u ≤ max(Y_{1}, …, Y_{n}) \\ 0 & ha u ≥ max(Y_{1}, …, Y_{n}), δ̄_{n} = 1, \\ nem definiált & ha u ≥ max(Y_{1}, …, Y_{n}), δ̄_{n} = 0, \end{matrix}

ahol

N(t) = #{Y_{i}, Y_{i} > t, 1 ≤ i ≤ n} = ∑_{i=1}^{n} I(Y_{i} > t),

és δ̄_{n} = δ̄_{i(n)}, ahol az i(n) indexet az Y_{i(n)} = max_{1≤i≤n} Y_{i} képlet definiálja. Az üres szorzat

értékét (azaz az S_{n}(u) kifejezés értékét abban az esetben, ha nincs az Y_{i} ≤ u, δ_{i} = 1 feltételt kielégítő mintaelem) 1-nek definiáljuk.

Azt kívánjuk megmutatni, hogy ez a becslés maximum likelihood tipusú becslés a következő értelemben. Becsüljük meg az (F, G) eloszláspárt a következő módon. Legyenek x_{1}, …, x_{k}, x_{1} < x_{2} < ⋯ < x_{k}, azon Y_{i} valószínűségi változók értékei, amelyek valamelyik X_{i} változóval egyenlőek, azaz minden x_{s}, 1 ≤ s ≤ k, ponthoz létezik olyan i index, amelyre X_{i} = x_{s}, és δ_{i} = 1, és legyenek z_{1}, …, z_{l}, z_{1} < z_{2} < ⋯ < z_{l}, azon Y_{i} valószínűségi változók értékei, amelyek olyan Y_{i} változók értékei, amelyekre Y_{i} = Z_{i}, azaz δ_{i} = 0. Feltesszük, hogy mind az F mind a G eloszlás atommentes, ezért nem jelenik meg ugyanaz a mintaelem kétszer. Ha x_{k} > y_{l}, akkor bevezetünk egy ‘fiktív’ y_{l+1} > x_{k}, ha y_{l} > x_{k} akkor bevezetünk egy ‘fiktív’ x_{k+1} > y_{l} elemet. Ennek értékét tetszőlegesen választjuk. Vegyük az összes olyan (F, G) eloszláspárt, amelyre F az x_{i}, 1 ≤ i ≤ k, (vagy 1 ≤ i ≤ k + 1), G a z_{j}, 1 ≤ j ≤ l, vagy (1 ≤ j ≤ l + 1) pontokba van koncentrálva. Számoljuk ki, hogy ezen eloszláspárok közül melyikre lesz a legnagyobb annak a valószínűsége, hogy az általunk megfigyelt sorozat jelenik meg. Azt állítom, hogy ez a feladat megoldható, és a megoldás az F eloszlásra a Kaplan és Meyer által javasolt képletet adja. A G eloszlásra egy hasonló képletet kapunk, de azt nem írom fel. A fiktív x_{k+1} vagy z_{l+1} értéket azért vezettük be, mert ha x_{k} a legnagyobb megfigyelt érték, akkor Z_{1} pozitív valószínűséggel felvesz ennél nagyobb értékeket is, és hasonló argumentum érvényes akkor, ha y_{l} a legnagyobb megfigyelt érték.

Legyen p_{i} = P (X_{1} = x_{i}), q_{j} = P (Z_{1} = z_{j}), és számoljuk ki annak valószínűségét, hogy ilyen eloszlás esetén az általunk bevezetett esemény következik be. Vezessük be a P_{i} = p_{i} + ⋯ + p_{k}, 1 ≤ i ≤ k, számokat, ha nincs x_{k+1} elem, és a P_{i} = p_{i} + ⋯ + p_{k+1}, 1 ≤ i ≤ k + 1, számokat, ha van x_{k+1} elem. Hasonlóan, legyen Q_{j} = q_{j} + ⋯ + q_{l}, 1 ≤ j ≤ l, ha nincs z_{l+1} elem, és a Q_{j} = q_{j} + ⋯ + q_{l+1}, 1 ≤ j ≤ l + 1, ha van z_{l+1} elem. Teljesül a P_{1} = Q_{1} = 1 azonosság. Írjuk fel a minket érdeklő valószínűséget.

Annak a valószínűsége, hogy egy mérésnek x_{i} az eredménye p_{i}Q_{r(i)}, 1 ≤ i ≤ k, és annak valószínűsége, hogy az z_{j}-vel egyenlő q_{j}P_{s(j)}, 1 ≤ j ≤ l, ahol az r(i) és s(j) indexeket a z_{r(i)−1} < x_{j} < z_{r(i)} és x_{s(j)−1} < z_{j} < x_{s(j)} képletek határozzák meg. (Bevezetjük az x_{0} = z_{0} = −∞ konvenciót.) Ennek alapján a keresett valószínűség

P = P (p_{,}p_{2}, …, q_{1}, q_{2}, …) = ∏_{i=1}^{k} p_{i}Q_{r(i)} · ∏_{j=1}^{l} q_{j}P_{s(j)}.

Végezzük el a p_{i} = P_{i}−P_{i+1}, 1 ≤ i ≤ k, és q_{j} = Q_{j} −Q_{j+1}, 1 ≤ j ≤ l, helyettesítéseket a fenti képletben, (P_{k+1} = 0, ha nem létezik x_{k+1}, és Q_{l+1} = 0, ha nem étezik z_{l+1} elem), és rendezzük át a fenti egyenlet jobboldalát, mint két olyan kifejezés szorzatát, amelyek közül az első kifejezés egy olyan szorzat, amelyben csak P_{i}-től függő, a második kifejezés olyan szorzat, amelyben csak Q_{j}-től függő tagok vannak. Vezessük be a következő jelöléseket: α(i) a z_{j} pontok száma az (x_{i}, x_{i+1}) intervallumban, β(j) az x_{i} pontok száma a (z_{j}, z_{j+1}) intervallumban. Ezzel a jelöléssel azt kapjuk, hogy

P = I_{1} · I_{2},

ahol

I_{1} = ∏_{i=1}^{k−1}(P_{i} − P_{i+1})P_{i+1}^{α(i)} · P_{k} = ∏_{i=1}^{k−2}(P_{i} − P_{i+1})P_{i+1}^{α(i)} · (P_{k−1} − P_{k})P_{k}^{(α(k−1)+1)},

ha x_{k+1} nem létezik, és

I_{1} = ∏_{i=1}^{k}(P_{i} − P_{i+1})P_{i+1}^{α(i)},

ha x_{k+1} létezik. Hasonlóan

I_{2} = ∏_{j=1}^{l−2}(Q_{j} − Q_{j+1})Q_{j+1}^{β(j)} · (Q_{l−1} − Q_{l})Q_{l}^{(β(l)+1)},

ha z_{l+1} nem létezik, és

I_{2} = ∏_{j=1}^{l}(Q_{j} − Q_{j+1})Q_{j+1}^{β(j)},

ha z_{l+1} létezik.

Ennek alapján a keresett becslés megtalálásának érdekében a következő szélsőérték feladatot kell megoldanunk. Találjuk, meg milyen (P_{1}, …, P_{k}) (vagy (P_{1}, …, P_{k+1})) vektorra veszi fel az I_{1} kifejezés a maximumát az 1 = P_{1} ≥ P_{2} ≥ ⋯ ≥ P_{k} ≥ 0 (illetve 1 = P_{1} ≥ P_{2} ≥ ⋯ ≥ P_{k+1} ≥ 0) feltétel mellett.

A feladat megoldásában a következő lemmát fogjuk használni.

Lemma. A (P − x)x^{α}, 0 ≤ x ≤ P, α ≥ 1, kifejezés az x = \frac{α}{α+1}P pontban veszi fel a maximumát, és ott értéke \frac{1}{α+1}P^{α+1}.

Bizonyítás. A (P − x)x^{α} függvény deriváltja α(P − x)x^{α−1} − x^{α} = x^{α−1}[α(P − x) − x]. Ez az x_{0} = \frac{α}{α+1} pontban egyenlő nullával. Az x_{0} pont a függvény maximumhelye, és a függvény értéke ebben a pontban \frac{1}{α+1}P^{α+1}.

Számoljuk ki I_{1} maximumának az értékét először abban az esetben, ha x_{k+1} nem létezik. Ha a P_{1}, …, P_{k−1} pontokat rögzítjük, és keressük azt a P_{k} számot, amelyre I_{1} értéke maximális, azt kapjuk (a lemma segítségével), hogy P_{k} = \frac{α(k−1)+1}{α(k−1)+2}P_{k−1}, és

I_{1} = const. ∏_{i=1}^{k−2}(P_{i} − P_{i+1})P_{i+1}^{α(i)} · P_{k−1}^{α(k−2)+α(k−1)+2}

egy olyan konstanssal, amely csak az α(·) számoktól függ, de nem függ a P_{i} számok választásától. Ezután a P_{k−1} értékét választjuk meg rögzített P_{i}, 1 ≤ i ≤ k − 2 értékek mellett úgy, hogy I_{1} értéke maximális legyen. Azt kapjuk (a lemma segítségével), hogy P_{k−1} = \frac{α(k−2)+α(k−1)+2}{α(k−2)+α(k−1)+3}P_{k−2}, és

I_{1} = const. ∏_{i=1}^{k−3}(P_{i} − P_{i+1})P_{i+1}^{α(i)} · P_{k−2}^{α(k−3)+α(k−2)+α(k−1)+3}.

Indukcióval kapjuk, hogy tetszőleges i indexre 2 ≤ i ≤ k, az I_{1} maximumát nyújtó vektor P_{i} koordinátájának a választása a következő.

P_{i} = \frac{α(i − 1) + ⋯ + α(k − 1) + k + 1 − i}{α(i − 1) + ⋯ + α(k − 1) + k + 2 − i}P_{i−1},

és

I_{1} = const. ∏_{s=1}^{k−i−1}(P_{s} − P_{s+1})P_{s+1}^{α(s)} · P_{i−1}^{α(i−2)+···+α(k−1)+k−i+2}.

Vegyük észre, hogy

α(i − 1) + ⋯ + α(k − 1) + k + 1 − i = N(x_{i−1})

(azzal az N(·) kifejezéssel, amelyik az 1−F_{n}(u) becslőfüggvény definiciójában szerepel), mert α(i − 1) + ⋯ + α(k − 1) darab x_{i−1}-nél nagyobb z_{j} és k + 1 − i darab x_{i−1}-nél nagyobb x_{i′} szám van. Ezért a szélsőérték feladatot megoldó P_{i} számokra felírhatjuk, hogy

\frac{P_{i}}{P_{i−1}} = \frac{N(x_{i−1})}{N(x_{i−1}) + 1}, 2 ≤ i ≤ k.  (∗)

Másrészt P_{1} = 1. Innen azt kapjuk, hogy

P_{i} = ∏_{s=2}^{i} \frac{N(x_{s−1})}{N(x_{s−1}) + 1}, 2 ≤ i ≤ k.

Ez tekinthető úgy, mint a Kaplan és Meyer által javasolt becslés felírása más alakban, mert S_{n}(u) = 1 − F_{n}(u) = P_{i}, ha x_{i−1} ≤ u < x_{i}. (Itt megint az x_{0} = −∞ konvenciót használjuk.)

Az az eset, amikor létezik x_{k+1} pont hasonlóan tárgyalható. De ilyenkor létezik a P_{k+1} valószínűség, és az α(k) ≥ 1 szám is. Az előző esethez hasonlóan számolva azt kapjuk, hogy P_{k+1} = \frac{α(k)}{α(k)+1}P_{k}, és az I_{1} kifejezés is kiszámolható ezzel a P_{k+1} választással. Ezután indukcióval kiszámítjuk a P_{k−s} valószínűségek optimális választását és a hozzájuk tartozó I_{1} kifejezés értékét. Azt kapjuk, hogy

P_{i} = \frac{α(i − 1) + ⋯ + α(k) + k + 1 − i}{α(i − 1) + ⋯ + α(k) + k + 2 − i}P_{i−1},

minden 2 ≤ i ≤ k indexre, (és az I_{1} kifejezésre is felírhatunk az előző esethez hasonló formulát). Ezért a (∗) formula ekkor is érvényes. Következésképp most is a Kaplan és Meyer által javasolt formulát kapjuk, mint az itt tekintett maximumhely keresése feladat megoldását.