Exercicis d'estimació puntual i per intervals

La descomposició.

$\operatorname{MSE} = \operatorname{Var} + \text{biaix}^{2} = 1 + 1^{2} = 2$

Per què importa. Hi ha dues fonts d'error, i reduir-ne una sovint augmenta l'altra. Un estimador lleugerament esbiaixat però molt més estable pot tenir menys error total que un de no esbiaixat i sorollós.

Aquest compromís entre biaix i variància reapareix a tot arreu: a la variància mostral amb denominador $n$ contra $n-1$, a la regressió regularitzada i a tot l'aprenentatge automàtic. Triar l'estimador no esbiaixat no és automàticament la decisió correcta.

Pas 1 — el pivot. Sota normalitat,

$\frac{(n-1)s^{2}}{\sigma^{2}} \sim \chi^{2}_{4}$

Pas 2 — invertir la desigualtat. De $\chi^{2}_{4} \leq 11.143$ surt

$\sigma^{2} \geq \frac{4\cdot9}{11.143} \approx 3.2307$

El detall que es falla sempre: els quantils van creuats. El quantil gran dona l'extrem petit i el petit dona l'extrem gran, perquè en invertir una desigualtat que té el paràmetre al denominador el sentit canvia.

I una altra cosa: aquest interval no és simètric al voltant de $s^{2}$, al contrari del de la mitjana. La khi quadrat és asimètrica i l'interval ho hereta.

Pas 1 — error estàndard.

$\frac{2}{\sqrt{5}} \approx 0.8944$

Pas 2 — multiplicar pel quantil. Com que $\sigma$ és desconeguda, el pivot és una $t$ amb $4$ graus de llibertat:

$h = 2.776\cdot 0.8944 \approx 2.4829$

L'interval seria, doncs, aproximadament de $17.517$ a $22.483$.

Com s'ha de dir. No «hi ha un 95% de probabilitat que la mitjana estigui aquí dins», sinó «amb un procediment que encerta el 95% de les vegades, l'interval obtingut és aquest». El paràmetre és fix; el que és aleatori és l'interval.

Pas 1 — la log-versemblança. Multiplicant les densitats i prenent logaritmes:

$\ell(\lambda) = 6\ln\lambda - \lambda\cdot12$

Pas 2 — derivar i igualar a zero.

$\ell'(\lambda) = \frac{6}{\lambda} - 12 = 0 \quad\Longrightarrow\quad \widehat\lambda = \frac{6}{12} = \frac{1}{2} \approx 0.5000$

Pas 3 — comprovar que és màxim. La segona derivada és $-n/\lambda^{2}$, sempre negativa: és un màxim global. Aquest pas no és decoratiu; hi ha models on el màxim és a la frontera i la derivada no el troba mai.

Un detall. Aquest estimador és l'invers de la mitjana mostral, cosa que té sentit perquè l'esperança d'una exponencial és $1/\lambda$. Però no és no esbiaixat: la seva esperança és $n\lambda/(n-1)$. La versió corregida $(n-1)/\sum x_i$ sí que ho és.

Pas 1 — la condició.

$1{,}96\,\frac{1}{\sqrt{n}} \leq \frac{1}{4}$

Pas 2 — aïllar. Multiplicant creuat i elevant al quadrat:

$n \geq \left(\frac{1{,}96\cdot1}{\frac{1}{4}}\right)^{2} \approx 61.47$

Pas 3 — arrodonir cap amunt: $62$ observacions.

El que has de veure aquí. La mida creix amb el quadrat de la precisió que demanes: exigir la meitat d'error multiplica la mostra per quatre. És la realitat més dura de l'estadística aplicada i la raó per la qual sovint surt més a compte reduir la variabilitat (millor disseny, millors mesures) que recollir més dades.

Pas 1 — error estàndard.

$\sqrt{\frac{\hat p(1-\hat p)}{n}} = \sqrt{\frac{\frac{1}{10}\cdot\frac{9}{10}}{50}} \approx 0.04243$

Pas 2 — multiplicar pel quantil.

$h = 1{,}96\cdot0.04243 \approx 0.08316$

Quan aquest interval falla. Amb mostres petites o amb proporcions molt properes a $0$ o a $1$, el de Wald pot donar extrems fora del rang vàlid i la seva cobertura real pot quedar molt per sota del $95\%$ nominal. Llavors es fa servir l'interval de Wilson, que s'obté invertint el contrast de puntuació i es comporta molt millor als extrems.

Detall útil: el producte $\hat p(1-\hat p)$ és màxim a $0{,}5$, o sigui que el cas pitjor (l'interval més ample) surt amb proporcions properes a la meitat.

La descomposició.

$\operatorname{MSE} = \operatorname{Var} + \text{biaix}^{2} = 1 + 2^{2} = 5$

Per què importa. Hi ha dues fonts d'error, i reduir-ne una sovint augmenta l'altra. Un estimador lleugerament esbiaixat però molt més estable pot tenir menys error total que un de no esbiaixat i sorollós.

Aquest compromís entre biaix i variància reapareix a tot arreu: a la variància mostral amb denominador $n$ contra $n-1$, a la regressió regularitzada i a tot l'aprenentatge automàtic. Triar l'estimador no esbiaixat no és automàticament la decisió correcta.

Pas 1 — el pivot. Sota normalitat,

$\frac{(n-1)s^{2}}{\sigma^{2}} \sim \chi^{2}_{4}$

Pas 2 — invertir la desigualtat. De $\chi^{2}_{4} \leq 11.143$ surt

$\sigma^{2} \geq \frac{4\cdot16}{11.143} \approx 5.7435$

El detall que es falla sempre: els quantils van creuats. El quantil gran dona l'extrem petit i el petit dona l'extrem gran, perquè en invertir una desigualtat que té el paràmetre al denominador el sentit canvia.

I una altra cosa: aquest interval no és simètric al voltant de $s^{2}$, al contrari del de la mitjana. La khi quadrat és asimètrica i l'interval ho hereta.

Pas 1 — error estàndard.

$\frac{4}{\sqrt{5}} \approx 1.7889$

Pas 2 — multiplicar pel quantil. Com que $\sigma$ és desconeguda, el pivot és una $t$ amb $4$ graus de llibertat:

$h = 2.776\cdot 1.7889 \approx 4.9659$

L'interval seria, doncs, aproximadament de $15.034$ a $24.966$.

Com s'ha de dir. No «hi ha un 95% de probabilitat que la mitjana estigui aquí dins», sinó «amb un procediment que encerta el 95% de les vegades, l'interval obtingut és aquest». El paràmetre és fix; el que és aleatori és l'interval.

Pas 1 — la log-versemblança. Multiplicant les densitats i prenent logaritmes:

$\ell(\lambda) = 20\ln\lambda - \lambda\cdot100$

Pas 2 — derivar i igualar a zero.

$\ell'(\lambda) = \frac{20}{\lambda} - 100 = 0 \quad\Longrightarrow\quad \widehat\lambda = \frac{20}{100} = \frac{1}{5} \approx 0.2000$

Pas 3 — comprovar que és màxim. La segona derivada és $-n/\lambda^{2}$, sempre negativa: és un màxim global. Aquest pas no és decoratiu; hi ha models on el màxim és a la frontera i la derivada no el troba mai.

Un detall. Aquest estimador és l'invers de la mitjana mostral, cosa que té sentit perquè l'esperança d'una exponencial és $1/\lambda$. Però no és no esbiaixat: la seva esperança és $n\lambda/(n-1)$. La versió corregida $(n-1)/\sum x_i$ sí que ho és.