Estimació puntual i per intervals: biaix, error quadràtic, màxima versemblança i pivots

Un estimador és una recepta per convertir dades en un número. N'hi ha moltes de possibles per a un mateix paràmetre, i el que fa aquest tema és donar criteris per comparar-les i mètodes generals per construir-ne. La conclusió sorprenent, i que val la pena tenir clara des del principi, és que el millor estimador no sempre és el que no s'equivoca de mitjana.

Biaix, variància i error quadràtic

Un estimador és no esbiaixat si la seva esperança és exactament el paràmetre. El biaix és la diferència entre totes dues coses. Però el que realment importa és la distància típica a la diana, i això ho mesura l'error quadràtic mitjà, que es descompon així:

$$\operatorname{MSE}(\widehat\theta) = \mathbb{E}\big[(\widehat\theta - \theta)^{2}\big] = \operatorname{Var}(\widehat\theta) + b(\theta)^{2}.$$

La demostració és sumar i restar l'esperança de l'estimador i comprovar que el terme creuat s'anul·la. La lectura és important: hi ha dues fonts d'error, i reduir-ne una sovint augmenta l'altra. Un estimador lleugerament esbiaixat però molt més estable pot tenir menys error total que un de no esbiaixat i sorollós. Aquest compromís entre biaix i variància reapareix a tot arreu, des de la regressió regularitzada fins a l'aprenentatge automàtic.

La consistència és una propietat diferent i asimptòtica: l'estimador convergeix en probabilitat al paràmetre quan la mostra creix. No és el mateix que manca de biaix per a mostres finites, i cap de les dues no implica l'altra.

Mètode dels moments

El més senzill: iguala tants moments teòrics com paràmetres tinguis amb els moments mostrals corresponents i resol. Per a una exponencial de taxa $\lambda$, l'esperança teòrica és $1/\lambda$ i la mostral és $\bar x$, d'on l'estimador és $1/\bar x$.

És ràpid i sempre aplicable, però no sempre és eficient, pot donar estimacions fora del domini admissible (per exemple una variància negativa) i no és únic: si iguales moments diferents obtens estimadors diferents.

Màxima versemblança

La idea és triar el valor del paràmetre que fa més probables les dades que realment has observat. A la pràctica es maximitza la log-versemblança, perquè converteix productes en sumes.

Un avís que costa punts: derivar i igualar a zero és només una part del procediment. Un màxim global pot estar a la frontera del domini, i llavors la derivada no s'hi anul·la. El cas clàssic és estimar el paràmetre d'una uniforme a l'interval de $0$ a $\theta$: la versemblança és decreixent en $\theta$ i el màxim és el valor més gran de la mostra, que la derivada no detecta mai.

Informació de Fisher i la cota de Cramér i Rao

Sota condicions de regularitat, la informació que una observació conté sobre el paràmetre es quantifica amb

$$I(\theta) = \mathbb{E}_{\theta}\Big[\big(\partial_{\theta}\ln f_{\theta}(X)\big)^{2}\Big],$$

i tot estimador no esbiaixat prou regular compleix que la seva variància és com a mínim $1/(nI(\theta))$. És un límit teòric a la precisió assolible: cap mètode, per llest que sigui, no pot baixar d'aquí.

La cota no s'aplica sense comprovar la regularitat, i el cas on més clarament falla és quan el suport de la distribució depèn del paràmetre, com en la uniforme de l'exemple anterior. Allà hi ha estimadors amb variància molt menor que la cota, perquè les hipòtesis no es compleixen.

Intervals habituals

Un interval es construeix a partir d'un pivot: una quantitat que depèn de les dades i del paràmetre però la distribució de la qual és coneguda i no depèn de res desconegut. Escrius una desigualtat de probabilitat per al pivot i l'inverteixes per aïllar el paràmetre.

• Mitjana normal amb $\sigma$ coneguda: $\bar X \pm z_{1-\alpha/2}\,\sigma/\sqrt{n}$.
• Mitjana normal amb $\sigma$ desconeguda: $\bar X \pm t_{n-1,\,1-\alpha/2}\,S/\sqrt{n}$.
• Variància normal: els dos extrems surten de dividir $(n-1)S^{2}$ pels dos quantils de la khi quadrat, creuats: el quantil gran va al denominador de l'extrem inferior. Aquest interval no és simètric al voltant de $S^{2}$.

Per a una proporció, l'interval de Wald (la proporció observada més o menys el quantil normal per l'error estàndard estimat) funciona malament amb mostres petites o amb proporcions properes a $0$ o a $1$: pot donar extrems fora de l'interval de $0$ a $1$ i la seva cobertura real pot quedar molt per sota del nominal. Una alternativa millor és l'interval de Wilson, amb centre i semiamplada

$$c = \frac{\widehat p + z^{2}/(2n)}{1 + z^{2}/n}, \qquad h = \frac{z}{1+z^{2}/n}\sqrt{\frac{\widehat p(1-\widehat p)}{n} + \frac{z^{2}}{4n^{2}}},$$

que s'obté invertint el contrast de puntuació. Segueix sent un procediment aproximat, no de cobertura exacta per a tot $n$ i tot $p$, però es comporta molt millor als extrems.

Exercici resolt: consistència de la proporció mostral

Justifica que, per a una mostra Bernoulli, la proporció mostral és un estimador consistent de $p$.

Manca de biaix. Per linealitat, l'esperança de la mitjana és $p$.

Variància. Com que les observacions són independents, la variància de la mitjana és $p(1-p)/n$, que tendeix a zero.

Conclusió. Aplicant Txebixev, per a qualsevol $\varepsilon > 0$

$$\mathbb{P}(|\widehat p - p|\geq \varepsilon) \leq \frac{p(1-p)}{n\varepsilon^{2}} \longrightarrow 0,$$

o sigui convergència en probabilitat: l'estimador és consistent. Fixa't que l'argument no ha necessitat cap aproximació normal, només la desigualtat elemental.

Exercici resolt: biaix contra variància

Per estimar la variància d'una normal, l'estimador amb denominador $n-1$ és no esbiaixat i el que té denominador $n$ no ho és. Quin dels dos té menys error quadràtic mitjà?

Sota normalitat, $(n-1)S^{2}/\sigma^{2}$ és khi quadrat amb $n-1$ graus de llibertat, que té variància $2(n-1)$. D'aquí, la variància de $S^{2}$ és $2\sigma^{4}/(n-1)$, i el seu error quadràtic és el mateix perquè no té biaix.

Per a l'estimador amb denominador $n$, que és $S^{2}(n-1)/n$, el biaix és $-\sigma^{2}/n$ i la variància és $2\sigma^{4}(n-1)/n^{2}$. Sumant el quadrat del biaix surt un error quadràtic de $(2n-1)\sigma^{4}/n^{2}$, que és menor que $2\sigma^{4}/(n-1)$ per a tot $n \geq 2$.

Conclusió: l'estimador esbiaixat té menys error quadràtic mitjà. Que el que es faci servir per convenció sigui l'altre respon a la comoditat de la manca de biaix en les fórmules d'inferència, no al fet que sigui millor en aquest criteri.