Inferència estadística i mostreig: distribucions mostrals i versemblança

Fins ara has treballat amb models on els paràmetres eren coneguts i calculaves probabilitats. La inferència va al revés: tens dades i no tens paràmetres, i vols dir alguna cosa sobre la població a partir d'una mostra. El canvi de direcció comporta un vocabulari nou que convé fixar bé, perquè la majoria d'errors greus en estadística aplicada són errors de vocabulari disfressats de càlcul.

Població, mostra, paràmetre, estadístic

Un model paramètric és una família de distribucions indexada per un paràmetre $\theta$. En l'enfocament freqüentista, aquest paràmetre és un número fix i desconegut, no una variable aleatòria. El que és aleatori és la mostra, abans d'observar-la.

Un estadístic és qualsevol funció de la mostra que no depèn de paràmetres desconeguts. La mitjana mostral ho és; la quantitat $\bar X - \mu$ no ho és, perquè per calcular-la necessitaries saber $\mu$. Aquesta distinció és el que fa que uns quants càlcul es puguin fer i d'altres no.

La distribució mostral d'un estadístic és la seva llei quan imagines que repeteixes tot el procés de mostreig moltes vegades. És el concepte central de tot el tema, i és el que dona sentit a frases com «l'error estàndard de la mitjana».

Cap fórmula no arregla un disseny dolent

Val la pena dir-ho abans de les matemàtiques: la inferència no corregeix una mostra esbiaixada. Cal explicitar com s'han seleccionat les observacions, si són independents, si hi ha no-resposta i a quina població es vol generalitzar. Una mostra gran no compensa un biaix de selecció: el que fa és donar una resposta molt precisa sobre la població equivocada, amb un interval de confiança estret i fals.

Distribucions mostrals exactes sota normalitat

Per a una mostra independent i idènticament distribuïda d'una normal amb mitjana $\mu$ i variància $\sigma^{2}$, hi ha tres resultats exactes que sostenen tota la inferència clàssica. Amb

$$\bar X = \frac{1}{n}\sum_{i=1}^{n} X_i, \qquad S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar X)^{2},$$

es compleix que la mitjana és normal amb variància $\sigma^{2}/n$, que

$$\frac{(n-1)S^{2}}{\sigma^{2}} \sim \chi^{2}_{n-1}, \qquad\text{i que}\qquad \frac{\bar X - \mu}{S/\sqrt{n}} \sim t_{n-1}.$$

El fet no evident que ho fa possible és que, sota normalitat, la mitjana i la variància mostrals són independents. Aquesta independència és el que permet construir el quocient que defineix la $t$ de Student. En altres distribucions no es compleix, i per tant les fórmules exactes amb $t$ i khi quadrat no queden justificades automàticament fora del model normal; el que sí que es pot invocar, amb mostres grans, és una aproximació basada en el teorema central del límit.

Fixa't també en els graus de llibertat: són $n-1$ i no $n$ perquè en calcular la variància mostral ja has fet servir la mitjana de les mateixes dades, cosa que consumeix una unitat d'informació.

Versemblança

Donades unes dades observades, la versemblança és la densitat (o la massa) avaluada en aquestes dades, però mirada com a funció del paràmetre:

$$L(\theta; x) = f_{\theta}(x).$$

És un canvi de punt de vista, no una fórmula nova. I té una conseqüència important: la versemblança no és una densitat de probabilitat sobre el paràmetre. No integra $1$ respecte de $\theta$ i no es pot interpretar com «la probabilitat que el paràmetre valgui això». Per fer aquesta lectura caldria afegir-hi una distribució prèvia i passar a l'enfocament bayesià.

A la pràctica es treballa amb el logaritme de la versemblança, perquè converteix el producte de les contribucions independents en una suma, i perquè el màxim no canvia en aplicar una funció creixent.

Suficiència

Un estadístic és suficient si conserva tota la informació que la mostra conté sobre el paràmetre: un cop el coneixes, la resta de la mostra ja no t'aporta res sobre $\theta$. El criteri de factorització de Neyman i Fisher ho formalitza: $T$ és suficient si la versemblança es pot escriure com un factor que depèn de $\theta$ només a través de $T(x)$, multiplicat per un factor que no depèn gens de $\theta$.

Què vol dir exactament un interval de confiança

Un procediment que, a partir de la mostra, produeix un interval té cobertura $1-\alpha$ si, per a cada valor possible del paràmetre, la probabilitat que l'interval aleatori el contingui és $1-\alpha$.

La probabilitat es refereix als intervals, que són aleatoris, no al paràmetre, que és fix. Un cop has observat les dades i has calculat que l'interval és el que va de $9{,}9$ a $14{,}1$, aquest interval ja no té res d'aleatori: o conté el paràmetre o no el conté, i no hi ha cap probabilitat freqüentista enmig. El que sí que pots dir és que el mètode encerta el $95\%$ de les vegades a llarg termini.

El bootstrap és una alternativa quan no hi ha fórmula exacta: aproxima la distribució mostral remostrejant amb reemplaçament la mostra observada. És potent, però té condicions de validesa i el remostreig ha de ser coherent amb el disseny. Amb dades dependents (sèries temporals, dades agrupades) remostrejar observació a observació com si fossin independents destrueix precisament l'estructura que importa.

Exercici resolt: error estàndard i interval

Una mostra normal de mida $16$ dona mitjana $12$ i desviació típica mostral $4$. Quin és l'error estàndard estimat i l'interval de confiança del $95\%$?

Error estàndard. És la desviació de la mitjana, no la de les dades:

$$\frac{s}{\sqrt{n}} = \frac{4}{\sqrt{16}} = \frac{4}{4} = 1.$$

Interval. Com que $\sigma$ és desconeguda, el pivot és una $t$ amb $n-1 = 15$ graus de llibertat, i el quantil bilateral del $95\%$ és aproximadament $2{,}131$:

$$12 \pm 2{,}131\cdot 1 \approx [9{,}869,\ 14{,}131].$$

Si haguessis fet servir el quantil normal $1{,}96$ obtindries un interval més estret i massa optimista. Amb només $16$ observacions, el sobrecost de la $t$ és real i s'ha de pagar.

Exercici resolt: mida de mostra i precisió

Si vols reduir a la meitat l'amplada d'un interval de confiança, quantes observacions et calen?

L'amplada és proporcional a $1/\sqrt{n}$. Per dividir-la per $2$ necessites que $\sqrt{n}$ es dupliqui, és a dir quadruplicar la mostra.

Aquest factor de quatre és una de les realitats més dures de l'estadística aplicada: la precisió es paga molt cara. Passar de $100$ a $400$ observacions et guanya un factor $2$; per guanyar-ne un altre en caldrien $1600$. Per això, en un estudi, invertir en reduir la variabilitat (millor disseny, millors mesures, estratificació) sol rendir molt més que simplement recollir més dades.

A continuació, com es construeixen i es comparen els estimadors i els intervals.