Contrastos d'hipòtesis: valor p, potència, Welch, khi quadrat i multiplicitat

Un contrast d'hipòtesis és un procediment de decisió sota incertesa, amb una asimetria deliberada: una de les dues hipòtesis, la nul·la, es manté per defecte i només es rebutja si les dades són prou incompatibles amb ella. Entendre aquesta asimetria és el que evita les dues interpretacions errònies que dominen el tema: creure que no rebutjar demostra la nul·la, i creure que el valor p és la probabilitat que la nul·la sigui certa.

Decisió, errors i potència

Es contrasta $H_0$ contra $H_1$ i es rebutja $H_0$ quan les dades cauen a la regió crítica. Un contrast té nivell $\alpha$ si la probabilitat de rebutjar quan la nul·la és certa no passa d'$\alpha$, per a cap valor del paràmetre dins de la nul·la.

Hi ha dos errors possibles, i no són simètrics:

• Tipus I: rebutjar una nul·la certa. La seva probabilitat és el que controles amb $\alpha$.
• Tipus II: no rebutjar quan una alternativa concreta és certa. La seva probabilitat, $\beta$, depèn de quina alternativa i de la mida de la mostra. La potència és $1-\beta$.

Baixar $\alpha$ fa el contrast més exigent i, per tant, menys potent. L'única manera de millorar les dues coses alhora és augmentar la mostra o reduir la variabilitat.

Contrast d'una mitjana

Per a una mostra normal amb variància desconeguda i hipòtesi nul·la que la mitjana val $\mu_0$, l'estadístic és

$$T = \frac{\bar X - \mu_0}{S/\sqrt{n}},$$

que sota la nul·la segueix una $t$ amb $n-1$ graus de llibertat. Contra una alternativa bilateral es rebutja si el valor absolut supera el quantil corresponent, i el valor p és el doble de la cua. Amb una alternativa unilateral s'usa una sola cua.

Dues mostres i dades aparellades

Per a dues mostres independents amb variàncies desconegudes i possiblement diferents, el contrast recomanat és el de Welch:

$$T = \frac{\bar X - \bar Y - \delta_0}{\sqrt{S_X^{2}/n + S_Y^{2}/m}}, \qquad \nu \approx \frac{\left(S_X^{2}/n + S_Y^{2}/m\right)^{2}}{\dfrac{(S_X^{2}/n)^{2}}{n-1} + \dfrac{(S_Y^{2}/m)^{2}}{m-1}}.$$

Els graus de llibertat surten d'una aproximació i normalment no són enters. Welch és preferible al contrast clàssic amb variància comuna perquè no exigeix suposar que les dues variàncies coincideixen, i quan de fet coincideixen perd molt poc.

Per a dades aparellades (el mateix individu mesurat dues vegades, o parelles aparellades per disseny) el procediment és diferent: es calcula la diferència dins de cada parella i es fa un contrast d'una sola mostra sobre aquestes diferències. Tractar les dues columnes com si fossin mostres independents destrueix l'aparellament i normalment fa perdre molta potència, perquè la variabilitat entre individus, que l'aparellament eliminava, torna a entrar al càlcul.

Taules de contingència

En una taula amb $r$ files i $c$ columnes, la hipòtesi d'independència prediu uns recomptes esperats a partir dels marginals:

$$E_{ij} = \frac{O_{i+}\,O_{+j}}{n}, \qquad X^{2} = \sum_{i,j}\frac{(O_{ij}-E_{ij})^{2}}{E_{ij}},$$

que sota condicions asimptòtiques adequades es compara amb una khi quadrat amb $(r-1)(c-1)$ graus de llibertat. La regla pràctica habitual és que els recomptes esperats no siguin massa petits; amb caselles escasses l'aproximació falla i cal un mètode exacte o de simulació.

Multiplicitat

Si fas $m$ contrastos i controles cadascun al nivell $\alpha$, la probabilitat de tenir almenys un fals positiu és molt superior a $\alpha$: amb $20$ contrastos independents al $5\%$, passa del $64\%$. Aquest és el fenomen que hi ha darrere de bona part dels resultats que no es repliquen.

La correcció de Bonferroni fa servir $\alpha/m$ per contrast. Per la cota de la unió, això garanteix que la probabilitat d'almenys un fals rebuig no passi d'$\alpha$, i ho fa sense suposar independència entre els contrastos, cosa que la fa molt robusta. El preu és que pot ser conservadora quan els contrastos estan molt correlacionats; hi ha alternatives menys estrictes com Holm o el control de la taxa de falsos descobriments.

Exercici resolt: llindar de Bonferroni

Es fan $20$ contrastos i es vol controlar al $5\%$ la probabilitat de cometre almenys un error de tipus I. Quin llindar cal fer servir per contrast?

$$\frac{\alpha}{m} = \frac{0{,}05}{20} = 0{,}0025.$$

Un contrast només es declara significatiu si el seu valor p baixa de $0{,}0025$.

Per què funciona. Per la cota de la unió, la probabilitat que almenys un dels vint contrastos doni un fals positiu no supera la suma de les vint probabilitats individuals, és a dir $20\cdot 0{,}0025 = 0{,}05$. L'argument no necessita que els contrastos siguin independents, cosa que és un gran avantatge pràctic, i és també el motiu pel qual la garantia pot quedar-se curta (conservadora) quan sí que hi ha dependència.

Exercici resolt: aparellades contra independents

Deu persones es pesen abans i després d'una dieta. Per contrastar si hi ha hagut canvi, cal fer un contrast de dues mostres independents?

No. Les dues columnes corresponen a les mateixes persones, i per tant estan fortament correlacionades: qui pesava més abans, probablement pesa més després.

El procediment correcte és calcular les deu diferències individuals i fer un contrast d'una sola mostra sobre elles, amb hipòtesi nul·la que la mitjana de les diferències és zero i $9$ graus de llibertat.

Per què importa tant. La variabilitat entre persones (que pot ser de desenes de quilos) desapareix en restar, i el que queda és només la variabilitat del canvi (potser d'un o dos quilos). El denominador de l'estadístic es fa molt més petit i la potència es dispara. Fer el contrast d'independents amb aquestes dades sol donar «no significatiu» encara que l'efecte sigui claríssim.

L'últim pas natural és passar de comparar grups a modelar una relació amb una regressió.