Exercicis de contrastos d'hipòtesis

El càlcul.

$\frac{\alpha}{m} = \frac{\frac{1}{10}}{3} = \frac{1}{30} \approx 0.03333$

Per què funciona. Per la cota de la unió, la probabilitat que almenys un dels $3$ contrastos doni un fals positiu no supera la suma de les $3$ probabilitats individuals, és a dir $3\cdot\frac{1}{30} = \frac{1}{10}$.

El seu gran avantatge és que aquest argument no necessita que els contrastos siguin independents, cosa que a la pràctica gairebé mai no es compleix. I aquest és també el motiu pel qual pot ser conservadora quan sí que hi ha molta dependència; en aquest cas hi ha alternatives menys estrictes com Holm.

El problema que resol: amb $3$ contrastos independents al $10.0\%$, la probabilitat de tenir almenys un fals positiu seria $0.2710$, molt superior a $\frac{1}{10}$.

Pas 1 — el complementari. És molt més fàcil calcular la probabilitat que cap contrast no surti significatiu:

$(\frac{9}{10})^{3} \approx 0.7290$

Pas 2 — restar d'u.

$\mathbb{P}(\text{almenys un}) = 1 - 0.7290 \approx 0.2710$

Aquest és el problema de la multiplicitat. Cada contrast individual està controlat al $10.0\%$, però la probabilitat de trobar «alguna cosa» quan no hi ha res és molt més gran. És el fenomen que hi ha darrere de bona part dels resultats que després no es repliquen.

La solució és corregir el llindar (Bonferroni el posaria a $\frac{1}{30}$) o, com a mínim, declarar honestament quants contrastos s'han fet.

El càlcul.

$(r-1)(c-1) = (2-1)(5-1) = 1\cdot4 = 4$

D'on surt. La taula té $10$ caselles, però sota la hipòtesi d'independència els recomptes esperats es calculen a partir dels totals marginals, que ja estan fixats per les dades. Un cop coneixes $4$ caselles i tots els marginals, la resta queden determinades: només hi ha $4$ valors realment lliures.

Un avís pràctic. L'aproximació per la khi quadrat necessita que els recomptes esperats no siguin massa petits. Amb caselles escasses cal un mètode exacte o de simulació, no simplement mirar la taula i continuar.

Les quatre possibilitats. Creua «la nul·la és certa o falsa» amb «la rebutges o no»:

• Nul·la certa i la rebutges: error de tipus I (fals positiu).
• Nul·la falsa i no la rebutges: error de tipus II (fals negatiu).
• Els altres dos casos: decisió correcta.

En aquest cas, un test mèdic diu que estàs sa quan estàs malalt, prenent com a nul·la que estàs sa, o sigui Error de tipus II.

Per què l'asimetria. El nivell $\alpha$ controla directament el tipus I, que és el que es considera més greu en el plantejament clàssic. El tipus II no es controla directament: depèn de quina alternativa sigui certa i de la mida de la mostra. Per això baixar $\alpha$ fa el contrast menys potent, i l'única manera de millorar tots dos alhora és tenir més dades.

El càlcul.

$\frac{\alpha}{m} = \frac{\frac{1}{20}}{4} = \frac{1}{80} \approx 0.01250$

Per què funciona. Per la cota de la unió, la probabilitat que almenys un dels $4$ contrastos doni un fals positiu no supera la suma de les $4$ probabilitats individuals, és a dir $4\cdot\frac{1}{80} = \frac{1}{20}$.

El seu gran avantatge és que aquest argument no necessita que els contrastos siguin independents, cosa que a la pràctica gairebé mai no es compleix. I aquest és també el motiu pel qual pot ser conservadora quan sí que hi ha molta dependència; en aquest cas hi ha alternatives menys estrictes com Holm.

El problema que resol: amb $4$ contrastos independents al $5.0\%$, la probabilitat de tenir almenys un fals positiu seria $0.1855$, molt superior a $\frac{1}{20}$.

Pas 1 — el complementari. És molt més fàcil calcular la probabilitat que cap contrast no surti significatiu:

$(\frac{19}{20})^{4} \approx 0.8145$

Pas 2 — restar d'u.

$\mathbb{P}(\text{almenys un}) = 1 - 0.8145 \approx 0.1855$

Aquest és el problema de la multiplicitat. Cada contrast individual està controlat al $5.0\%$, però la probabilitat de trobar «alguna cosa» quan no hi ha res és molt més gran. És el fenomen que hi ha darrere de bona part dels resultats que després no es repliquen.

La solució és corregir el llindar (Bonferroni el posaria a $\frac{1}{80}$) o, com a mínim, declarar honestament quants contrastos s'han fet.

El càlcul.

$(r-1)(c-1) = (5-1)(5-1) = 4\cdot4 = 16$

D'on surt. La taula té $25$ caselles, però sota la hipòtesi d'independència els recomptes esperats es calculen a partir dels totals marginals, que ja estan fixats per les dades. Un cop coneixes $16$ caselles i tots els marginals, la resta queden determinades: només hi ha $16$ valors realment lliures.

Un avís pràctic. L'aproximació per la khi quadrat necessita que els recomptes esperats no siguin massa petits. Amb caselles escasses cal un mètode exacte o de simulació, no simplement mirar la taula i continuar.

Les quatre possibilitats. Creua «la nul·la és certa o falsa» amb «la rebutges o no»:

• Nul·la certa i la rebutges: error de tipus I (fals positiu).
• Nul·la falsa i no la rebutges: error de tipus II (fals negatiu).
• Els altres dos casos: decisió correcta.

En aquest cas, es declara efectiu un tractament que no serveix de res, o sigui Error de tipus I.

Per què l'asimetria. El nivell $\alpha$ controla directament el tipus I, que és el que es considera més greu en el plantejament clàssic. El tipus II no es controla directament: depèn de quina alternativa sigui certa i de la mida de la mostra. Per això baixar $\alpha$ fa el contrast menys potent, i l'única manera de millorar tots dos alhora és tenir més dades.

El càlcul.

$\frac{\alpha}{m} = \frac{\frac{1}{100}}{4} = \frac{1}{400} \approx 0.00250$

Per què funciona. Per la cota de la unió, la probabilitat que almenys un dels $4$ contrastos doni un fals positiu no supera la suma de les $4$ probabilitats individuals, és a dir $4\cdot\frac{1}{400} = \frac{1}{100}$.

El seu gran avantatge és que aquest argument no necessita que els contrastos siguin independents, cosa que a la pràctica gairebé mai no es compleix. I aquest és també el motiu pel qual pot ser conservadora quan sí que hi ha molta dependència; en aquest cas hi ha alternatives menys estrictes com Holm.

El problema que resol: amb $4$ contrastos independents al $1.0\%$, la probabilitat de tenir almenys un fals positiu seria $0.0394$, molt superior a $\frac{1}{100}$.

Pas 1 — el complementari. És molt més fàcil calcular la probabilitat que cap contrast no surti significatiu:

$(\frac{99}{100})^{4} \approx 0.9606$

Pas 2 — restar d'u.

$\mathbb{P}(\text{almenys un}) = 1 - 0.9606 \approx 0.0394$

Aquest és el problema de la multiplicitat. Cada contrast individual està controlat al $1.0\%$, però la probabilitat de trobar «alguna cosa» quan no hi ha res és molt més gran. És el fenomen que hi ha darrere de bona part dels resultats que després no es repliquen.

La solució és corregir el llindar (Bonferroni el posaria a $\frac{1}{400}$) o, com a mínim, declarar honestament quants contrastos s'han fet.