Esperança, variància i teoremes límit: covariància, Txebixev i el TCL

Una distribució sencera és molta informació, i sovint no en necessites tanta: amb el centre i la dispersió ja pots respondre la majoria de preguntes pràctiques. Aquesta pàgina construeix aquestes dues quantitats, explica què passa quan en tens dues variables alhora, i acaba amb els dos teoremes que fan que tota l'estadística funcioni.

Esperança i linealitat

Per a una variable integrable, l'esperança és la mitjana ponderada dels seus valors: una suma en el cas discret i una integral quan hi ha densitat. «Integrable» vol dir que l'esperança del valor absolut és finita; hi ha distribucions, com la de Cauchy, que no tenen esperança i per a les quals tot el que ve després deixa de valer.

Un resultat que estalvia molta feina és que per calcular l'esperança d'una funció de la variable no cal trobar la llei d'aquesta funció: n'hi ha prou d'integrar la funció respecte de la llei original. Això evita haver de fer un canvi de variable cada vegada.

La propietat més útil de totes és la linealitat:

$$\mathbb{E}(aX + bY) = a\,\mathbb{E}X + b\,\mathbb{E}Y.$$

No requereix independència. Aquesta és la raó per la qual calcular esperances és molt més fàcil que calcular variàncies, i el truc darrere de la majoria de càlculs elegants: descompon la variable com a suma d'indicadors i suma les esperances, encara que els indicadors estiguin ferotgement relacionats entre ells.

En canvi, l'esperança d'un producte només es factoritza si les variables són independents, i el recíproc és fals: hi ha variables molt dependents amb esperança del producte igual al producte d'esperances.

Variància i covariància

Amb moments de segon ordre finits,

$$\operatorname{Var}X = \mathbb{E}\big[(X - \mathbb{E}X)^{2}\big] = \mathbb{E}X^{2} - (\mathbb{E}X)^{2}, \qquad \operatorname{Cov}(X,Y) = \mathbb{E}(XY) - \mathbb{E}X\,\mathbb{E}Y.$$

La segona forma de la variància és la que es fa servir per calcular, però compte amb la resta de dos números grans i semblants: numèricament és inestable. La covariància mesura si les dues variables es desvien de la seva mitjana en el mateix sentit.

La fórmula clau, la que explica per què la variància no és lineal, és

$$\operatorname{Var}(aX + bY) = a^{2}\operatorname{Var}X + b^{2}\operatorname{Var}Y + 2ab\operatorname{Cov}(X,Y).$$

El terme creuat desapareix quan les variables són independents, i aleshores les variàncies simplement se sumen. Fixa't també en els quadrats dels coeficients: multiplicar una variable per $3$ multiplica la seva variància per $9$, no per $3$.

La correlació normalitza la covariància dividint pel producte de les desviacions típiques, i només està definida quan totes dues variàncies són positives. Per Cauchy i Schwarz, sempre queda entre $-1$ i $1$, amb els extrems assolits exactament quan hi ha una relació afí perfecta.

Condicionament i desigualtats

L'esperança condicionada $\mathbb{E}(X\mid Y)$ és una variable aleatòria (funció de $Y$), i compleix la propietat de la torre: la seva esperança torna a ser $\mathbb{E}X$. En paraules, fer la mitjana per grups i després la mitjana dels grups dona la mitjana global.

La versió per a variàncies és la llei de la variància total:

$$\operatorname{Var}X = \mathbb{E}\big[\operatorname{Var}(X\mid Y)\big] + \operatorname{Var}\big(\mathbb{E}[X\mid Y]\big).$$

Es llegeix com una descomposició: la variabilitat total és la variabilitat mitjana dins dels grups més la variabilitat entre les mitjanes dels grups. Aquesta és exactament la idea que hi ha darrere de l'anàlisi de la variància.

Les dues desigualtats bàsiques són elementals i sorprenentment potents. Si $X$ és no negativa i $a > 0$, la desigualtat de Markov diu que $\mathbb{P}(X\geq a) \leq \mathbb{E}X/a$, i es demostra observant que $X$ és sempre més gran o igual que $a$ vegades l'indicador del succés. Aplicant Markov al quadrat de la desviació surt Txebixev:

$$\mathbb{P}(|X-\mu|\geq \varepsilon) \leq \frac{\sigma^{2}}{\varepsilon^{2}}.$$

El valor d'aquesta desigualtat és que no suposa cap forma de distribució: val per a qualsevol variable amb variància finita. El preu és que sol ser molt conservadora.

Els dos teoremes límit

Per a variables independents i idènticament distribuïdes amb mitjana $\mu$ i variància finita, la mitjana mostral té esperança $\mu$ i variància $\sigma^{2}/n$. Aquest quocient per $n$ ho és tot: Txebixev aplicat a la mitjana dona

$$\mathbb{P}(|\bar X_n - \mu|\geq \varepsilon) \leq \frac{\sigma^{2}}{n\varepsilon^{2}} \longrightarrow 0,$$

que és la llei feble dels grans nombres: la mitjana mostral es concentra al voltant de la mitjana teòrica.

El teorema central del límit diu una cosa diferent i més fina: descriu com són les fluctuacions que queden un cop reescalades a la mida correcta.

$$\frac{\sqrt{n}\,(\bar X_n - \mu)}{\sigma}\ \xrightarrow{d}\ N(0,1).$$

El factor $\sqrt{n}$ és exactament el que compensa que la desviació típica de la mitjana és $\sigma/\sqrt{n}$. Sense ell, el límit seria simplement una constant.

Exercici resolt: cota de Txebixev per a una mitjana

Les variables $X_i$ són independents i idènticament distribuïdes amb variància $9$. Acota la probabilitat que la mitjana de $100$ observacions s'allunyi de $\mu$ més d'una unitat.

La variància de la mitjana és $\sigma^{2}/n = 9/100 = 0{,}09$. Txebixev amb $\varepsilon = 1$ dona

$$\mathbb{P}(|\bar X_{100} - \mu| \geq 1) \leq \frac{0{,}09}{1^{2}} = 0{,}09.$$

Com a màxim un $9\%$, i sense suposar normalitat en cap moment. Si a més poguessis justificar l'aproximació normal, la probabilitat real seria molt més petita: amb desviació típica $0{,}3$, allunyar-se una unitat són més de tres desviacions, cosa que en una normal passa menys del $0{,}3\%$ de les vegades. La cota de Txebixev és correcta però molt folgada.

Exercici resolt: variància d'una suma amb correlació

Dues variables tenen variàncies $4$ i $9$ i correlació $0{,}5$. Quant val la variància de la seva suma?

Primer la covariància: $\operatorname{Cov}(X,Y) = \rho\,\sigma_X\sigma_Y = 0{,}5\cdot 2\cdot 3 = 3$. Ara la fórmula amb $a = b = 1$:

$$\operatorname{Var}(X+Y) = 4 + 9 + 2\cdot 3 = 19.$$

Si haguessis suposat independència t'hauria sortit $13$: la correlació positiva fa que les desviacions tendeixin a anar en el mateix sentit i s'acumulin. Amb correlació $-0{,}5$ sortiria $7$, menys que la suma de les variàncies. I si busques la variància de la diferència, el terme creuat canvia de signe: $4 + 9 - 6 = 7$.