Erro Quadrático Médio de um Estimador

O que significa um estimador ser bom?

ESTAT0078 – Inferência I
Prof. Dr. Sadraque E. F. Lucena
http://sadraquelucena.github.io/inferencia1

Na aula anterior, vimos como verificar se um estimador é viesado.
- O viés é dado por \(B(\widehat{\theta}) = E[\widehat{\theta}] - \theta.\)
- Se \(\widehat{\theta}\) não é viesado, \(E[\widehat{\theta}] = \theta\).

Mas como avaliar e comparar diferentes estimadores?
A ideia é simples: um bom estimador deve produzir valores próximos do verdadeiro parâmetro \(\theta\).
O erro quadrático médio (EQM) quantifica essa proximidade.

Definição 7.1: Erro Quadrático Médio de um estimador

O erro quadrático médio de um estimador \(\widehat{\theta}\) para o parâmetro \(\theta\) é a distânciaa esperada entre \(\widehat{\theta}\) e \(\theta\). Ou seja, \[ EQM(\widehat{\theta}) = E\left[ \left( \widehat{\theta} - \theta \right)^2 \right]. \]
O EQM pode ser decomposto em variância e viés ao quadrado: \[ EQM(\widehat{\theta}) = \text{Var}(\widehat{\theta}) + B^2(\widehat{\theta}). \]
No caso em que \(\widehat{\theta}\) é não viesado para \(\theta\), \(B(\widehat{\theta})=0\) e temos que \[ EQM(\widehat{\theta}) = \text{Var}(\widehat{\theta}). \]

Decomposição do EQM

\[ \require{cancel} \begin{aligned} EQM(\widehat{\theta}) &= E\left[(\widehat{\theta}-\theta)^2\right]\\ &= E\left[\left(\widehat{\theta}\color{blue}{-E(\widehat{\theta}) + E(\widehat{\theta})}-\theta\right)^2\right]\\ &= E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)^2\right] +2\,E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)\left(E(\widehat{\theta})-\theta\right)\right] + E\left[\left(E(\widehat{\theta})-\theta\right)^2\right]\\ &= E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)^2\right] +2\,\left(E(\widehat{\theta})-\theta\right)E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)\right] + E\left[\left(E(\widehat{\theta})-\theta\right)^2\right]\\ &= E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)^2\right] +2\,\left(E(\widehat{\theta})-\theta\right)\cancelto{0}{\left[E(\widehat{\theta})-E(\widehat{\theta})\right]}+ E\left[\left(E(\widehat{\theta})-\theta\right)^2\right]\\ &= E\left[\left(\widehat{\theta}-E(\widehat{\theta})\right)^2\right] + E\left[\left(E(\widehat{\theta})-\theta\right)^2\right]\\ &= B^2(\widehat{\theta}) + Var(\widehat{\theta}) \end{aligned} \]

Comparação de estimadores pelo EQM

Dizemos que \(\widehat{\theta}_1\) domina \(\widehat{\theta}_2\) se \[ EQM(\widehat{\theta}_1) \leq EQM(\widehat{\theta}_2), \] para todo valor de \(\theta\), e \(EQM(\widehat{\theta}_1) < EQM(\widehat{\theta}_2)\) para pelo menos um valor de \(\theta\).
Nesse caso, \(\widehat{\theta}_2\) é inadmissível, pois existe outro estimador que apresenta EQM menor ou igual para todo \(\theta\) e estritamente menor para algum valor de \(\theta\).
Um estimador que não é dominado por nenhum outro estimador é chamado de admissível.

Estimador ótimo

Um estimador \(\widehat{\theta}^*\) é ótimo para \(\theta\) se ele domina todos os outros estimadores de \(\theta\): \[ EQM(\widehat{\theta}^*) \leq EQM(\widehat{\theta}), \] para todo estimador \(\widehat{\theta}\) e para todo \(\theta\), com \(<\) valendo para pelo menos um valor de \(\theta\).
Quando todos os estimadores considerados são não viesados, temos \(EQM(\widehat{\theta}) = Var(\widehat{\theta})\).
- Nesse caso, se \[ Var(\widehat{\theta}^*) \leq Var(\widehat{\theta}), \] para todo \(\widehat{\theta}\) e todo \(\theta\), com \(<\) valendo para pelo menos um \(\theta\), então \(\widehat{\theta}^*\) é o estimador não viesado de variância uniformemente mínima (ENVUM).

Exemplo 7.1

Sejam \(X_1,\ldots,X_n\) uma amostra aleatória de uma variável aleatória com média \(\mu\) e variância \(\sigma^2\). Temos os seguintes estimadores para a média populacional \(\mu\): \[ \overline{X} = \frac{X_1+\cdots+X_n}{n} \quad \text{e} \quad \widetilde{X} = \frac{2X_1+X_2+\cdots+X_n}{n+1}. \] Qual estimador tem menor erro quadrático médio?

Exemplo 7.2

Seja \(X_1, X_2, X_3\) uma amostra aleatória obtida de uma variável aleatória \(X\) com distribuição de Poisson(\(\lambda\)). Considere \[\widehat{\lambda}_1 = \frac{X_1+X_2+X_3}{3} \quad \text{e}\quad \widehat{\lambda}_2=\frac{X_1+X_2+2X_3}{4}.\] Qual dos dois estimadores apresenta menor erro quadrático médio?

Exemplo 7.3

Sejam \(X_1,X_2\) uma amostra aleatória de uma variável aleatória com média \(\mu\) e variância \(\sigma^2\). Considere os estimadores para a média populacional \(\mu\): \[ \widehat{\mu}=\frac{X_1+X_2}{3} \qquad \text{e} \qquad \overline{X}=\frac{X_1+X_2}{2}. \] Qual dos dois estimadores apresenta menor erro quadrático médio?