Eficiência de um Estimador

Quão bom um estimador pode ser?

ESTAT0078 – Inferência I
Prof. Dr. Sadraque E. F. Lucena
http://sadraquelucena.github.io/inferencia1

Suponha que obtivemos várias amostras e calculamos, para cada uma delas, as estimativas de \(\theta\) fornecidas por quatro estimadores.

O estimador 2 deve ser descartado por ter viés.
Entre os estimadores não viesados, o estimador 3 é preferível por apresentar menor variância (maior precisão).
Mas será que existe algum estimador não viesado que tenha variância menor que o estimador 3?
Ou seja, existe um limite inferior para a variância dos estimadores não viesados de \(\theta\)?

Qual é a menor variância possível?

Se \(\widehat{\theta}\) é um estimador não viesado de \(\theta\), podemos determinar um limite inferior para sua variância.
É possível mostrar que nenhum estimador não viesado de \(\theta\) tem variância inferior a um limite \(LI(\theta)\). Matematicamente: \[ Var(\widehat{\theta}) \geq LI(\theta). \]
Esse limite é chamado de Limite inferior de Cramér-Rao.

Definição 8.1: Limite Inferior de Cramér-Rao

Seja \(\ell = \log f(x|\theta)\) a função de log-verossimilhança individual.
Definimos o limite inferior de Cramér-Rao como \(\phantom{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa}\) \[ LI(\theta) = \frac{1}{n\,I_F(\theta)}, \] em que \(I_F(\theta) = E\left[ \left( \frac{\partial\ell}{\partial \theta} \right)^{\!2} \right]\) é a informação de Fisher.
Sob certas condições de regularidade (basicamente, o suporte não depende de \(\theta\) e é possível trocar a ordem das operações de derivação e integração) podemos escrever \[ I_F(\theta) = -E\left[ \frac{\partial^2 \ell}{\partial\theta^2.} \right]. \]

Passos para calcular \(LI(\theta)\)

Obtenha a função de log-verossimihança individual: \(\ell = \log f(x|\theta)\).
Determine a segunda derivada em relação ao parâmetro \(\theta\): \(\ell'' = \frac{\partial^2 \ell}{\partial \theta^2}\)
Obtenha a informação de Fisher: \(I_F(\theta) = -E[\ell'']\)
Calcule o limite inferior de Cramér-Rao: \(LI(\theta) = \frac{1}{nI_F(\theta)}\)

Exemplo 8.1

Seja \(X_1, \ldots, X_n\) uma amostra aleatória de \(X\sim N(\mu,\sigma^2)\), em que \(\sigma^2\) é conhecido. Obtenha o limite inferior de Cramér-Rao para os estimadores não viesados de \(\mu\).

Lembrete: Se \(X\sim N(\mu,\sigma^2)\), então \(f(x) = (2\pi\sigma^2)^{-1/2} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, ~ -\infty<x<\infty\)

Definição 8.2: Eficiência de um estimador

Suponha que \(\widehat{\theta}\) seja não viesado para o parâmetro \(\theta\).
Chamamos de eficiência do estimador \(\widehat{\theta}\) o quociente \(\phantom{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa}\) \[ e(\widehat{\theta}) = \frac{LI(\theta)}{Var(\widehat{\theta})}. \]
Como \(Var(\widehat{\theta})\geq LI(\theta)\), temos \[ 0<e(\widehat{\theta})\leq1. \]
Note que \(LI(\theta)=Var(\widehat{\theta})\implies e(\widehat{\theta})=1\).
- Nesse caso \(\widehat{\theta}\) é chamado eficiente.

Exemplo 8.2

Seja \(X_1, \ldots, X_n\) uma amostra aleatória de \(X\sim N(\mu,\sigma^2)\), em que \(\sigma^2\) é conhecido. No exemplo 8.1 verificamos que \(LI(\mu) = \sigma^2/n\). Verifique se o estimador não viesado \(\overline{X}\) é eficiente para \(\mu\).

Exemplo 8.3

Seja \(X_1, \ldots, X_n\) uma amostra aleatória de tamanho \(n\) da variável aleatória \(X\sim \text{Poisson}(\theta)\). Verifique se \(\overline{X}\) é eficiente para \(\theta\).

Lembrete: Se \(X\sim \text{Poisson}(\theta)\), então \(f(x) = \frac{e^{-\theta}\theta^x}{x!}, ~ x=0,1,2,\ldots\)

Exemplo 8.4

Seja \(X_1, \ldots, X_n\) uma amostra aleatória de tamanho \(n\) da variável aleatória \(X\sim \text{Geométrica}(p)\). Verifique se \(\overline{X}\) é eficiente para \(p\).

Lembrete: Se \(X\sim \text{Geométrica}(p)\), então
- \(f(x) = (1-p)^{x} p, ~ x=0,1, 2, 3\ldots\)
- \(E(X) = \frac{1-p}{p}\)
- \(Var(X)=\frac{1-p}{p^2}\)