Apakah MLE memerlukan data iid? Atau hanya parameter independen?

Memperkirakan parameter menggunakan estimasi likelihood maksimum (MLE) melibatkan mengevaluasi fungsi likelihood, yang memetakan probabilitas sampel (X) yang terjadi pada nilai (x) pada ruang parameter (family) yang diberikan keluarga distribusi (P (X = x | θ ) lebih dari nilai yang mungkin dari θ (catatan: apakah saya benar tentang ini?). Semua contoh yang saya lihat melibatkan perhitungan P (X = x | θ) dengan mengambil produk dari F (X) di mana F adalah distribusi dengan lokal nilai untuk θ dan X adalah sampel (vektor).

Karena kita hanya mengalikan data, apakah ini berarti data itu independen? Misalnya, bisakah kita tidak menggunakan MLE agar sesuai dengan data deret waktu? Atau apakah parameter hanya harus independen?

Fungsi kemungkinan didefinisikan sebagai probabilitas suatu peristiwa $E$ (kumpulan data ) sebagai fungsi dari parameter model${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Karena itu, tidak ada asumsi independensi pengamatan. Dalam pendekatan klasik tidak ada definisi untuk independensi parameter karena mereka bukan variabel acak; beberapa konsep terkait dapat berupa pengidentifikasian , ortogonalitas parameter , dan independensi Pengukur Kemungkinan Maksimum (yang merupakan variabel acak).

Beberapa contoh,

(1) Kasus diskrit . adalah contoh dari pengamatan terpisah (independen) dengan , laluP ( mengamati  x j ; θ ) > ${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Khususnya, jika , dengan diketahui, kita memiliki itu$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2) Perkiraan terus menerus . Biarkan menjadi sampel dari variabel acak kontinu , dengan distribusi dan kepadatan , dengan kesalahan pengukuran , ini, Anda mengamati set . KemudianX F f ε ( x j - ε , x j + ε ${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Ketika kecil, ini dapat diperkirakan (menggunakan Teorema Nilai Rata-Rata) oleh$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Untuk contoh dengan case normal, lihat ini .

(3) Model Dependent dan Markov . Misalkan adalah seperangkat pengamatan yang mungkin bergantung dan biarkan menjadi densitas gabungan dari , maka${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Jika tambahan properti Markov terpenuhi, maka

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Lihatlah juga ini .

(+1) Pertanyaan yang sangat bagus.

Hal kecil, MLE berarti estimasi kemungkinan maksimum (bukan multipel), yang berarti Anda hanya memaksimalkan kemungkinan. Ini tidak menentukan bahwa kemungkinan harus dihasilkan oleh IID sampling.

Jika ketergantungan pengambilan sampel dapat ditulis dalam model statistik, Anda cukup menuliskan kemungkinannya dan memaksimalkannya seperti biasa.

Satu kasus yang layak disebutkan ketika Anda tidak menganggap ketergantungan adalah bahwa dari pengambilan sampel Gaussian multivarian (dalam analisis deret waktu misalnya). Ketergantungan antara dua variabel Gaussian dapat dimodelkan dengan istilah kovariannya, yang Anda masukkan ke dalam kemungkinan.

Untuk memberikan contoh sederhana, asumsikan bahwa Anda mengambil sampel ukuran dari variabel Gaussian berkorelasi dengan mean dan varians yang sama. Anda akan menuliskan kemungkinan sebagai$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

dimana adalah$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Ini bukan produk dari kemungkinan individu. Namun, Anda akan memaksimalkan ini dengan parameter untuk mendapatkan MLE mereka.$(\mu, \sigma, \rho)$

Tentu saja, model Gaussian ARMA memiliki kemungkinan, karena fungsi kovariansnya dapat diturunkan secara eksplisit. Ini pada dasarnya adalah perpanjangan dari jawaban guiame untuk lebih dari 2 pengamatan. Googling minimal menghasilkan kertas seperti ini di mana kemungkinan diberikan dalam bentuk umum.

Kelas contoh lain, sampai batas tertentu, lebih menarik, diberikan oleh model efek acak bertingkat . Jika Anda memiliki data formulir mana indeks bersarang di (pikirkan siswa di ruang kelas , katakanlah, untuk aplikasi klasik model bertingkat), kemudian, dengan asumsi , kemungkinannya adalah

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ $j$$i$$j$$i$$\epsilon_{ij} \perp u_i$ $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ dan merupakan jumlah dari kontribusi kemungkinan yang ditetapkan pada tingkat kelompok, bukan pengamatan individu. (Tentu saja, dalam kasus Gaussian, Anda dapat mendorong integral sekitar untuk menghasilkan solusi analitik ANOVA. Namun, jika Anda telah mengatakan model logit untuk respons Anda , maka tidak ada jalan keluar dari integrasi numerik .)$y_{ij}$