Bagaimana menggambarkan dan menyajikan masalah perpisahan yang sempurna?

Saat melakukan aktivitas penggalian pada pertanyaan tanpa jawaban, saya menemukan ini sangat masuk akal, yang, saya kira, sekarang OP telah menemukan jawaban.
Tetapi saya menyadari bahwa saya memiliki berbagai pertanyaan saya sendiri mengenai masalah pemisahan yang sempurna dalam regresi logistik, dan pencarian (cepat) dalam literatur, tampaknya tidak menjawabnya. Jadi saya memutuskan untuk memulai proyek penelitian kecil saya sendiri (mungkin menciptakan kembali roda), dan dengan jawaban ini saya ingin berbagi beberapa hasil awal. Saya percaya hasil ini berkontribusi terhadap pemahaman apakah masalah pemisahan sempurna adalah murni "teknis", atau apakah itu dapat diberikan deskripsi / penjelasan yang lebih intuitif.

Perhatian pertama saya adalah untuk memahami fenomena dalam hal algoritmik, daripada teori umum di belakangnya: di bawah kondisi mana pendekatan estimasi kemungkinan maksimum akan "rusak" jika diumpankan dengan sampel data yang berisi regressor yang mana fenomena sempurna pemisahan ada?

Hasil awal (teoretis dan disimulasikan) menunjukkan bahwa:
1) Penting apakah istilah konstan dimasukkan dalam spesifikasi logit.
2) Itu penting apakah regressor yang dimaksud adalah dikotomis (dalam sampel), atau tidak.
3) Jika dikotomis, mungkin penting apakah itu mengambil nilai atau tidak. 4) Itu penting apakah ada regresi lain dalam spesifikasi atau tidak. 5) Penting bagaimana 4 masalah di atas digabungkan. $0$

Sekarang saya akan menyajikan satu set kondisi yang cukup untuk pemisahan sempurna untuk membuat MLE mogok. Ini tidak terkait dengan apakah berbagai perangkat lunak statistik memberikan peringatan terhadap fenomena -mereka dapat melakukannya dengan memindai sampel data sebelum mencoba untuk melakukan estimasi kemungkinan maksimum. Saya prihatin dengan kasus-kasus di mana estimasi kemungkinan maksimum akan dimulai -dan kapan akan rusak dalam proses.

Asumsikan model regresi logistik pilihan biner "biasa"

P (Y_{i} ∣ β_{0}, X_{i}, z_{i}) = Λ (g (β_{0}, x_{i}, z_{i})), g (β_{0}, x_{i}, z_{i}) = β_{0} + β_{1} x_{i} + z_{i}^{'} γ

$P(Y_i \mid \beta_0, X_i, \mathbf z_i) = \Lambda (g(\beta_0,x_i, \mathbf z_i)), \;\; g(\beta_0,x_i, \mathbf z_i) = \beta_0 +\beta_1x_i + \mathbf z_i'\mathbf \gamma$

$X$ adalah regressor dengan pemisahan sempurna, sedangkan adalah kumpulan dari regressor lain yang tidak ditandai oleh pemisahan sempurna. Juga $\mathbf Z$

Λ (g (β_{0}, x_{i}, z_{i})) = \frac{1}{1 + e^{- g (β_{0}, x_{i}, z_{i})}} \equiv Λ_{i}

$\Lambda (g(\beta_0,x_i, \mathbf z_i)) = \frac 1{1+e^{-g(\beta_0,x_i, \mathbf z_i)}}\equiv \Lambda_i$

Log-kemungkinan untuk sampel ukuran adalah $n$

\ln L = \sum_{i = 1}^{n} [y_{i} \ln (Λ_{i}) + (1 - y_{i}) \ln (1 - Λ_{i})]

$\ln L=\sum_{i=1}^{n}\left[y_i\ln(\Lambda_i)+(1-y_i)\ln(1-\Lambda_i)\right]$

MLE akan ditemukan dengan menetapkan turunannya sama dengan nol. Khususnya yang kita inginkan

\begin{matrix} (1) & \sum_{i = 1}^{n} (y_{i} - Λ_{i}) = 0 \end{matrix}

$\sum_{i=1}^{n}(y_i-\Lambda_i) = 0 \tag{1}$

\begin{matrix} (2) & \sum_{i = 1}^{n} (y_{i} - Λ_{i}) x_{i} = 0 \end{matrix}

$\sum_{i=1}^{n}(y_i-\Lambda_i)x_i = 0 \tag{2}$

Persamaan pertama berasal dari mengambil turunan sehubungan dengan istilah konstan, 2 dari mengambil turunan terhadap . $X$

Asumsikan sekarang bahwa dalam semua kasus di mana kita memiliki , dan tidak pernah mengambil nilai ketika . Ini adalah fenomena pemisahan total, atau "prediksi sempurna": jika kita mengamati kita tahu bahwa . Jika kita mengamati kita tahu bahwa . Ini berlaku terlepas dari apakah, secara teori atau dalam sampel , adalah diskrit atau kontinu, dikotomis atau tidak. Tetapi juga, ini adalah fenomena khusus sampel - kami tidak berpendapat bahwa itu akan menguasai populasi. Tetapi sampel spesifik adalah apa yang kita miliki untuk memberi makan MLE. $y_1 =1$ $x_i = a_k$ $x_i$ $a_k$ $y_i=0$ $x_i = a_k$ $y_i=1$ $x_i \neq a_k$ $y_i=0$ $X$

Sekarang tunjukkan frekuensi dari oleh $y_i =1$ $n_y$

\begin{matrix} (3) & n_{y} \equiv \sum_{i = 1}^{n} y_{i} = \sum_{y_{i} = 1} y_{i} \end{matrix}

$n_y \equiv \sum_{i=1}^ny_i = \sum_{y_i=1}y_i \tag{3}$

Kami kemudian dapat menulis kembali eq sebagai $(1)$

\begin{matrix} (4) & n_{y} = \sum_{i = 1}^{n} Λ_{i} = \sum_{y_{i} = 1} Λ_{i} + \sum_{y_{i} = 0} Λ_{i} \Rightarrow n_{y} - \sum_{y_{i} = 1} Λ_{i} = \sum_{y_{i} = 0} Λ_{i} \end{matrix}

$n_y = \sum_{i=1}^n\Lambda_i = \sum_{y_i=1}\Lambda_i+\sum_{y_i=0}\Lambda_i \Rightarrow n_y - \sum_{y_i=1}\Lambda_i = \sum_{y_i=0}\Lambda_i \tag{4}$

Beralih ke persamaan. kita miliki $(2)$

\sum_{i = 1}^{n} y_{i} x_{i} - \sum_{i = 1}^{n} Λ_{i} x_{i} = 0 \Rightarrow \sum_{y_{i} = 1} y_{i} a_{k} + \sum_{y_{i} = 0} y_{i} x_{i} - \sum_{y_{i} = 1} Λ_{i} a_{k} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$\sum_{i=1}^{n}y_ix_i -\sum_{i=1}^{n}\Lambda_ix_i = 0 \Rightarrow \sum_{y_i=1}y_ia_k+\sum_{y_i=0}y_ix_i - \sum_{y_i=1}\Lambda_ia_k-\sum_{y_i=0}\Lambda_ix_i =0$

menggunakan kita memiliki $(3)$

n_{y} a_{k} + 0 - a_{k} \sum_{y_{i} = 1} Λ_{i} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$n_ya_k + 0 - a_k\sum_{y_i=1}\Lambda_i-\sum_{y_i=0}\Lambda_ix_i =0$

\Rightarrow a_{k} (n_{y} - \sum_{y_{i} = 1} Λ_{i}) - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$\Rightarrow a_k\left(n_y-\sum_{y_i=1}\Lambda_i\right) -\sum_{y_i=0}\Lambda_ix_i =0$

dan menggunakan kita dapatkan $(4)$

\begin{matrix} (5) & a_{k} \sum_{y_{i} = 0} Λ_{i} x_{i} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0 \Rightarrow \sum_{y_{i} = 0} (a_{k} - x_{i}) Λ_{i} = 0 \end{matrix}

$a_k\sum_{y_i=0}\Lambda_ix_i -\sum_{y_i=0}\Lambda_ix_i =0 \Rightarrow \sum_{y_i=0}(a_k-x_i)\Lambda_i=0 \tag {5}$

Jadi: jika spesifikasinya berisi istilah yang konstan dan ada pemisahan yang sempurna sehubungan dengan regressor , MLE akan berusaha untuk memuaskan, antara lain, eq juga. $X$ $(5)$

Tetapi perhatikan, bahwa penjumlahannya lebih dari sub-sampel di mana di mana dengan asumsi. Ini menyiratkan hal berikut: 1) jika adalah dikotomis dalam sampel, maka untuk semua dalam penjumlahan dalam . 2) Jika tidak dikotomis dalam sampel, tetapi adalah nilai minimum atau maksimum dalam sampel, maka sekali lagi untuk semua dalam penjumlahan dalam . $y_i=0$ $x_i\neq a_k$
$X$ $(a_k-x_i) \neq 0$ $i$ $(5)$
$X$ $a_k$ $(a_k-x_i) \neq 0$ $i$ $(5)$

Dalam dua kasus ini, dan karena juga non-negatif oleh konstruksi, satu-satunya cara yang eq. bisa dipenuhi adalah ketika untuk semua dalam penjumlahan. Tapi $\Lambda_i$ $(5)$ $\Lambda_i=0$ $i$

Λ_{i} = \frac{1}{1 + e^{- g (β_{0}, x_{i}, z_{i})}}

$\Lambda_i = \frac 1{1+e^{-g(\beta_0,x_i, \mathbf z_i)}}$

dan jadi satu-satunya cara dapat menjadi sama dengan , adalah jika perkiraan parameter sedemikian rupa sehingga . Dan karena linear dalam parameter, ini menyiratkan bahwa setidaknya satu dari estimasi parameter harus "tak terhingga": ini adalah apa artinya bagi MLE untuk "memecah": untuk tidak menghasilkan estimasi yang bernilai terbatas. Jadi kasus 1) dan 2) adalah kondisi yang cukup untuk rincian prosedur MLE. $\Lambda_i$ $0$ $g(\beta_0,x_i, \mathbf z_i) \rightarrow -\infty$ $g()$

Tapi mempertimbangkan sekarang kasus di mana tidak dikotomis, dan adalah tidak minimum, atau nilai maksimum dalam sampel. Kami masih memiliki pemisahan total, "prediksi sempurna", tetapi sekarang, dalam persamaan. beberapa istilah akan positif dan beberapa akan negatif. Ini berarti bahwa ada kemungkinan bahwa MLE akan dapat memenuhi persamaan. menghasilkan estimasi terbatas untuk semua parameter. Dan hasil simulasi mengkonfirmasi bahwa ini benar. $X$ $a_k$ $(5)$ $(a_k-x_i)$ $(5)$

Saya tidak mengatakan bahwa sampel seperti itu tidak menciptakan konsekuensi yang tidak diinginkan untuk properti estimator dll: Saya hanya mencatat bahwa dalam kasus seperti itu, algoritma estimasi akan berjalan seperti biasa.

Selain itu, hasil simulasi menunjukkan bahwa jika tidak ada istilah konstan dalam spesifikasi , tidak dichotomous tetapi adalah nilai ekstrem, dan ada regresi lain yang hadir, sekali lagi MLE akan berjalan - menunjukkan bahwa ada istilah konstan (yang konsekuensi teoritis yang kami gunakan dalam hasil sebelumnya, yaitu persyaratan bagi MLE untuk memenuhi persamaan ), adalah penting. $X$ $a_k$ $(1)$

Alecos Papadopoulos
sumber

Tidak, belum, jadi pertanyaannya terbuka. Namun, saya harus menghentikan Anda tepat di persamaan normal (1) dan (2). Masalah praktis pemisahan sempurna adalah bahwa pengoptimal kemungkinan ingin mengirim ke , dan akibatnya probabilitas yang diprediksi menjadi nol / satu. Anda tidak lagi berada di bagian dalam ruang parameter, sehingga persamaan normal mungkin tidak berfungsi. Juga, untuk variabel kontinu, saya akan mencirikan pemisahan sempurna sebagai menyiratkan dan menyiratkan , katakanlah, daripada persamaan yang tepat untuk nilai yang diberikan.

g (\cdot)

$g(\cdot)$

\pm \infty

$\pm \infty$

x_{i} > a

$x_i > a$

Y_{i} = 1

$Y_i = 1$

x_{i} \leq a

$x_i \le a$

Y_{i} = 0

$Y_i = 0$

Tugas

Persamaan normal adalah apa yang akan coba dipenuhi oleh MLE - dan untuk melakukannya, ia dapat mengirim logit hingga tak terhingga, tentu saja. Apa yang Anda maksud dengan "persamaan normal mungkin tidak berfungsi?" Saya tidak yakin saya mengerti. Mengenai variabel kontinu, ya karakterisasi pemisahan sempurna Anda pada dasarnya sesuai dengan apa yang saya temukan, yaitu bahwa nilai " " ekstrem dalam sampel, bagi MLE untuk dipecah. Ketidaksamaan Anda pada dasarnya menggambarkan hal yang sama.

a_{k}

$a_k$

Alecos Papadopoulos

ML tidak berfungsi saat kondisi keteraturan dilanggar. Lihat misalnya ini .

Tugas

Saya setuju dengan kamu. Posting saya tidak berdebat sebaliknya. Apa yang saya coba lakukan adalah untuk "memprediksi" ketika implementasi sebenarnya dari algoritma MLE melalui upaya untuk memenuhi kondisi yang biasa, secara numerik akan rusak di bawah pemisahan sempurna, dan ketika itu tidak. Tetapi posting saya tidak membahas kegunaan / kebermaknaan estimasi aktual yang akan kami peroleh, dalam kasus di mana algoritma MLE memang memberikan hasil, dan saya telah menulis ini dengan jelas di posting saya. Saya melihat contoh saya sebagai peringatan: "waspadalah-bahkan jika ada pemisahan sempurna, jangan percaya algoritma MLE untuk memberitahu Anda".

Alecos Papadopoulos

BAIK. Dengan mengingat hal itu, ini adalah analisis yang hebat, menyeluruh, dan kontribusi berharga bagi pemahaman kita tentang pemisahan yang sempurna. Tapi sebenarnya itu bukan jawaban untuk pertanyaan saya yang melaporkan fenomena (dan Anda tahu itu dalam jawaban Anda juga). Bolehkah saya juga menyarankan agar Anda sedikit memperluas jawaban dan menjelaskan apa yang terjadi dengan aritmatika presisi terbatas - (5) akan dianggap "cukup kecil" (mis., < atau sesuatu seperti itu) dalam nilai absolut , dan perangkat lunak dapat dengan senang hati melontarkan nilai-nilai non-sensis besar (seperti dalam R, setahu saya)?

10^{- 8}

$10^{-8}$ glm

Tugas

Bagaimana menggambarkan dan menyajikan masalah perpisahan yang sempurna?

Jawaban: