Apakah regresi logistik memaksimalkan kemungkinan juga juga memaksimalkan AUC dari model linier?

Diberikan set data dengan hasil biner $y\in\{0,1\}^n$ dan beberapa matriks prediktor $X\in\mathbb{R}^{n\times p}$ , model regresi logistik standar memperkirakan koefisien $\beta_{MLE}$ yang memaksimalkan kemungkinan binomial. Ketika $X$ adalah peringkat penuh $\beta_{MLE}$ adalah unik; ketika pemisahan sempurna tidak ada, itu terbatas.

Apakah model kemungkinan maksimum ini juga memaksimalkan ROC AUC (alias $c$ -statistic), atau apakah ada beberapa estimasi koefisien $\beta_{AUC} \neq \beta_{MLE}$ yang akan mendapatkan AUC ROC yang lebih tinggi? Jika benar bahwa MLE tidak perlu memaksimalkan ROC AUC, maka cara lain untuk melihat pertanyaan ini adalah "Apakah ada alternatif untuk memaksimalkan kemungkinan yang akan selalu memaksimalkan ROC AUC dari regresi logistik?"

Saya berasumsi bahwa model-modelnya sama: kita tidak menambah atau menghapus prediktor di $X$ , atau mengubah spesifikasi model, dan saya berasumsi bahwa model pemaksimalan kemungkinan dan pemaksimalan AUC menggunakan fungsi tautan yang sama.

logistic maximum-likelihood auc Sycorax berkata Reinstate Monica
sumber

Tentunya

jika, misalnya, beberapa fungsi tautan menghasilkan kecocokan yang lebih baik daripada logit? Selain itu, pertanyaan bagus, apakah proses menghasilkan data dapat dianggap sebagai logit.

β_{AUC} \neq β_{MLE}

$\beta_{\text{AUC}} \neq \beta_{\text{MLE}}$

Nutle

Pertanyaan bagus tapi pertimbangkan ini. ROC dan AUC digunakan untuk membandingkan dua model yang berbeda, jadi jika solusi untuk estimasi MLE dari setiap model adalah unik, ini berarti bahwa Anda bisa mendapatkan AUC yang berbeda hanya jika Anda mengubah spesifikasi model saat ini dan Anda memperkirakan perbedaan baru model via MLE. Jadi pada titik ini pertanyaan lain adalah: apakah ada metode estimasi "lebih baik" lainnya (algoritma maksimalisasi ecc) selain MLE sederhana yang berlaku untuk model yang sama sehingga saya bisa mendapatkan berbagai estimasi koefisien yang mengarah ke beta "lebih baik" baru dengan AUC lebih tinggi?

Fr1

@ Kacang persis, itu akan menjadi spesifikasi yang berbeda

Fr1

@ Fr1 Ya, itulah yang unik artinya. Apa yang saya maksudkan dalam pertanyaan saya adalah sesuatu seperti "bagaimana jika ada beberapa alternatif untuk MLE yang mencapai AUC yang lebih tinggi?" Jika benar bahwa ada model linier yang berbeda (model selain MLE) yang mencapai AUC lebih tinggi, maka itu akan menarik untuk diketahui.

Sycorax berkata Reinstate Monica

@ Scorax apa lagi yang kita asumsikan? :) Asumsi itu penting, karena jika kita tahu DGP yang sebenarnya dengan tautan dan variabel yang digunakan, MLE adalah statistik bias yang seragam dan paling kuat.

Nutle

Jawaban:

Hal ini tidak terjadi bahwa $\beta_{MLE} = \beta_{AUC}$ .

Untuk menggambarkan hal ini, pertimbangkan bahwa AUC dapat ditulis sebagai

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

Dengan kata lain, pemesanan prediksi adalah satu-satunya hal yang mempengaruhi AUC . Ini tidak terjadi dengan fungsi kemungkinan. Jadi sebagai latihan mental, anggaplah kita memiliki satu prediktor tunggal dan dalam dataset kami, kami tidak melihat pemisahan sempurna (yaitu, $\beta_{MLE}$ adalah terbatas). Sekarang, jika kita hanya mengambil nilai prediktor terbesar dan meningkatkannya dengan jumlah kecil, kami akan mengubah kemungkinan solusi ini, tetapi itu tidak akan mengubah AUC, karena pemesanan harus tetap sama. Jadi, jika MLE lama memaksimalkan AUC, itu masih akan memaksimalkan AUC setelah mengubah prediktor, tetapi tidak akan lagi memaksimalkan kemungkinan.

Jadi, paling tidak, itu bukan kasus bahwa $\beta_{AUC}$ tidak unik; setiap $\beta$ yang mempertahankan urutan estimasi mencapai AUC yang sama persis. Secara umum, sejak AUC sensitif terhadap aspek yang berbeda dari data, saya akan percaya bahwa kita harus dapat menemukan kasus di mana $\beta_{MLE}$ tidak memaksimalkan $\beta_{AUC}$ . Bahkan, saya berani menebak bahwa ini terjadi dengan probabilitas tinggi.

EDIT (memindahkan komentar menjadi jawaban)

Langkah selanjutnya adalah membuktikan bahwa MLE belum tentu memaksimalkan AUC (yang belum terbukti). Seseorang dapat melakukan ini dengan mengambil sesuatu seperti prediktor 1, 2, 3, 4, 5, 6, $x$ (dengan $x > 6$ ) dengan hasil 0, 0, 0, 1, 1, 1, 0. Setiap nilai positif $\beta$ akan memaksimalkan AUC (terlepas dari nilai $x$ ), tetapi kita dapat memilih $x$ cukup besar sehingga $\beta_{MLE} < 0$ .

Cliff AB
sumber

(+1) Ah! Tentu saja - karena ini tentang pemesanan, kita dapat mengubah intersepsi yang sewenang-wenang yang jelas harus mengubah nilai kemungkinan, tetapi pemesanan harus sama karena tidak ada koefisien fitur yang berubah, sehingga AUC akan tetap diperbaiki.

Sycorax berkata Reinstate Monica

+1. Apakah contoh edit bekerja dengan

? Jika kita perlu mengambil

cukup besar agar dapat bekerja dengan

besar , bukankah probabilitas nilai-nilai seperti itu dengan cepat menyatu ke 0, untuk beberapa logit tetap?

n \to \infty

$n \rightarrow \infty$

x

$x$

n

$n$

Nutle

@Nutle: baik, tergantung apa yang Anda maksud tentang

. Jika kami mengambil

salinan (prediktor + hasil) dari dataset mainan saya, maka ya hasilnya akan bertahan. Namun, jika kami mengambil

salinan dari set prediktor tersebut, dan data benar-benar berasal dari model regresi logistik, itu hampir tidak akan pernah terjadi (seperti yang Anda tunjukkan). Perhatikan, bagaimanapun, bahwa sesuatu yang mirip dengan ini bisa terjadi dengan probabilitas tinggi jika hubungan antara para prediktor tidak benar-benar mengikuti model regresi logistik.

n \to \infty

$n \rightarrow \infty$

n

$n$

n

$n$

Cliff AB

x

$x$

n

$n$