Kapan regresi logistik diselesaikan dalam bentuk tertutup?

31

Ambil dan dan anggaplah kita memodelkan tugas memprediksi y yang diberikan x menggunakan regresi logistik. Kapan koefisien regresi logistik dapat ditulis dalam bentuk tertutup?x{0,1}dy{0,1}

Salah satu contoh adalah ketika kita menggunakan model jenuh.

Yaitu, tentukan , di mana mengindeks set dalam set daya , dan mengembalikan 1 jika semua variabel diP(y|x)exp(iwifi(xi))i{x1,,xd}fii 'set th adalah 1, dan 0 sebaliknya. Kemudian Anda dapat mengekspresikan setiap wi dalam model regresi logistik ini sebagai logaritma dari fungsi rasional statistik dari data.

Apakah ada contoh menarik lainnya ketika formulir tertutup ada?

Yaroslav Bulatov
sumber
4
Saya berasumsi maksud Anda "kapan MLEs parameter dalam bentuk tertutup?"
Glen_b -Reinstate Monica
Bisakah Anda memberi lebih banyak detail apa yang Anda lakukan? Pertanyaan Anda berbunyi seolah-olah Anda mencoba menurunkan estimator kuadrat terkecil biasa untuk masalah regresi logistik?
Momo
1
Terima kasih atas posting / pertanyaan yang menarik, Yaroslav. Apakah Anda memiliki referensi untuk contoh yang Anda perlihatkan?
Bitwise
1
Sudah lama, tapi mungkin itu ada di buku "Model Grafis" Lauritzen. Fondasi yang lebih luas dari jawaban untuk pertanyaan ini ada - Anda mendapatkan solusi bentuk tertutup ketika grafik (hiper) yang dibentuk oleh statistik yang cukup adalah chordal
Yaroslav Bulatov
Ini mungkin menarik tandfonline.com/doi/abs/10.1080/... Saya percaya ini adalah kasus khusus dari solusi analitis ketika Anda hanya memiliki tabel 2x2
Austin

Jawaban:

33

Seperti yang ditunjukkan oleh kjetil b halvorsen, itu adalah, dengan caranya sendiri, sebuah keajaiban bahwa regresi linier mengakui solusi analitis. Dan ini hanya berdasarkan linearitas masalah (berkenaan dengan parameter). Dalam OLS, Anda memiliki yang memiliki kondisi urutan pertama - 2 Σ i ( y i - x ' i β ) x i = 0 Untuk masalah dengan p

i(yixiβ)2minβ,
2i(yixiβ)xi=0
pvariabel (termasuk konstan, jika perlu — ada beberapa regresi melalui masalah asal juga), ini adalah sistem dengan persamaan dan p tidak diketahui. Yang paling penting, ini adalah sistem linear, sehingga Anda dapat menemukan solusi menggunakan teori dan praktik aljabar linear standar . Sistem ini akan memiliki solusi dengan probabilitas 1 kecuali Anda memiliki variabel collinear sempurna.pp

Sekarang, dengan regresi logistik, segalanya menjadi tidak mudah lagi. Menuliskan fungsi log-likelihood, dan mengambil turunannya untuk menemukan MLE, kita dapatkan l

l(y;x,β)=iyilnpi+(1yi)ln(1pi),pi=(1+exp(θi))1,θi=xiβ,
Parameterβmemasukkan ini dengan cara yang sangat nonlinier: untuk setiapi, ada fungsi nonlinear, dan mereka ditambahkan bersama-sama. Tidak ada solusi analitis (kecuali mungkin dalam situasi sepele dengan dua pengamatan, atau sesuatu seperti itu), dan Anda harus menggunakanmetode optimasi nonlinieruntuk menemukan perkiraan ß .
lβ=idpidθ(yipi1yi1pi)xi=i[yi11+exp(xiβ)]xi
βiβ^

Pandangan yang agak lebih dalam ke masalah (mengambil turunan kedua) mengungkapkan bahwa ini adalah masalah optimisasi cembung untuk menemukan maksimum fungsi cekung (parabola multivariat yang dimuliakan), sehingga salah satunya ada, dan setiap algoritma yang masuk akal harus menemukannya daripada dengan cepat, atau segalanya meledak hingga tak terbatas. Yang terakhir tidak terjadi logistik regresi ketika untuk beberapa cProb[Yi=1|xiβ>c]=1c, yaitu, Anda memiliki prediksi yang sempurna. Ini adalah artefak yang agak tidak menyenangkan: Anda akan berpikir bahwa ketika Anda memiliki prediksi yang sempurna, modelnya bekerja dengan sempurna, tetapi cukup aneh, itu sebaliknya.

Tugas
sumber
pertanyaannya adalah mengapa persamaan terakhir Anda tidak dapat dipecahkan. apakah ini karena fungsi invers divergen pada 0 dan 1, atau ini karena nonlinier pada umumnya?
eyaler
5
(1) Mengenai ayat terakhir Anda: Dari perspektif matematika itu tidak bekerja "sempurna" dalam arti bahwa MLE akan menghasilkan memisahkan hyperplane yang sempurna. Apakah algoritma numerik Anda berperilaku bijaksana dalam situasi itu adalah masalah yang terpisah. Smoothing Laplace sering digunakan dalam situasi seperti itu.
kardinal
@eyaler, saya akan mengatakan ini karena nonlinier secara umum. Pemahaman saya adalah bahwa ada satu set keadaan terbatas ketika ini dapat diselesaikan, meskipun saya tidak tahu apa keadaan ini.
Tugas
1
Saya tidak mengerti, kondisi matematika apa yang ada yang membuat sistem tidak memiliki solusi bentuk tertutup? Apakah ada kondisi umum di mana hal-hal secara umum tidak memiliki solusi bentuk tertutup?
Charlie Parker
apakah fakta bahwa regresi logistik tidak memiliki bentuk tertutup yang dapat dibuktikan dengan melihat iterasi gradient descent untuknya?
Charlie Parker
8

Posting ini awalnya dimaksudkan sebagai komentar panjang dan bukan jawaban lengkap untuk pertanyaan yang ada.

Dari pertanyaan itu, sedikit tidak jelas apakah minatnya hanya terletak pada kasus biner atau, mungkin, dalam kasus yang lebih umum di mana mereka mungkin kontinu atau mengambil nilai diskrit lainnya.

logit(Pr(Yij=1))=αiαj,
αiiYij=1ij

(i,j)α^iSi=jiYij

Untuk menafsirkan ini, bayangkan turnamen round-robin penuh dalam olahraga kompetitif favorit Anda. Kemudian, hasil ini mengatakan bahwa model Bradley-Terry memberi peringkat pemain / tim sesuai dengan persentase kemenangan mereka. Apakah ini hasil yang menggembirakan atau mengecewakan tergantung pada sudut pandang Anda, saya kira.

NB Hasil urutan-peringkat ini tidak berlaku, secara umum, ketika round-robin penuh tidak dimainkan.

kardinal
sumber
2
Saya tertarik pada biner karena paling mudah untuk dianalisis. Saya telah menemukan kondisi yang cukup luas dalam karya Lauritzen - Anda mendapatkan formulir tertutup jika model log-linear yang sesuai dapat diurai
Yaroslav Bulatov