Ambil dan dan anggaplah kita memodelkan tugas memprediksi y yang diberikan x menggunakan regresi logistik. Kapan koefisien regresi logistik dapat ditulis dalam bentuk tertutup?
Salah satu contoh adalah ketika kita menggunakan model jenuh.
Yaitu, tentukan , di mana mengindeks set dalam set daya , dan mengembalikan 1 jika semua variabel di 'set th adalah 1, dan 0 sebaliknya. Kemudian Anda dapat mengekspresikan setiap dalam model regresi logistik ini sebagai logaritma dari fungsi rasional statistik dari data.
Apakah ada contoh menarik lainnya ketika formulir tertutup ada?
logistic
generalized-linear-model
Yaroslav Bulatov
sumber
sumber
Jawaban:
Seperti yang ditunjukkan oleh kjetil b halvorsen, itu adalah, dengan caranya sendiri, sebuah keajaiban bahwa regresi linier mengakui solusi analitis. Dan ini hanya berdasarkan linearitas masalah (berkenaan dengan parameter). Dalam OLS, Anda memiliki yang memiliki kondisi urutan pertama - 2 Σ i ( y i - x ' i β ) x i = 0 Untuk masalah dengan p
Sekarang, dengan regresi logistik, segalanya menjadi tidak mudah lagi. Menuliskan fungsi log-likelihood, dan mengambil turunannya untuk menemukan MLE, kita dapatkan ∂ l
Pandangan yang agak lebih dalam ke masalah (mengambil turunan kedua) mengungkapkan bahwa ini adalah masalah optimisasi cembung untuk menemukan maksimum fungsi cekung (parabola multivariat yang dimuliakan), sehingga salah satunya ada, dan setiap algoritma yang masuk akal harus menemukannya daripada dengan cepat, atau segalanya meledak hingga tak terbatas. Yang terakhir tidak terjadi logistik regresi ketika untuk beberapa cP r o b [ Ysaya= 1 | x′sayaβ> c ] = 1 c , yaitu, Anda memiliki prediksi yang sempurna. Ini adalah artefak yang agak tidak menyenangkan: Anda akan berpikir bahwa ketika Anda memiliki prediksi yang sempurna, modelnya bekerja dengan sempurna, tetapi cukup aneh, itu sebaliknya.
sumber
Posting ini awalnya dimaksudkan sebagai komentar panjang dan bukan jawaban lengkap untuk pertanyaan yang ada.
Dari pertanyaan itu, sedikit tidak jelas apakah minatnya hanya terletak pada kasus biner atau, mungkin, dalam kasus yang lebih umum di mana mereka mungkin kontinu atau mengambil nilai diskrit lainnya.
Untuk menafsirkan ini, bayangkan turnamen round-robin penuh dalam olahraga kompetitif favorit Anda. Kemudian, hasil ini mengatakan bahwa model Bradley-Terry memberi peringkat pemain / tim sesuai dengan persentase kemenangan mereka. Apakah ini hasil yang menggembirakan atau mengecewakan tergantung pada sudut pandang Anda, saya kira.
NB Hasil urutan-peringkat ini tidak berlaku, secara umum, ketika round-robin penuh tidak dimainkan.
sumber