Estimasi parameter dengan model linier umum

Secara default ketika kami menggunakan glmfungsi dalam R, ia menggunakan metode iteratively reweighted least square (IWLS) untuk menemukan estimasi kemungkinan maksimum parameter. Sekarang saya punya dua pertanyaan.

1. Apakah estimasi IWLS menjamin maksimum global dari fungsi kemungkinan? Berdasarkan slide terakhir dalam presentasi ini , saya pikir tidak! Saya hanya ingin memastikan itu.
2. Bisakah kita mengatakan bahwa alasan untuk pertanyaan 1 di atas adalah karena kenyataan bahwa hampir semua metode optimasi numerik mungkin terjebak pada maksimum lokal daripada maksimum global?

Saat Anda mencoba memperkirakan parameter, Anda selalu ingin ada solusi bentuk tertutup. Namun, seseorang tidak selalu ada (saya kira ada kemungkinan bahwa dalam beberapa kasus mungkin ada satu tetapi tidak diketahui saat ini). Ketika solusi bentuk tertutup tidak ada, beberapa strategi heuristik harus digunakan untuk mencari ruang parameter untuk estimasi parameter terbaik yang dapat digunakan. Ada banyak strategi pencarian tersebut (misalnya di R, ? Optim daftar 6 metode tujuan umum). IRWLS adalah versi sederhana dari algoritma Newton-Raphson .

Sayangnya, jawaban Anda [ 1 ] adalah bahwa tidak ada strategi pencarian heuristik yang dijamin untuk menemukan minimum global (maksimum). Ada tiga alasan mengapa itu terjadi:

1. Seperti disebutkan pada slide 9 dari presentasi Anda yang ditautkan, tidak ada solusi unik yang mungkin ada. Contohnya mungkin multikolinieritas sempurna , atau ketika ada lebih banyak parameter yang diperkirakan daripada data .
2. Seperti dicatat pada slide 10 (presentasi itu cukup bagus, saya pikir), solusinya mungkin tak terbatas. Ini dapat terjadi dalam regresi logistik, misalnya, ketika Anda memiliki pemisahan yang sempurna .

3. Ini juga bisa menjadi kasus bahwa ada minimum global yang terbatas (maksimum), tetapi algoritma tidak menemukannya. Algoritma ini (terutama IRWLS dan NR) cenderung mulai dari lokasi yang ditentukan dan 'melihat-lihat' untuk melihat apakah bergerak ke suatu arah merupakan 'akan menurun' (yaitu, meningkatkan kecocokan). Jika demikian, maka akan kembali pas pada jarak tertentu ke arah itu dan ulangi sampai perbaikan yang diperkirakan / diprediksi kurang dari beberapa ambang batas. Dengan demikian, ada dua cara untuk tidak mencapai minimum global:

   1. Tingkat penurunan dari lokasi saat ini menuju minimum global (maksimum) terlalu dangkal untuk melewati ambang batas dan algoritme berhenti pada solusi.
   2. Ada minimum lokal (maksimum) antara lokasi saat ini dan minimum global (maksimum), sehingga tampak pada algoritma bahwa pergerakan lebih lanjut akan mengarah pada kecocokan yang lebih buruk .

Mengenai [ 2 ] Anda, ketahuilah bahwa strategi pencarian yang berbeda memiliki kecenderungan berbeda untuk ditangkap dalam minimum lokal. Bahkan strategi yang sama kadang-kadang dapat diadaptasi, atau dimulai dari titik awal yang berbeda untuk mengatasi dua masalah terakhir.

Anda benar bahwa secara umum, IWLS, seperti metode optimasi numerik lainnya, hanya dapat menjamin konvergensi ke maksimum lokal, jika mereka bahkan bertemu. Berikut adalah contoh yang bagus di mana nilai awal berada di luar domain konvergensi untuk algoritma yang digunakan oleh glm () dalam R. Namun, perlu dicatat bahwa untuk GLM dengan tautan kanonik, kemungkinannya cekung, lihat di sini . Jadi, jika algoritmanya konvergen, itu akan menyatu ke mode global!

Masalah terakhir yang ditunjukkan dalam slide adalah masalah di mana MLE untuk paramter berada di tak terhingga. Ini dapat terjadi dalam regresi logistik di mana terdapat pemisahan lengkap. Dalam kasus seperti itu, Anda akan mendapatkan pesan peringatan bahwa probabilitas yang dipasang adalah angka 0 atau 1. Penting untuk dicatat bahwa ketika ini terjadi, algoritme belum konvergen ke mode, sehingga ini tidak ada hubungannya dengan algoritma yang sedang terjebak dalam maksimum lokal.