Fisher Scoring v / s Descent Koordinat untuk MLE di R

Fungsi dasar R glm()menggunakan Fishers Scoring untuk MLE, sedangkan glmnettampaknya menggunakan metode penurunan koordinat untuk menyelesaikan persamaan yang sama. Keturunan koordinat lebih hemat waktu daripada Fisher Scoring, karena Fisher Scoring menghitung matriks turunan urutan kedua, di samping beberapa operasi matriks lainnya. yang membuat mahal untuk dilakukan, sedangkan koordinat keturunan dapat melakukan tugas yang sama dalam waktu O (np).

Mengapa fungsi dasar R menggunakan Skor Fisher? Apakah metode ini memiliki keunggulan dibandingkan metode optimasi lainnya? Bagaimana perbandingan koordinat keturunan dan skor Fisher? Saya relatif baru untuk melakukan bidang ini sehingga bantuan atau sumber daya apa pun akan membantu.

Satu-satunya cara untuk memastikan adalah dengan melakukan benchmarking, tetapi untuk glm, skor Fisher harus lebih cepat daripada penurunan koordinat. Skor Fisher adalah kasus khusus dari Newton Raphson, yang memiliki tingkat konvergensi yang lebih cepat daripada penurunan koordinat (Newton-Raphson adalah konvergen kuadratik, sedangkan penurunan koordinat adalah konvergen linier.) Jadi, sementara perhitungan informasi derivatif kedua berarti setiap langkah membutuhkan lebih banyak waktu, itu bisa memerlukan langkah lebih sedikit daripada koordinat koordinat.

Untuk laso, bentuk khusus dari istilah penalti membuatnya menjadi kasus yang sangat istimewa (dan pada kenyataannya nilai absolut tidak dapat dibedakan, meskipun kadang-kadang Anda dapat mempercayakan ini). Untuk masalah khusus ini, penurunan koordinat terbukti sangat cepat. Ada banyak masalah optimasi lainnya di mana dalam praktiknya Newton-Raphson lebih cepat.