Hosmer-Lemeshow vs AIC untuk regresi logistik

12

Jika Hosmer-Lemeshow menunjukkan kurangnya kecocokan tetapi AIC adalah yang terendah di antara semua model .... haruskah Anda masih menggunakan model itu?

Jika saya menghapus suatu variabel, statistik Hosmer-Lemeshow tidak signifikan (yang berarti tidak ada kecocokan yang kurang). Tetapi AIC meningkat.

Sunting : Saya pikir secara umum, jika AIC dari model yang berbeda dekat (yaitu ) satu sama lain maka mereka pada dasarnya sama. Tapi AIC jauh berbeda. Ini tampaknya menunjukkan bahwa yang memiliki AIC terendah adalah yang harus saya gunakan walaupun tes Hosmer-Lemeshow menunjukkan sebaliknya.<2

Mungkin juga tes HL hanya berlaku untuk sampel besar? Ini memiliki daya rendah untuk ukuran sampel kecil (ukuran sampel saya ~ 300). Tetapi jika saya mendapatkan hasil yang signifikan ... Ini berarti bahwa bahkan dengan daya rendah saya mendapat penolakan.

Apakah ada bedanya jika saya menggunakan AICc versus AIC? Bagaimana Anda mendapatkan AICc di SAS? Saya tahu mungkin ada masalah dengan multiplisitas. Tapi apriori I berhipotesis bahwa variabel memiliki efek pada hasil.

Ada komentar?

Sunting2 : Saya pikir saya harus menggunakan model dengan satu variabel lebih sedikit dan AIC lebih tinggi dengan HL tidak signifikan. Alasannya adalah karena dua variabel berkorelasi satu sama lain. Jadi menyingkirkan seseorang itu masuk akal.

Thomas
sumber
Perhatikan bahwa semua model Anda mungkin sampah.
@ mbq: Bagaimana ini membantu?
Thomas
2
Yah, bahkan dalam kelompok model yang tidak signifikan ada satu dengan AIC terbaik. Bagaimanapun, tolong jangan gunakan jawaban untuk memperpanjang pertanyaan Anda.

Jawaban:

12

Tes Hosmer-Lemeshow sampai batas tertentu sudah usang karena memerlukan peniadaan probabilitas yang diprediksi secara sewenang-wenang dan tidak memiliki kekuatan yang sangat baik untuk mendeteksi kurangnya kalibrasi. Itu juga tidak sepenuhnya menghukum karena overfitting ekstrim dari model. Metode yang lebih baik tersedia seperti Hosmer, DW; Hosmer, T .; le Cessie, S. & Lemeshow, S. Perbandingan tes good-of-fit untuk model regresi logistik. Statistik dalam Kedokteran , 1997, 16 , 965-980. Ukuran baru mereka diimplementasikan dalam RrmsR2c

Frank Harrell
sumber
Jadi apakah menggunakan uji rasio kemungkinan lebih baik untuk menilai goodness of fit model dengan AIC terendah? Karena tes ini menunjukkan bahwa tidak ada kekurangan.
Thomas
Melihat AIC lebih dari 2 model akan menghasilkan beberapa bias seleksi / overfitting. AIC tidak secara eksplisit menilai kebaikan yang cocok kecuali dalam konteks yang saya berikan di atas. Cara terbaik untuk menilai kecocokan adalah dengan mendemonstrasikan kalibrasi yang baik menggunakan plot kalibrasi nonparametrik halus terus menerus, dan menunjukkan sedikit bukti untuk komponen yang lebih kompleks yang mungkin membuat model memprediksi lebih baik.
Frank Harrell
Dengan asumsi saya tidak memiliki akses ke alat-alat itu. Model A yang memiliki uji HL tidak signifikan juga memiliki satu variabel kurang dari Model B yang memiliki uji HL signifikan. Saya hanya membandingkan kedua model ini. Model A memiliki AIC terendah dan model B memiliki AIC jauh lebih tinggi.
Thomas
Maksud saya Model B memiliki AIC terendah dan Model A memiliki AIC jauh lebih tinggi.
Thomas
2
rmsP