Memahami kriteria AIC dan Schwarz

13

Saya menjalankan model logistik. Dataset model yang sebenarnya memiliki lebih dari 100 variabel, tetapi saya memilih kumpulan data uji yang ada sekitar 25 variabel. Sebelumnya saya juga membuat dataset yang memiliki 8-9 variabel. Saya diberi tahu bahwa nilai AIC dan SC dapat digunakan untuk membandingkan model. Saya mengamati bahwa model memiliki nilai SC lebih tinggi bahkan ketika variabel memiliki nilai p rendah (mis. 0053). Untuk intuisi saya model yang memiliki variabel yang memiliki tingkat signifikansi yang baik harus menghasilkan nilai SC dan AIC yang rendah. Tetapi itu tidak terjadi. Dapatkah seseorang tolong klarifikasi ini. Singkatnya saya ingin mengajukan pertanyaan-pertanyaan berikut:

  1. Apakah jumlah variabel ada hubungannya dengan SC AIC?
  2. Haruskah saya berkonsentrasi pada nilai p atau nilai AIC SC rendah?
  3. Apa cara khas untuk mengurangi nilai SC AIC?
model-selection logistic aic ayush biyani
sumber

Jawaban:

15

Cukup sulit untuk menjawab pertanyaan Anda secara tepat, tetapi menurut saya Anda membandingkan dua kriteria (kriteria informasi dan nilai-p) yang tidak memberikan informasi yang sama. Untuk semua kriteria informasi (kriteria AIC, atau Schwarz), semakin kecil mereka semakin cocok model Anda (dari perspektif statistik) karena mencerminkan trade-off antara kurangnya kecocokan dan jumlah parameter dalam model ; misalnya, kriteria Akaike bertuliskan , di mana-2catatan⁡(ℓ)+2kkadalah jumlah parameter. Namun, tidak seperti AIC, SC konsisten: probabilitas memilih salah model yang lebih besar konvergen ke 0 ketika ukuran sampel meningkat. Mereka digunakan untuk membandingkan model, tetapi Anda dapat mengamati model dengan prediktor signifikan yang memberikan kecocokan yang buruk (penyimpangan residual besar). Jika Anda dapat mencapai model yang berbeda dengan AIC yang lebih rendah, ini menunjukkan model yang buruk. Dan, jika ukuran sampel Anda besar, nilai masih rendah yang tidak memberikan banyak informasi tentang kesesuaian model. Setidaknya, lihat apakah AIC menunjukkan penurunan yang signifikan ketika membandingkan model dengan intersep saja dan model dengan kovariat. Namun, jika minat Anda terletak pada menemukan subset prediktor terbaik, Anda harus melihat metode untuk pemilihan variabel.hal

Saya akan menyarankan untuk melihat regresi yang dihukum , yang memungkinkan untuk melakukan pemilihan variabel untuk menghindari masalah overfitting. Ini dibahas dalam Strategi Pemodelan Regresi Frank Harrell (hal. 207 dst.), Atau Moons et al., Dugaan kemungkinan maksimum yang dihukum untuk secara langsung menyesuaikan model prediksi diagnostik dan prognostik untuk optimisme berlebihan : contoh klinis , J Clin Epid (2004) 57 ( 12).

Lihat juga paket Desain ( lrm) dan stepPlr ( step.plr) R, atau paket yang dikenakan sanksi . Anda dapat menelusuri pertanyaan terkait pada pemilihan variabel pada SE ini.

chl
sumber
Hai chl, Terima kasih atas jawabannya .. Saya akui bahwa saya mendapat beberapa informasi dari jawaban Anda .. Biarkan saya memberi pengertian dan kemudian Anda bisa berkomentar. (1) Saya mendapat petunjuk bahwa nilai P bisa turun jika ukuran sampel Anda besar ...-- Begitukah ?? Untuk pemahaman saya, nilai p hanya dapat menunjukkan apakah hipotesis nol Anda ditolak atau tidak. (2) Saya mengerti sekarang bahwa saya perlu melihat perbedaan dalam nilai AIC dengan intersep saja dan dengan kovariat. Saya kira ketika kita mengatakan bahwa kita ingin AIC lebih rendah yang kita maksudkan untuk dataset yang sama. Saya mendapatkan karakter karakter tersisa di komentar saya sehingga akan berkomentar lagi setelah Anda menjawab,
ayush biyani
1
@ayush (1) statistik uji (misalnya Wald) tergantung pada ukuran sampel (kesalahan standar berkurang dengan meningkatnya ukuran sampel, dan Anda cenderung mendapatkan nilai p lebih rendah dengan sampel yang lebih besar). (2) ya, meskipun AIC dapat digunakan untuk membandingkan model non-bersarang, di sini saya memikirkannya sebagai cara untuk membandingkan berbagai model kompleksitas yang berbeda.
chl
terima kasih lagi..Saya mendapatkan esensi dari nilai p sekarang. Beberapa 5mins kembali saya menjalankan model yang memberi saya nilai p di bawah 0,05 untuk semua variabel tetapi AIC 28238,407 dengan mencegat saja dan dengan kovariat 21507,933. Saya juga memiliki kasus di mana AIC adalah 16035.xy dengan mencegat saja dan dengan kovariat 4234.xy. Apa pendapat Anda membandingkan dua kasus? Harap dicatat bahwa model kedua memiliki variabel yang berbeda 25 var sedangkan yang pertama memiliki 20. jadi kedua meskipun memiliki lebih banyak variabel (25 dibandingkan dengan 20) memiliki AIC yang lebih rendah. Meskipun nilai p tidak ada 0,05 untuk semua. Tolong sarankan..lebih untuk bertanya setelah ini..Terima kasih.
ayush biyani
@ayush Sulit untuk menjawab tentang kualitas model tanpa mengetahui bagaimana variabel dipilih. Kesenjangan dalam AIC antara model yang termasuk hanya intersep dan beberapa kovariat memberi Anda indikasi tentang "kekuatan penjelas" dari para prediktor tersebut (penyimpangan residual tampaknya berkurang secara lebih luas dalam kasus ke-2 yang Anda tunjukkan, dan AIC menghukum untuk # parameter seperti yang saya katakan dalam respons saya). Ini sama sekali bukan jawaban lengkap tentang relevansi prediksi ini. Saya menyarankan Anda untuk mengajukan pertanyaan yang lebih spesifik (IMO), misalnya tentang pemilihan variabel dalam GLM untuk studi spesifik Anda.
chl
8

Pengelompokan SC dan AIC secara bersamaan SALAH . Mereka adalah hal-hal yang sangat berbeda, meskipun orang-orang sangat menyalahgunakannya. AIC bermakna ketika Anda memprediksi sesuatu, menggunakan SC dalam skenario ini dapat menyebabkan (tidak setiap saat) ke hasil yang salah. Begitu pula jika Anda tertarik melakukan pemilihan model dengan prinsip kekikiran (Occam's Razor) SC lebih baik. Saya tidak ingin masuk ke dalam rincian teoretis, tetapi secara singkat: SC - bagus untuk model pelit ketika Anda menginginkan sesuatu yang setara dengan model paling sederhana untuk menjelaskan data Anda, AIC - Ketika Anda ingin memprediksi. AIC tidak berasumsi bahwa model Anda yang sebenarnya terletak pada ruang model di mana SC tidak.

Kedua, menggunakan nilai-p dan kriteria informasi secara bersamaan juga dapat menyesatkan seperti yang dijelaskan oleh chl .

suncoolsu
sumber