Ada banyak utas di CrossValidated pada topik pemilihan model dan validasi silang. Berikut ini beberapa di antaranya: Validasi silang internal vs eksternal dan pemilihan model @ DikranMarsupial ini jawaban atas untuk seleksi Fitur dan cross-validasi Namun, jawaban atas utas tersebut cukup umum...
Mengapa prosedur validasi silang mengatasi masalah overfitting
Saya ingin tahu tentang prosedur berulang yang dapat digunakan untuk menemukan bentuk fungsional dari fungsi y = f(A, B, C) + error_termmana saya hanya masukan adalah seperangkat pengamatan ( y, A, Bdan C). Harap dicatat bahwa bentuk fungsional ftidak diketahui. Pertimbangkan dataset berikut: AA...
Saya mengerti apa distribusi prediktif posterior , dan saya telah membaca tentang cek prediktif posterior , meskipun belum jelas bagi saya apa yang dilakukannya. Apa sebenarnya pemeriksaan prediktif posterior? Mengapa beberapa penulis mengatakan bahwa menjalankan pemeriksaan prediktif posterior...
Saya biasanya menggunakan BIC karena pemahaman saya adalah bahwa nilai-nilai parsimony lebih kuat daripada AIC. Namun, saya telah memutuskan untuk menggunakan pendekatan yang lebih komprehensif sekarang dan ingin menggunakan AIC juga. Saya tahu bahwa Raftery (1995) menyajikan pedoman yang bagus...
Baru-baru ini saya menemukan makalah yang mengusulkan menggunakan pengklasifikasi k-NN pada dataset tertentu. Para penulis menggunakan semua sampel data yang tersedia untuk melakukan validasi silang k-fold untuk nilai k yang berbeda dan melaporkan hasil validasi silang dari konfigurasi...
Hanya pemikiran saja: Model Parsimonious selalu menjadi pilihan standar dalam pemilihan model, tetapi sampai sejauh mana pendekatan ini sudah usang? Saya ingin tahu tentang seberapa besar kecenderungan kita terhadap kekikiran adalah peninggalan zaman abaci dan aturan geser (atau, lebih serius,...
Apakah mungkin untuk menghitung nilai AIC atau BIC untuk model regresi laso dan model yang diregulasi lainnya di mana parameter hanya sebagian memasukkan persamaan. Bagaimana seseorang menentukan derajat kebebasan? Saya menggunakan R agar sesuai dengan model regresi laso dengan glmnet()fungsi dari...
Untuk LASSO (dan prosedur pemilihan model lainnya), sangat penting untuk mengubah skala prediktor. The umum Rekomendasi saya tindak hanya menggunakan 0 berarti, 1 standar deviasi normalisasi untuk variabel kontinyu. Tapi apa yang harus dilakukan dengan boneka? Misalnya beberapa contoh terapan dari...
Bagaimana Anda memilih model dari berbagai model yang dipilih dengan metode yang berbeda (mis. Pemilihan mundur atau maju)? Juga apa yang dimaksud dengan model
Ketika membangun model CART (khususnya pohon klasifikasi) menggunakan rpart (dalam R), seringkali menarik untuk mengetahui apa pentingnya berbagai variabel yang diperkenalkan pada model. Dengan demikian, pertanyaan saya adalah: Apa ukuran umum yang ada untuk menentukan peringkat / mengukur...
Saya menggunakan AIC (Kriteria Informasi Akaike) untuk membandingkan model non-linear dalam R. Apakah valid untuk membandingkan AIC dari berbagai jenis model? Secara khusus, saya membandingkan model yang dipasang oleh glm versus model dengan istilah efek acak yang dipasang oleh glmer (lme4). Jika...
Saya merenungkan diskusi seputar pertanyaan ini dan khususnya komentar Frank Harrell bahwa estimasi untuk varians dalam model yang dikurangi (yaitu satu dari mana sejumlah variabel penjelas telah diuji dan ditolak) harus menggunakan Tingkat Kemerdekaan Umum Ye . Profesor Harrell menunjukkan ini...
Apa saja prasyarat yang harus dipenuhi untuk perbandingan model AIC agar bekerja? Saya baru saja menjawab pertanyaan ini ketika melakukan perbandingan seperti ini: > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1] 14277.29 Dengan cara ini...
Saya bertanya-tanya bagaimana orang Bayesian di komunitas CrossValidated melihat masalah ketidakpastian model dan bagaimana mereka lebih suka menghadapinya? Saya akan mencoba mengajukan pertanyaan saya dalam dua bagian: Seberapa penting (dalam pengalaman / pendapat Anda) berurusan dengan...
Saat ini saya sedang mengerjakan proyek yang pada dasarnya saya butuhkan, seperti yang kita semua lakukan, untuk memahami bagaimana output terkait dengan input . Kekhasan di sini adalah bahwa data diberikan kepada saya satu per satu, jadi saya ingin memperbarui analisis saya setiap kali saya...
Saya memiliki masalah dalam merangkul manfaat pemberian label faktor model secara acak karena beberapa alasan. Bagi saya sepertinya dalam hampir semua kasus solusi optimal adalah memperlakukan semua faktor sebagai tetap. Pertama, perbedaan fixed vs random cukup arbitrer. Penjelasan standar adalah...
Dalam makalah yang terkenal tahun 1938 (" Distribusi sampel-besar dari rasio kemungkinan untuk menguji hipotesis komposit ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks memperoleh distribusi asimtotik dari (log likelihood ratio) untuk hipotesis bersarang, dengan asumsi bahwa...
Saya sedang mengerjakan sebuah proyek di mana saya ingin mengekstraksi beberapa informasi tentang isi dari serangkaian esai terbuka. Dalam proyek khusus ini, 148 orang menulis esai tentang organisasi siswa hipotetis sebagai bagian dari eksperimen yang lebih besar. Meskipun di bidang saya (psikologi...
Saya tertarik pada pemilihan model dalam pengaturan deret waktu. Untuk konkret, anggaplah saya ingin memilih model ARMA dari kumpulan model ARMA dengan pesanan lag yang berbeda. Maksud utamanya adalah perkiraan . Pemilihan model dapat dilakukan oleh validasi silang, penggunaan kriteria informasi...