Pemilihan model adalah masalah dalam menilai model mana dari beberapa set yang berkinerja terbaik. Metode populer termasuk R 2 R2 , Kriteria AIC dan BIC, set uji, dan validasi silang. Hingga taraf tertentu, pemilihan fitur adalah subproblem dari pemilihan model.
Apakah ada metode standar dan diterima untuk memilih jumlah lapisan, dan jumlah node di setiap lapisan, dalam jaringan saraf umpan maju? Saya tertarik dengan cara otomatis membangun jaringan
AIC dan BIC adalah kedua metode menilai model yang dikenakan sanksi untuk jumlah parameter yang diestimasi. Seperti yang saya pahami, BIC menghukum model lebih banyak untuk parameter gratis daripada AIC. Di luar preferensi berdasarkan ketatnya kriteria, apakah ada alasan lain untuk memilih AIC...
Bayangkan skenario pembelajaran mesin standar: Anda dihadapkan dengan dataset multivariat yang besar dan Anda memiliki pemahaman yang cukup buram tentang itu. Yang perlu Anda lakukan adalah membuat prediksi tentang beberapa variabel berdasarkan apa yang Anda miliki. Seperti biasa, Anda...
Saya ingin menerapkan algoritma untuk pemilihan model otomatis. Saya berpikir untuk melakukan regresi bertahap tetapi apa pun akan dilakukan (itu harus didasarkan pada regresi linier). Masalah saya adalah bahwa saya tidak dapat menemukan metodologi, atau implementasi open source (saya bangun di...
Saya bertanya-tanya bagaimana cara memilih model prediktif setelah melakukan validasi silang K-fold. Ini mungkin ungkapan yang aneh, jadi izinkan saya menjelaskan lebih detail: setiap kali saya menjalankan validasi silang K-fold, saya menggunakan subset K dari data pelatihan, dan berakhir dengan...
Apakah selalu ide yang baik untuk berlatih dengan dataset lengkap setelah cross-validation ? Kata lain, itu ok untuk melatih dengan semua sampel dalam dataset saya dan tidak bisa memeriksa apakah ini pas tertentu overfits ? Beberapa latar belakang masalah: Katakanlah saya memiliki keluarga...
Frasa p -hacking (juga: "pengerukan data" , "pengintai" atau "memancing") mengacu pada berbagai jenis malpraktek statistik di mana hasilnya menjadi signifikan secara statistik secara artifisial. Ada banyak cara untuk mendapatkan hasil yang "lebih penting", termasuk tetapi tidak terbatas...
Bagaimana cara menggunakan validasi silang bersarang untuk pemilihan model ? Dari apa yang saya baca online, CV bersarang berfungsi sebagai berikut: Ada loop CV dalam, di mana kami dapat melakukan pencarian grid (misalnya menjalankan K-fold untuk setiap model yang tersedia, misalnya kombinasi...
Saat memecahkan masalah bisnis menggunakan data, sudah umum bahwa setidaknya satu asumsi utama bahwa statistik klasik under-pin tidak valid. Sebagian besar waktu, tidak ada yang mengganggu untuk memeriksa asumsi-asumsi itu sehingga Anda tidak pernah benar-benar tahu. Misalnya, bahwa begitu banyak...
Saya memiliki dataset dengan sekitar 30 variabel independen dan ingin membangun model linier umum (GLM) untuk mengeksplorasi hubungan antara mereka dan variabel dependen. Saya sadar bahwa metode yang saya ajarkan untuk situasi ini, regresi bertahap, sekarang dianggap sebagai dosa statistik...
Pertanyaan ini telah ditanyakan pada CV beberapa tahun yang lalu, sepertinya layak untuk dikirim kembali mengingat 1) urutan teknologi komputasi yang lebih baik (mis. Komputasi paralel, HPC dll) dan 2) teknik yang lebih baru, misalnya [3]. Pertama, beberapa konteks. Mari kita asumsikan tujuannya...
Saat Anda mencoba menyesuaikan model dengan set data besar, saran umum adalah untuk membagi data menjadi tiga bagian: pelatihan, validasi, dan set data uji. Ini karena model biasanya memiliki tiga "level" parameter: "parameter" pertama adalah kelas model (misalnya SVM, jaringan saraf, hutan acak),...
Latar Belakang Saya sedang melakukan penelitian klinis di bidang kedokteran dan telah mengikuti beberapa kursus statistik. Saya tidak pernah menerbitkan makalah menggunakan regresi linier / logistik dan ingin melakukan pemilihan variabel dengan benar. Interpretabilitas itu penting, jadi tidak ada...
Pada p. 34 dari PRNN- nya Brian Ripley berkomentar bahwa "AIC dinamai oleh Akaike (1974) sebagai 'Kriteria Informasi' walaupun tampaknya secara umum diyakini bahwa A adalah singkatan dari Akaike". Memang, ketika memperkenalkan statistik AIC, Akaike (1974, p.719) menjelaskan hal itu "IC stands for...
Dalam tulisan ini berjudul "MEMILIH ANTARA MODEL LINEAR UMUM YANG DITERAPKAN UNTUK DATA MEDIS" para penulis menulis: Dalam model linier umum, rata-rata ditransformasikan, oleh fungsi tautan, alih-alih mengubah respons itu sendiri. Dua metode transformasi dapat menghasilkan hasil yang sangat...
Apakah ada studi empiris yang membenarkan penggunaan satu aturan kesalahan standar yang mendukung kekikiran? Jelas itu tergantung pada proses data-data, tetapi apa pun yang menganalisis kumpulan data besar akan menjadi bacaan yang sangat menarik. "Satu aturan kesalahan standar" diterapkan ketika...
Saya telah menghitung AIC dan AICc untuk membandingkan dua model campuran linier umum; AIC positif dengan model 1 memiliki AIC lebih rendah daripada model 2. Namun, nilai untuk AICc keduanya negatif (model 1 masih <model 2). Apakah valid untuk menggunakan dan membandingkan nilai AICc...
Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model...
Saat ini saya sedang bekerja untuk membangun model menggunakan regresi linier berganda. Setelah mengutak-atik model saya, saya tidak yakin bagaimana cara terbaik menentukan variabel mana yang harus disimpan dan yang harus dihapus. Model saya mulai dengan 10 prediktor untuk DV. Saat menggunakan...
Ada banyak utas di CrossValidated pada topik pemilihan model dan validasi silang. Berikut ini beberapa di antaranya: Validasi silang internal vs eksternal dan pemilihan model @ DikranMarsupial ini jawaban atas untuk seleksi Fitur dan cross-validasi Namun, jawaban atas utas tersebut cukup umum...