Pertama, ia memberikan probabilitas hasil. Jadi, misalnya, prediksinya untuk pemilihan AS saat ini adalah 82% Clinton vs 18% Trump. Sekarang, bahkan jika Trump menang, bagaimana saya tahu bahwa itu bukan hanya 18% dari waktu yang seharusnya dia menangkan? Masalah lainnya adalah probabilitasnya...
Saya memasang HLM Bayesian di JAGS menggunakan k-fold cross-validation (k = 5). Saya ingin tahu apakah estimasi parameter stabil di semua lipatan. Apa cara terbaik untuk melakukan ini?ββ\beta Satu ide adalah untuk menemukan perbedaan dari posteriors dari dan untuk melihat apakah 0 berada di 95% CI...
Dapatkah regularisasi bermanfaat jika kita hanya tertarik dalam memperkirakan (dan menafsirkan) parameter model, bukan dalam peramalan atau prediksi? Saya melihat bagaimana regularisasi / validasi silang sangat berguna jika tujuan Anda adalah membuat perkiraan yang baik tentang data baru. Tetapi...
Dalam buku teks dan ceramah youtube saya belajar banyak tentang model berulang seperti meningkatkan, tapi saya tidak pernah melihat apa pun tentang mendapatkan interval prediksi. Validasi silang digunakan untuk yang berikut: Pemilihan model : Coba model yang berbeda dan pilih yang paling cocok....
Saya tahu bahwa untuk mengakses kinerja classifier saya harus membagi data menjadi set pelatihan / tes. Tetapi membaca ini : Ketika mengevaluasi pengaturan yang berbeda ("hyperparameters") untuk estimator, seperti pengaturan C yang harus ditetapkan secara manual untuk SVM, masih ada risiko...
Saya menemukan utas ini melihat perbedaan antara bootstrap dan validasi silang - jawaban yang bagus dan referensi. Apa yang saya bertanya-tanya sekarang adalah, jika saya adalah untuk melakukan diulang 10 kali lipat CV katakanlah untuk menghitung akurasi classifier ini, berapa kali n harus saya...
Misalkan saya melakukan validasi silang K-fold dengan K = 10 lipatan. Akan ada satu matriks kebingungan untuk setiap lipatan. Saat melaporkan hasil, haruskah saya menghitung berapa matriks kebingungan rata-rata, atau hanya menjumlahkan matriks
Saya memiliki satu set data dengan N ~ 5000 dan sekitar 1/2 hilang pada setidaknya satu variabel penting. Metode analitik utama adalah bahaya proporsional Cox. Saya berencana untuk menggunakan beberapa imputasi. Saya juga akan membagi menjadi set kereta dan tes. Haruskah saya membagi data dan...
Saya menggunakan cv.glmnetuntuk menemukan prediktor. Pengaturan yang saya gunakan adalah sebagai
Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Tanpa...
Untuk mengkalibrasi tingkat kepercayaan ke probabilitas dalam pembelajaran yang diawasi (katakanlah untuk memetakan kepercayaan dari SVM atau pohon keputusan menggunakan data yang terlalu banyak) salah satu metode adalah dengan menggunakan Penskalaan Platt (misalnya, Memperoleh Kemungkinan yang...
Misalkan saya memiliki data yang terdistribusi normal. Untuk setiap elemen data saya ingin memeriksa berapa banyak SD yang jauh dari rata-rata. Mungkin ada pencilan dalam data (kemungkinan hanya satu, tetapi mungkin juga dua atau tiga) atau tidak, tetapi pencilan ini pada dasarnya adalah apa yang...
Pertama, permintaan maaf karena memposting pertanyaan yang telah dibahas panjang lebar di sini , di sini , di sini , di sini , di sini, dan untuk memanaskan kembali topik lama. Saya tahu @DikranMarsupial telah menulis tentang topik ini secara panjang lebar di posting dan makalah jurnal, tapi saya...
Saya menggunakan model SVM untuk melakukan peramalan jangka pendek dari polutan udara. Untuk melatih model baru, saya perlu menemukan metaparameter yang sesuai untuk model SVM (maksud saya C, gamma, dan sebagainya). Dokumentasi Libsvm (dan banyak buku lain yang telah saya baca) menyarankan...
Adakah yang bisa memberi tahu saya apa yang sebenarnya dihasilkan oleh analisis validasi silang? Apakah hanya akurasi rata-rata atau apakah itu memberikan model dengan parameter disetel? Karena, saya mendengar bahwa validasi silang digunakan untuk penyetelan
Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode
Saya telah menggunakan validasi k-fold cross berulang dan melaporkan rata-rata (dari metrik evaluasi misalnya, sensitivitas, spesifisitas) dihitung sebagai mean rata-rata di lipatan berbagai jalan validasi silang. Namun, saya tidak yakin bagaimana saya harus melaporkan varians. Saya telah...
Apakah data normalisasi (memiliki nol rata-rata dan standar deviasi kesatuan) sebelum melakukan validasi silang k-fold berulang-ulang memiliki konsekuensi negatif seperti overfitting? Catatan: ini untuk situasi di mana #cases> total #features Saya mengubah beberapa data saya menggunakan...
Saya menemukan artikel 2012 ini oleh Gitte Vanwinckelen dan Hendrik Blockeel yang mempertanyakan kegunaan berulang cross-validation, yang telah menjadi teknik populer untuk mengurangi varian cross-validation. Para penulis menunjukkan bahwa sementara validasi silang berulang mengurangi variasi...
The tanda sisipan paket perpustakaan R brilian untuk membangun beberapa model pembelajaran mesin, dan memiliki beberapa fungsi untuk model bangunan dan evaluasi. Untuk pengaturan parameter dan pelatihan model, paket caret menawarkan 'repeatcv' sebagai salah satu metode. Sebagai praktik yang baik,...