Saya menemukan utas ini melihat perbedaan antara bootstrap dan validasi silang - jawaban yang bagus dan referensi. Apa yang saya bertanya-tanya sekarang adalah, jika saya adalah untuk melakukan diulang 10 kali lipat CV katakanlah untuk menghitung akurasi classifier ini, berapa kali n harus saya...
Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Tanpa...
Saya menggunakan cv.glmnetuntuk menemukan prediktor. Pengaturan yang saya gunakan adalah sebagai
Misalkan saya melakukan validasi silang K-fold dengan K = 10 lipatan. Akan ada satu matriks kebingungan untuk setiap lipatan. Saat melaporkan hasil, haruskah saya menghitung berapa matriks kebingungan rata-rata, atau hanya menjumlahkan matriks
Untuk mengkalibrasi tingkat kepercayaan ke probabilitas dalam pembelajaran yang diawasi (katakanlah untuk memetakan kepercayaan dari SVM atau pohon keputusan menggunakan data yang terlalu banyak) salah satu metode adalah dengan menggunakan Penskalaan Platt (misalnya, Memperoleh Kemungkinan yang...
Pertama, permintaan maaf karena memposting pertanyaan yang telah dibahas panjang lebar di sini , di sini , di sini , di sini , di sini, dan untuk memanaskan kembali topik lama. Saya tahu @DikranMarsupial telah menulis tentang topik ini secara panjang lebar di posting dan makalah jurnal, tapi saya...
Saya menggunakan model SVM untuk melakukan peramalan jangka pendek dari polutan udara. Untuk melatih model baru, saya perlu menemukan metaparameter yang sesuai untuk model SVM (maksud saya C, gamma, dan sebagainya). Dokumentasi Libsvm (dan banyak buku lain yang telah saya baca) menyarankan...
Misalkan saya memiliki data yang terdistribusi normal. Untuk setiap elemen data saya ingin memeriksa berapa banyak SD yang jauh dari rata-rata. Mungkin ada pencilan dalam data (kemungkinan hanya satu, tetapi mungkin juga dua atau tiga) atau tidak, tetapi pencilan ini pada dasarnya adalah apa yang...
Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode
Adakah yang bisa memberi tahu saya apa yang sebenarnya dihasilkan oleh analisis validasi silang? Apakah hanya akurasi rata-rata atau apakah itu memberikan model dengan parameter disetel? Karena, saya mendengar bahwa validasi silang digunakan untuk penyetelan
Saya telah menggunakan validasi k-fold cross berulang dan melaporkan rata-rata (dari metrik evaluasi misalnya, sensitivitas, spesifisitas) dihitung sebagai mean rata-rata di lipatan berbagai jalan validasi silang. Namun, saya tidak yakin bagaimana saya harus melaporkan varians. Saya telah...
Jika Anda memasukkan fungsi non linear ke satu set poin (dengan asumsi hanya ada satu ordinat untuk setiap absis) hasilnya dapat berupa: fungsi yang sangat kompleks dengan residu kecil fungsi yang sangat sederhana dengan residu besar Validasi silang umumnya digunakan untuk menemukan kompromi...
The tanda sisipan paket perpustakaan R brilian untuk membangun beberapa model pembelajaran mesin, dan memiliki beberapa fungsi untuk model bangunan dan evaluasi. Untuk pengaturan parameter dan pelatihan model, paket caret menawarkan 'repeatcv' sebagai salah satu metode. Sebagai praktik yang baik,...
Apakah data normalisasi (memiliki nol rata-rata dan standar deviasi kesatuan) sebelum melakukan validasi silang k-fold berulang-ulang memiliki konsekuensi negatif seperti overfitting? Catatan: ini untuk situasi di mana #cases> total #features Saya mengubah beberapa data saya menggunakan...
Saya memiliki dataset 120 sampel dalam pengaturan validasi silang 10 kali lipat. Saat ini, saya memilih data pelatihan dari ketidaksepakatan pertama dan melakukan validasi silang 5 kali lipat untuk memilih nilai-nilai gamma dan C dengan pencarian kotak. Saya menggunakan SVM dengan kernel RBF....
Saya telah membaca posting berikut untuk validasi silang bersarang dan masih belum 100% yakin apa yang harus saya lakukan dengan pemilihan model dengan validasi silang bersarang: Validasi silang bersarang untuk pemilihan model Pemilihan model dan validasi silang: Cara yang benar Untuk...
Saya menemukan artikel 2012 ini oleh Gitte Vanwinckelen dan Hendrik Blockeel yang mempertanyakan kegunaan berulang cross-validation, yang telah menjadi teknik populer untuk mengurangi varian cross-validation. Para penulis menunjukkan bahwa sementara validasi silang berulang mengurangi variasi...
Saya baru saja menonton ulang kuliah dari kursus Machine Learning on Coursera. Di bagian di mana profesor membahas PCA untuk pra-pemrosesan data dalam aplikasi pembelajaran yang diawasi, ia mengatakan PCA hanya boleh dilakukan pada data pelatihan dan kemudian pemetaan digunakan untuk mengubah...
Saya sangat baru dalam analisis data fungsional (FDA). Saya membaca: Ramsay, James O., dan Silverman, Bernard W. (2006), Analisis Data Fungsional, edisi ke-2, Springer, New York. Namun, saya masih belum begitu jelas di mana / kapan harus menggunakan FDA? Bisakah seseorang tolong beri saya...
"Bootstrap validation" / "resampling cross-validation" adalah hal baru bagi saya, tetapi telah dibahas oleh jawaban untuk pertanyaan ini . Saya mengumpulkannya melibatkan 2 jenis data: data nyata dan data simulasi, di mana satu set data simulasi yang dihasilkan dihasilkan dari data nyata dengan...