Saya bertanya-tanya apakah ada yang tahu tentang ringkasan teknik validasi silang dengan diskusi tentang perbedaan antara mereka dan panduan tentang kapan harus menggunakan masing-masing. Wikipedia memiliki daftar teknik yang paling umum, tetapi saya ingin tahu apakah ada teknik lain, dan jika ada...
Apakah ada studi empiris yang membenarkan penggunaan satu aturan kesalahan standar yang mendukung kekikiran? Jelas itu tergantung pada proses data-data, tetapi apa pun yang menganalisis kumpulan data besar akan menjadi bacaan yang sangat menarik. "Satu aturan kesalahan standar" diterapkan ketika...
Saya telah menggunakan paket caret dalam R untuk membangun model prediksi untuk klasifikasi dan regresi. Caret menyediakan antarmuka terpadu untuk menyetel model hiper-parameter dengan validasi silang atau strapping boot. Misalnya, jika Anda sedang membangun model 'tetangga terdekat' yang sederhana...
TL, DR: Tampaknya, bertentangan dengan saran yang sering diulang, validasi silang tinggalkan-satu-keluar (LOO-CV) - yaitu,lipat CV dengan(jumlah lipatan) sama dengan(angka pengamatan pelatihan) - menghasilkan perkiraan kesalahan generalisasi yang merupakanvariabel terkecil untuk setiap, bukan...
Dalam semua konteks, saya akrab dengan validasi silang. Ini hanya digunakan dengan tujuan meningkatkan akurasi prediksi. Bisakah logika validasi silang diperluas dalam memperkirakan hubungan yang tidak memihak antar variabel? Sementara makalah ini oleh Richard Berk menunjukkan penggunaan sampel...
Saya mencoba mencari tahu metode validasi silang mana yang terbaik untuk situasi saya. Data berikut ini hanyalah contoh untuk bekerja melalui masalah (dalam R), tetapi Xdata saya yang sebenarnya ( xmat) berkorelasi satu sama lain dan berkorelasi dengan derajat yang berbeda dengan yvariabel (...
Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model...
Saya memiliki dataset yang memiliki beberapa set label biner. Untuk setiap set label, saya melatih classifier, mengevaluasinya dengan validasi silang. Saya ingin mengurangi dimensi menggunakan analisis komponen utama (PCA). Pertanyaanku adalah: Apakah mungkin untuk melakukan PCA satu kali untuk...
Mengapa prosedur validasi silang mengatasi masalah overfitting
Pertanyaan ini mungkin terlalu terbuka untuk mendapatkan jawaban yang pasti, tetapi mudah-mudahan tidak. Algoritma pembelajaran mesin, seperti SVM, GBM, Random Forest dll, umumnya memiliki beberapa parameter gratis yang, di luar beberapa pedoman praktis, perlu disetel ke setiap kumpulan data. Ini...
Ada banyak utas di CrossValidated pada topik pemilihan model dan validasi silang. Berikut ini beberapa di antaranya: Validasi silang internal vs eksternal dan pemilihan model @ DikranMarsupial ini jawaban atas untuk seleksi Fitur dan cross-validasi Namun, jawaban atas utas tersebut cukup umum...
Baru-baru ini saya menemukan makalah yang mengusulkan menggunakan pengklasifikasi k-NN pada dataset tertentu. Para penulis menggunakan semua sampel data yang tersedia untuk melakukan validasi silang k-fold untuk nilai k yang berbeda dan melaporkan hasil validasi silang dari konfigurasi...
Saya mencoba mempelajari berbagai metode validasi silang, terutama dengan maksud untuk diterapkan pada teknik analisis multivariat yang diawasi. Dua yang saya temui adalah teknik validasi silang K-fold dan Monte Carlo. Saya telah membaca bahwa K-fold adalah variasi pada Monte Carlo tetapi saya...
Saya memvalidasi silang model yang mencoba memprediksi hitungan. Jika ini adalah masalah klasifikasi biner, saya akan menghitung AUC out-of-fold, dan jika ini adalah masalah regresi saya akan menghitung RMSE atau MAE out-of-fold Untuk model Poisson, metrik kesalahan apa yang dapat saya gunakan...
Saya telah diberitahu bahwa bermanfaat untuk menggunakan validasi lintas bertingkat terutama ketika kelas respons tidak seimbang. Jika salah satu tujuan validasi silang adalah untuk membantu menjelaskan keacakan sampel data pelatihan asli kami, tentu membuat setiap lipatan memiliki distribusi kelas...
Saya punya pertanyaan tentang proses validasi silang. Saya berada di tengah-tengah kursus Pembelajaran Mesin di Cursera. Salah satu topiknya adalah tentang validasi silang. Saya merasa agak sulit untuk diikuti. Saya tahu mengapa kami membutuhkan CV karena kami ingin model kami bekerja dengan baik...
Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc =...
Dalam klasifikasi teks, saya memiliki satu set pelatihan dengan sekitar 800 sampel, dan satu set tes dengan sekitar 150 sampel. Set tes belum pernah digunakan, dan menunggu untuk digunakan sampai akhir. Saya menggunakan seluruh rangkaian pelatihan sampel 800, dengan cross 10 kali lipat memvalidasi...
Sudah terkenal, terutama dalam pemrosesan bahasa alami, bahwa pembelajaran mesin harus dilanjutkan dalam dua langkah, langkah pelatihan dan langkah evaluasi, dan mereka harus menggunakan data yang berbeda. Kenapa ini? Secara intuitif, proses ini membantu menghindari overfitting data, tetapi saya...
K-fold cross-validation dapat digunakan untuk memperkirakan kemampuan generalisasi dari classifier yang diberikan. Bisakah saya (atau harus saya) juga menghitung varians yang dikumpulkan dari semua validasi berjalan untuk mendapatkan estimasi yang lebih baik dari variansnya? Jika tidak,...