Berulang kali menahan subset data selama pemasangan model untuk mengukur kinerja model pada subset data yang ditahan.
AIC dan BIC adalah kedua metode menilai model yang dikenakan sanksi untuk jumlah parameter yang diestimasi. Seperti yang saya pahami, BIC menghukum model lebih banyak untuk parameter gratis daripada AIC. Di luar preferensi berdasarkan ketatnya kriteria, apakah ada alasan lain untuk memilih AIC...
Saya bertanya-tanya bagaimana cara memilih model prediktif setelah melakukan validasi silang K-fold. Ini mungkin ungkapan yang aneh, jadi izinkan saya menjelaskan lebih detail: setiap kali saya menjalankan validasi silang K-fold, saya menggunakan subset K dari data pelatihan, dan berakhir dengan...
Apakah selalu ide yang baik untuk berlatih dengan dataset lengkap setelah cross-validation ? Kata lain, itu ok untuk melatih dengan semua sampel dalam dataset saya dan tidak bisa memeriksa apakah ini pas tertentu overfits ? Beberapa latar belakang masalah: Katakanlah saya memiliki keluarga...
Saya telah menggunakan KKK ganda lintas validasi beberapa kali sekarang untuk mengevaluasi kinerja beberapa algoritma belajar, tapi aku selalu bingung bagaimana aku harus memilih nilai .KKK Saya sering melihat dan menggunakan nilai K= 10K=10K = 10 , tetapi ini tampaknya benar-benar sewenang-wenang...
Saya ingin pemikiran Anda tentang perbedaan antara validasi silang dan bootstrap untuk memperkirakan kesalahan prediksi. Apakah seseorang bekerja lebih baik untuk ukuran dataset kecil atau dataset
Bagaimana cara menggunakan validasi silang bersarang untuk pemilihan model ? Dari apa yang saya baca online, CV bersarang berfungsi sebagai berikut: Ada loop CV dalam, di mana kami dapat melakukan pencarian grid (misalnya menjalankan K-fold untuk setiap model yang tersedia, misalnya kombinasi...
Bagaimana metode validasi silang berbeda dibandingkan dalam hal varian model dan bias? Pertanyaan saya sebagian dimotivasi oleh utas ini: Jumlah lipatan yang optimal dalam validasi silang lipat: apakah CV cuti-keluar-selalu merupakan pilihan terbaik? KKKK. Jawaban di sana menunjukkan bahwa model...
Bagaimana Anda menggambarkan validasi silang kepada seseorang tanpa latar belakang analisis
Saya agak bingung tentang pemilihan fitur dan pembelajaran mesin dan saya bertanya-tanya apakah Anda dapat membantu saya. Saya memiliki dataset microarray yang diklasifikasikan ke dalam dua kelompok dan memiliki ribuan fitur. Tujuan saya adalah mendapatkan sejumlah kecil gen (fitur saya) (10-20)...
Saya baru-baru ini banyak membaca di situs ini (@Aniko, @Dikran Marsupial, @Erik) dan di tempat lain tentang masalah overfitting yang terjadi dengan validasi silang - (Smialowski dkk 2010 Bioinformatika, Hastie, Elemen pembelajaran statistik). Sarannya adalah bahwa setiap pemilihan fitur yang...
Pertanyaan: Saya ingin memastikan sesuatu, apakah penggunaan k-fold cross-validation dengan deret waktu sangat mudah, atau apakah orang perlu memberi perhatian khusus sebelum menggunakannya? Latar Belakang: Saya memodelkan serangkaian waktu 6 tahun (dengan rantai semi-markov), dengan sampel data...
Apa strategi yang tepat untuk memisahkan dataset? Saya meminta umpan balik pada pendekatan berikut (tidak pada parameter individu seperti test_sizeatau n_iter, tetapi jika saya menggunakan X, y, X_train, y_train, X_test, dan y_testtepat dan jika urutan masuk akal): (memperluas contoh ini dari...
Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan...
Misalkan kita memiliki seseorang yang membangun model prediktif, tetapi seseorang belum tentu berpengalaman dalam prinsip-prinsip statistik atau pembelajaran mesin yang tepat. Mungkin kita membantu orang itu saat mereka sedang belajar, atau mungkin orang itu menggunakan semacam paket perangkat...
Saya menemukan dua pertanyaan di sini dan di sini tentang masalah ini tetapi belum ada jawaban atau penjelasan yang jelas. Saya menegakkan masalah yang sama di mana kesalahan validasi kurang dari kesalahan pelatihan di Jaringan Neural Konvolusi saya. Apa
Apa perbedaan antara validasi silang bertingkat dan validasi silang ? Wikipedia mengatakan: Dalam stratifikasi k-fold cross-validation , lipatan dipilih sehingga nilai respons rata-rata hampir sama di semua lipatan. Dalam kasus klasifikasi dikotomis, ini berarti bahwa setiap lipatan berisi...
Dalam pembelajaran statistik, secara implisit atau eksplisit, seseorang selalu mengasumsikan bahwa set pelatihan terdiri dari input input / respon yang diambil secara independen dari distribusi gabungan yang sama denganD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y}
Bagi saya, tampaknya validasi tahan tidak berguna. Yaitu, memisahkan dataset asli menjadi dua bagian (pelatihan dan pengujian) dan menggunakan skor pengujian sebagai ukuran generalisasi, agak tidak berguna. K-fold cross-validation tampaknya memberikan perkiraan yang lebih baik dari generalisasi...
Apakah saya mengubah semua data atau lipatan saya (jika CV diterapkan) secara bersamaan? misalnya (allData - mean(allData)) / sd(allData) Apakah saya mengubah trainset dan testset secara terpisah? misalnya (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) /...
Selain pertimbangan daya komputasi, adakah alasan untuk meyakini bahwa meningkatkan jumlah lipatan dalam validasi silang mengarah pada pemilihan model yang lebih baik / validasi (yaitu bahwa semakin tinggi jumlah lipatan semakin baik)? Mengambil argumen ke ekstrem, apakah validasi silang...