Halaman Scikit Learn pada Seleksi Model menyebutkan penggunaan validasi silang bersarang: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Dua loop validasi silang dilakukan...
Scikit memiliki CalibratedClassifierCV , yang memungkinkan kita untuk mengkalibrasi model kita pada pasangan X, y tertentu. Ini juga menyatakan dengan jelas itudata for fitting the classifier and for calibrating it must be disjoint. Jika mereka harus dipisahkan, apakah sah untuk melatih...
Pemahaman umum saya adalah AIC berkaitan dengan pertukaran antara kebaikan model dan kompleksitas model. A IC= 2 k - 2 l n ( L )SEBUAHsayaC=2k-2ln(L)AIC =2k -2ln(L) = jumlah parameter dalam modelkkk = kemungkinanLLL Kriteria informasi Bayesian BIC terkait erat dengan AIC. AIC menghukum jumlah...
Saya rasa saya mengerti bagaimana dasar-dasar bootstrap bekerja, tapi saya tidak yakin saya mengerti bagaimana saya bisa menggunakan bootstrap untuk pemilihan model atau untuk menghindari overfitting. Untuk pemilihan model, misalnya, apakah Anda hanya memilih model yang menghasilkan kesalahan...
Bisakah seseorang menjelaskan model Cox saya kepada saya dalam bahasa Inggris? Saya memasang model regresi Cox berikut untuk semua data saya menggunakan cphfungsi. Data saya disimpan di objek yang disebut Data. Variabel w,, xdan ykontinu; zadalah faktor dua level. Waktu diukur dalam bulan....
Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa...
Saya menggunakan scikit-belajar untuk melakukan regresi logistik dengan crossvalidation pada set data (sekitar 14 parameter dengan> 7000 pengamatan normal). Saya juga memiliki target classifier yang memiliki nilai 1 atau 0. Masalah yang saya miliki adalah bahwa terlepas dari pemecah yang...
Ketika kami menilai kualitas Hutan Acak, misalnya menggunakan AUC, apakah lebih tepat untuk menghitung jumlah ini di atas Sampel Luar Tas atau lebih dari seperangkat validasi silang tahan? Saya mendengar bahwa menghitungnya melalui Sampel OOB memberikan penilaian yang lebih pesimistis, tetapi saya...
Saat melakukan validasi silang k-fold, saya memahami bahwa Anda memperoleh metrik akurasi dengan mengarahkan semua lipatan kecuali satu lipatan pada satu lipatan dan membuat prediksi, lalu ulangi proses ini kali. Anda kemudian dapat menjalankan metrik akurasi pada semua instance Anda (presisi,...
Saya mencoba untuk menulis fungsi saya sendiri untuk analisis komponen utama, PCA (tentu saja sudah banyak yang ditulis tetapi saya hanya tertarik untuk mengimplementasikan hal-hal sendiri). Masalah utama yang saya temui adalah langkah validasi silang dan menghitung prediksi jumlah kuadrat (PRESS)....
Saya baru saja menyelesaikan "Pengantar Pembelajaran Statistik" . Saya bertanya-tanya apakah menggunakan cross-validation untuk menemukan parameter tuning terbaik untuk berbagai teknik pembelajaran mesin berbeda dari pengintaian data? Kami berulang kali memeriksa nilai parameter tuning mana yang...
Saya mencoba memahami validasi silang untuk regresi logistik ordinal. Tujuan permainan ini adalah untuk memvalidasi model yang digunakan dalam analisis ... Saya pertama kali membuat kumpulan data mainan: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <-...
Catatan: pertanyaan ini adalah repost, karena pertanyaan saya sebelumnya harus dihapus karena alasan hukum. Sambil membandingkan PROC CAMPURAN dari SAS dengan fungsi lmedari nlmepaket di R, saya menemukan beberapa perbedaan yang agak membingungkan. Lebih khusus lagi, derajat kebebasan dalam...
Pertanyaannya: Bootstrapping lebih unggul daripada jackknifing; Namun, saya bertanya-tanya apakah ada contoh di mana jackknifing adalah satu-satunya atau setidaknya pilihan yang layak untuk mengkarakterisasi ketidakpastian dari estimasi parameter. Juga, dalam situasi praktis bagaimana bias / tidak...
Saya menyiapkan pencarian grid untuk sekelompok params. Saya mencoba mencari parameter terbaik untuk jaring neural Keras yang melakukan klasifikasi biner. Outputnya adalah 1 atau 0. Ada sekitar 200 fitur. Ketika saya melakukan pencarian kotak, saya mendapat banyak model dan parameternya. Model...
Saat ini, saya mencoba untuk menganalisis dataset dokumen teks yang tidak memiliki kebenaran dasar. Saya diberitahu bahwa Anda dapat menggunakan validasi silang k-fold untuk membandingkan berbagai metode pengelompokan. Namun, contoh-contoh yang saya lihat di masa lalu menggunakan kebenaran dasar....
Apa cara untuk memilih kernel apa yang akan menghasilkan pemisahan data yang baik dalam output data akhir oleh kernel PCA (analisis komponen utama), dan apa saja cara untuk mengoptimalkan parameter kernel? Istilah awam jika memungkinkan akan sangat dihargai, dan tautan ke makalah yang menjelaskan...
Untuk penelitian saya saat ini, saya menggunakan metode Lasso melalui paket glmnet di R pada variabel dependen binomial. Dalam glmnet lambda optimal ditemukan melalui validasi silang dan model yang dihasilkan dapat dibandingkan dengan berbagai tindakan, misalnya kesalahan klasifikasi atau...
Apakah ada interpretasi silang validasi Bayesian, ML atau MDL? Bisakah saya mengartikan validasi silang sebagai melakukan pembaruan yang benar pada sebelumnya dibuat
Bermain-main dengan Boston Housing Dataset dan RandomForestRegressor(parameter w / default) di scikit-belajar, saya melihat sesuatu yang aneh: skor validasi silang menurun ketika saya meningkatkan jumlah lipatan di atas 10. Strategi validasi silang saya adalah sebagai berikut: cv_met =...