Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932...
Saya punya pertanyaan tentang optimasi parameter ketika saya menggunakan validasi silang 10 kali lipat. Saya ingin bertanya apakah parameter harus diperbaiki atau tidak selama pelatihan model setiap lipatan, yaitu (1) pilih satu set parameter yang dioptimalkan untuk akurasi rata-rata setiap...
Saya sedang melakukan validasi silang menggunakan metode leave-one-out. Saya memiliki respons biner dan saya menggunakan paket boot untuk R, dan fungsi cv.glm . Masalah saya adalah saya tidak sepenuhnya memahami bagian "biaya" dalam fungsi ini. Dari apa yang saya mengerti ini adalah fungsi yang...
Pertanyaan utama saya adalah tentang mencoba memahami bagaimana k-fold cross-validation cocok dalam konteks memiliki pelatihan / validasi / pengujian set (jika cocok sama sekali dalam konteks seperti itu). Biasanya, orang berbicara tentang memecah data menjadi set pelatihan, validasi dan pengujian...
Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Sekarang saya memiliki Rkerangka data (pelatihan), adakah yang bisa memberi tahu saya cara
Saya telah mendengar ungkapan berikut sebelumnya: "Optimasi adalah akar dari semua kejahatan dalam statistik". Sebagai contoh, jawaban teratas di utas ini membuat pernyataan itu mengacu pada bahaya mengoptimalkan terlalu agresif selama pemilihan model. Pertanyaan pertama saya adalah sebagai...
Saya sedang menyusun tinjauan literatur tentang masalah kesehatan masyarakat saat ini di mana data dikacaukan: Apa saja studi kasus sejarah umum yang digunakan dalam pendidikan kesehatan / epidemiologi publik di mana hubungan atau kesimpulan yang tidak benar atau membingungkan secara sengaja atau...
Scikit memiliki CalibratedClassifierCV , yang memungkinkan kita untuk mengkalibrasi model kita pada pasangan X, y tertentu. Ini juga menyatakan dengan jelas itudata for fitting the classifier and for calibrating it must be disjoint. Jika mereka harus dipisahkan, apakah sah untuk melatih...
Saya telah menjelajahi berbagai utas di sini, tetapi saya rasa pertanyaan saya yang sebenarnya tidak dijawab. Saya memiliki dataset ~ 50.000 siswa dan waktu mereka untuk putus sekolah. Saya akan melakukan regresi bahaya proporsional dengan sejumlah besar kovariat potensial. Saya juga akan...
Tampaknya ada saran yang bertentangan di luar sana tentang bagaimana menangani membandingkan kesalahan kereta vs tes, terutama ketika ada kesenjangan antara keduanya. Tampaknya ada dua aliran pemikiran yang bagi saya, tampaknya bertentangan. Saya ingin memahami cara mendamaikan keduanya (atau...
Halaman Scikit Learn pada Seleksi Model menyebutkan penggunaan validasi silang bersarang: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Dua loop validasi silang dilakukan...
Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa...
Saya rasa saya mengerti bagaimana dasar-dasar bootstrap bekerja, tapi saya tidak yakin saya mengerti bagaimana saya bisa menggunakan bootstrap untuk pemilihan model atau untuk menghindari overfitting. Untuk pemilihan model, misalnya, apakah Anda hanya memilih model yang menghasilkan kesalahan...
Bisakah seseorang menjelaskan model Cox saya kepada saya dalam bahasa Inggris? Saya memasang model regresi Cox berikut untuk semua data saya menggunakan cphfungsi. Data saya disimpan di objek yang disebut Data. Variabel w,, xdan ykontinu; zadalah faktor dua level. Waktu diukur dalam bulan....
Saya menggunakan scikit-belajar untuk melakukan regresi logistik dengan crossvalidation pada set data (sekitar 14 parameter dengan> 7000 pengamatan normal). Saya juga memiliki target classifier yang memiliki nilai 1 atau 0. Masalah yang saya miliki adalah bahwa terlepas dari pemecah yang...
Misalkan saya punya pemisahan 80/20 antara pemodelan / pengamatan validasi. Saya telah memasukkan model ke set data pemodelan, dan saya merasa nyaman dengan kesalahan yang saya lihat pada set data validasi. Sebelum saya meluncurkan model saya untuk menilai pengamatan di masa depan, apakah pantas...
Saat melakukan validasi silang k-fold, saya memahami bahwa Anda memperoleh metrik akurasi dengan mengarahkan semua lipatan kecuali satu lipatan pada satu lipatan dan membuat prediksi, lalu ulangi proses ini kali. Anda kemudian dapat menjalankan metrik akurasi pada semua instance Anda (presisi,...
Ketika kami menilai kualitas Hutan Acak, misalnya menggunakan AUC, apakah lebih tepat untuk menghitung jumlah ini di atas Sampel Luar Tas atau lebih dari seperangkat validasi silang tahan? Saya mendengar bahwa menghitungnya melalui Sampel OOB memberikan penilaian yang lebih pesimistis, tetapi saya...
Saya baru saja menyelesaikan "Pengantar Pembelajaran Statistik" . Saya bertanya-tanya apakah menggunakan cross-validation untuk menemukan parameter tuning terbaik untuk berbagai teknik pembelajaran mesin berbeda dari pengintaian data? Kami berulang kali memeriksa nilai parameter tuning mana yang...
Saya mencoba untuk menulis fungsi saya sendiri untuk analisis komponen utama, PCA (tentu saja sudah banyak yang ditulis tetapi saya hanya tertarik untuk mengimplementasikan hal-hal sendiri). Masalah utama yang saya temui adalah langkah validasi silang dan menghitung prediksi jumlah kuadrat (PRESS)....