Pertanyaan saya: apakah saya harus melakukan CV bahkan untuk kumpulan data yang relatif besar? Saya memiliki satu set data yang relatif besar dan saya akan menerapkan algoritma pembelajaran mesin pada set data. Karena PC saya tidak cepat, CV (dan pencarian grid) terkadang memakan waktu terlalu...
Dalam Elemen Pembelajaran Statistik , saya menemukan pernyataan berikut: Ada satu kualifikasi: langkah penyaringan awal tanpa pengawasan dapat dilakukan sebelum sampel ditinggalkan. Sebagai contoh, kita dapat memilih 1000 prediktor dengan varians tertinggi di seluruh 50 sampel, sebelum memulai...
Dalam studi psikologi saya belajar bahwa kita harus menggunakan metode Bonferroni untuk menyesuaikan tingkat signifikansi ketika menguji beberapa hipotesis pada satu dataset. Saat ini saya sedang bekerja dengan metode pembelajaran mesin seperti Support Vector Machines atau Random Forest untuk...
Saya telah memberi label data yang terdiri dari 10.000 contoh positif, dan 50.000 contoh negatif, sehingga totalnya 60000 contoh. Jelas data ini tidak seimbang. Sekarang katakanlah saya ingin membuat set validasi saya, dan saya ingin menggunakan 10% dari data saya untuk melakukannya. Pertanyaan...
Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi...
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
Saya melatih classifier biner SVM menggunakan Scikit belajar. Karena sifat masalah saya, saya perlu menghindari negatif palsu. Karena tidak ada yang gratis, saya oke mendapatkan tingkat positif palsu yang lebih tinggi untuk mengurangi jumlah negatif palsu. Bagaimana kita bisa melakukan itu...
Saya memiliki model regresi sederhana ( y = param1 * x1 + param2 * x2 ). Ketika saya memasukkan model ke data saya, saya menemukan dua solusi yang baik: Solusi A, params = (2,7), yang terbaik pada set pelatihan dengan RMSE = 2.5 TAPI! Solusi B params = (24,20) menang besar pada set validasi ,...
Saya baru-baru ini menyaksikan pembicaraan oleh Eric J. Ma dan memeriksa entri blog - nya , di mana ia mengutip Radford Neal, bahwa model Bayesian tidak mengenakan pakaian yang berlebihan (tetapi mereka bisa mengenakan pakaian yang sesuai ) dan ketika menggunakannya, kita tidak perlu set tes untuk...
Saya telah mencari ini online selama berjam-jam tetapi tidak ada posting online yang saya cari. Pertanyaan saya sangat mudah diimplementasikan dalam prosedur campuran SAS Proc tetapi saya tidak yakin bagaimana melakukannya dalam paket lme dan / atau lmer. Anggaplah, saya punya model, y= μ + α + β+...
Saya sedang mengerjakan model peramalan berbasis JST untuk seri waktu keuangan. Saya menggunakan validasi silang 5 kali lipat dan kinerja rata-rata begitu. Kinerja pada flip terakhir (iterasi di mana segmen terakhir dihilangkan dari pelatihan dan digunakan untuk validasi) lebih baik daripada...
Saya membaca tentang pertukaran ini metode heuristik untuk memperkirakan gamma untuk kernel rbf di SVM. Saya bertanya-tanya apakah seseorang mungkin bisa menjelaskannya kepada saya dengan sedikit lebih detail? Saya percaya Anda memilih 1000 (atau sejumlah besar) pasang titik data dari dataset...
Saya menggunakan dukungan vektor regresi untuk memodelkan beberapa data yang cukup miring (dengan kurtosis tinggi). Saya sudah mencoba memodelkan data secara langsung tetapi saya mendapatkan prediksi yang salah, saya pikir terutama karena distribusi data, yang condong ke kanan dengan ekor yang...
Kami memiliki kumpulan data kecil (sekitar 250 sampel * 100 fitur) yang kami inginkan untuk membangun klasifikasi biner setelah memilih subset fitur terbaik. Katakanlah bahwa kita mempartisi data menjadi: Pelatihan, Validasi dan Pengujian Untuk pemilihan fitur, kami menerapkan model pembungkus...
Saya telah membaca bahwa validasi silang leave-one-out memberikan perkiraan yang relatif tidak bias tentang kinerja generalisasi yang sebenarnya (misalnya di sini ) dan bahwa ini adalah properti yang menguntungkan dari CV leave-one-out. Namun, saya tidak melihat bagaimana ini mengikuti dari...
Saya memiliki masalah regresi dengan variabel 5-6k. Saya membagi data saya menjadi 3 set yang tidak tumpang tindih: pelatihan, validasi, dan pengujian. Saya melatih hanya menggunakan set pelatihan, dan menghasilkan banyak model regresi linier yang berbeda dengan memilih serangkaian 200 variabel...
Saya memiliki satu set data kecil yang tidak seimbang (70 positif, 30 negatif), dan saya telah bermain-main dengan pemilihan model untuk parameter SVM menggunakan BAC (akurasi seimbang) dan AUC (area di bawah kurva). Saya menggunakan bobot kelas yang berbeda untuk parameter C di libSVM untuk...
Saat ini saya menggunakan penghentian awal dalam pekerjaan saya untuk mencegah pemasangan yang berlebihan. Khususnya yang diambil dari Early Stopping But When? . Saya sekarang ingin membandingkan dengan algoritma klasifikasi lain di mana tampak bahwa 10 kali validasi silang digunakan secara...
Saya melakukan laso dan kemudian meninggalkan validasi silang keluar-keluar cv<-cv.glmnet(df, df$Price, nfolds = 1500) Ketika saya merencanakan cv saya mendapatkan yang berikut: Saya juga memperhatikan bahwa saya mendapatkan 2 lambda berbeda: lambda.mindanlambda.1se Apa perbedaan antara...
Secara umum, jika kita memiliki dataset besar, kita dapat membaginya menjadi (1) pelatihan, (2) validasi, dan (3) tes. Kami menggunakan validasi untuk mengidentifikasi hyperparameter terbaik dalam validasi silang (misalnya, C dalam SVM) dan kemudian kami melatih model menggunakan hyperparameter...