AIC sering direkomendasikan sebagai kriteria untuk membandingkan model untuk peramalan seri waktu. Lihat misalnya ini dalam konteks model regresi dinamis : AIC dapat dihitung untuk model akhir, dan nilai ini dapat digunakan untuk menentukan prediktor terbaik. Artinya, prosedur harus diulangi...
Pertanyaan saya: apakah saya harus melakukan CV bahkan untuk kumpulan data yang relatif besar? Saya memiliki satu set data yang relatif besar dan saya akan menerapkan algoritma pembelajaran mesin pada set data. Karena PC saya tidak cepat, CV (dan pencarian grid) terkadang memakan waktu terlalu...
Dalam Elemen Pembelajaran Statistik , saya menemukan pernyataan berikut: Ada satu kualifikasi: langkah penyaringan awal tanpa pengawasan dapat dilakukan sebelum sampel ditinggalkan. Sebagai contoh, kita dapat memilih 1000 prediktor dengan varians tertinggi di seluruh 50 sampel, sebelum memulai...
Dalam studi psikologi saya belajar bahwa kita harus menggunakan metode Bonferroni untuk menyesuaikan tingkat signifikansi ketika menguji beberapa hipotesis pada satu dataset. Saat ini saya sedang bekerja dengan metode pembelajaran mesin seperti Support Vector Machines atau Random Forest untuk...
Saya telah memberi label data yang terdiri dari 10.000 contoh positif, dan 50.000 contoh negatif, sehingga totalnya 60000 contoh. Jelas data ini tidak seimbang. Sekarang katakanlah saya ingin membuat set validasi saya, dan saya ingin menggunakan 10% dari data saya untuk melakukannya. Pertanyaan...
Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi...
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
Saya melatih classifier biner SVM menggunakan Scikit belajar. Karena sifat masalah saya, saya perlu menghindari negatif palsu. Karena tidak ada yang gratis, saya oke mendapatkan tingkat positif palsu yang lebih tinggi untuk mengurangi jumlah negatif palsu. Bagaimana kita bisa melakukan itu...
Saya memiliki model regresi sederhana ( y = param1 * x1 + param2 * x2 ). Ketika saya memasukkan model ke data saya, saya menemukan dua solusi yang baik: Solusi A, params = (2,7), yang terbaik pada set pelatihan dengan RMSE = 2.5 TAPI! Solusi B params = (24,20) menang besar pada set validasi ,...
Saya baru-baru ini menyaksikan pembicaraan oleh Eric J. Ma dan memeriksa entri blog - nya , di mana ia mengutip Radford Neal, bahwa model Bayesian tidak mengenakan pakaian yang berlebihan (tetapi mereka bisa mengenakan pakaian yang sesuai ) dan ketika menggunakannya, kita tidak perlu set tes untuk...
Pertanyaan saya adalah tentang validasi silang ketika ada lebih banyak variabel daripada pengamatan. Untuk memperbaiki ide, saya mengusulkan untuk membatasi kerangka klasifikasi dalam dimensi yang sangat tinggi (lebih banyak fitur daripada pengamatan). Masalah: Asumsikan bahwa untuk setiap...
Saya telah mencari ini online selama berjam-jam tetapi tidak ada posting online yang saya cari. Pertanyaan saya sangat mudah diimplementasikan dalam prosedur campuran SAS Proc tetapi saya tidak yakin bagaimana melakukannya dalam paket lme dan / atau lmer. Anggaplah, saya punya model, y= μ + α + β+...
Saya sedang mengerjakan model peramalan berbasis JST untuk seri waktu keuangan. Saya menggunakan validasi silang 5 kali lipat dan kinerja rata-rata begitu. Kinerja pada flip terakhir (iterasi di mana segmen terakhir dihilangkan dari pelatihan dan digunakan untuk validasi) lebih baik daripada...
Saya membaca tentang pertukaran ini metode heuristik untuk memperkirakan gamma untuk kernel rbf di SVM. Saya bertanya-tanya apakah seseorang mungkin bisa menjelaskannya kepada saya dengan sedikit lebih detail? Saya percaya Anda memilih 1000 (atau sejumlah besar) pasang titik data dari dataset...
Saya menggunakan dukungan vektor regresi untuk memodelkan beberapa data yang cukup miring (dengan kurtosis tinggi). Saya sudah mencoba memodelkan data secara langsung tetapi saya mendapatkan prediksi yang salah, saya pikir terutama karena distribusi data, yang condong ke kanan dengan ekor yang...
Saya telah membaca beberapa posting tentang pemilihan fitur dan validasi silang tetapi saya masih memiliki pertanyaan tentang prosedur yang benar. Misalkan saya memiliki dataset dengan 10 fitur dan saya ingin memilih fitur terbaik. Anggap saya menggunakan pengelompokan tetangga terdekat. Dapatkah...
Saya telah membaca bahwa validasi silang leave-one-out memberikan perkiraan yang relatif tidak bias tentang kinerja generalisasi yang sebenarnya (misalnya di sini ) dan bahwa ini adalah properti yang menguntungkan dari CV leave-one-out. Namun, saya tidak melihat bagaimana ini mengikuti dari...
Saya memiliki masalah regresi dengan variabel 5-6k. Saya membagi data saya menjadi 3 set yang tidak tumpang tindih: pelatihan, validasi, dan pengujian. Saya melatih hanya menggunakan set pelatihan, dan menghasilkan banyak model regresi linier yang berbeda dengan memilih serangkaian 200 variabel...
Saat ini saya menggunakan penghentian awal dalam pekerjaan saya untuk mencegah pemasangan yang berlebihan. Khususnya yang diambil dari Early Stopping But When? . Saya sekarang ingin membandingkan dengan algoritma klasifikasi lain di mana tampak bahwa 10 kali validasi silang digunakan secara...
Saya melakukan laso dan kemudian meninggalkan validasi silang keluar-keluar cv<-cv.glmnet(df, df$Price, nfolds = 1500) Ketika saya merencanakan cv saya mendapatkan yang berikut: Saya juga memperhatikan bahwa saya mendapatkan 2 lambda berbeda: lambda.mindanlambda.1se Apa perbedaan antara...