Kami memiliki satu set sampel biologis yang cukup mahal untuk diperoleh. Kami menempatkan sampel ini melalui serangkaian tes untuk menghasilkan data yang digunakan untuk membangun model prediksi. Untuk tujuan ini kami telah membagi sampel ke set pelatihan (70%) dan pengujian (30%). Kami telah...
Rekan saya dan saya sedang menyesuaikan serangkaian model efek campuran linier dan nonlinear dalam R. Kami diminta untuk melakukan validasi silang pada model yang dipasang sehingga orang dapat memverifikasi bahwa efek yang diamati relatif dapat digeneralisasikan. Ini biasanya tugas yang sepele,...
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung...
Dalam kuadrat terkecil biasa, regresi vektor target terhadap seperangkat prediktor , matriks topi dihitung sebagaiyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t dan PRESS (prediksi jumlah residu kuadrat) dihitung oleh SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Saya punya pertanyaan tentang pemilihan model dan kinerja model dalam regresi logistik. Saya memiliki tiga model yang didasarkan pada tiga hipotesis berbeda. Dua model pertama (beri nama z dan x) hanya memiliki satu variabel penjelas di setiap model, dan yang ketiga (beri nama w) lebih rumit. Saya...
Saya menerapkan validasi silang dan penghitungan metrik kesalahan seperti RMSE, , MAE, MSE, dll.R2R2R^2 Bisakah RMSE dan MAE memiliki nilai yang
Saya melatih classifier biner SVM menggunakan Scikit belajar. Karena sifat masalah saya, saya perlu menghindari negatif palsu. Karena tidak ada yang gratis, saya oke mendapatkan tingkat positif palsu yang lebih tinggi untuk mengurangi jumlah negatif palsu. Bagaimana kita bisa melakukan itu...
Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi...
Ini mungkin pertanyaan yang konyol, tetapi ketika membuat model dengan tanda sisipan dan menggunakan sesuatu seperti LOOCVatau (bahkan lebih tepatnya) LGOCV, apa manfaat membagi data ke dalam kereta dan set tes jika ini pada dasarnya merupakan langkah validasi silang ngomong-ngomong Saya membaca...
Buku teks saya tentang validasi silang adalah Elemen Pembelajaran Statistik oleh Hastie et al. (2nd ed.). Di bagian 7.10.1 dan 7.12, mereka berbicara tentang perbedaan antara kesalahan pengujian bersyarat dan tes yang diharapkan kesalahan Di sini adalah kumpulan data pelatihan, adalah fungsi...
Dalam halaman Wikipedia ini di sub-bagian untuk validasi silang K-fold dikatakan "Dalam validasi silang k-fold, sampel asli dipartisi secara acak menjadi k sebagai subsampel dengan ukuran yang sama. Dari sampel k, subsampel tunggal dipertahankan sebagai data validasi untuk menguji model, dan sisa...
Saya menyadari bahwa ada 3 parameter penyetelan dalam model meningkatkan pohon, yaitu jumlah pohon (jumlah iterasi) parameter penyusutan jumlah pemisahan (ukuran masing-masing pohon penyusun) Pertanyaan saya adalah: untuk setiap parameter penyetelan, bagaimana saya harus menemukan nilai...
Dalam Random Forest, masing-masing pohon ditanam secara paralel pada sampel pendamping data yang unik. Karena setiap sampel boostrap diharapkan mengandung sekitar 63% dari pengamatan unik, ini menyisakan sekitar 37% dari pengamatan, yang dapat digunakan untuk menguji pohon. Sekarang, tampaknya...
Saya memiliki beberapa model prediktif yang kinerjanya ingin saya uji kembali (yaitu, ambil dataset saya, "putar kembali" ke titik waktu sebelumnya, dan lihat bagaimana model tersebut akan tampil secara prospektif). Masalahnya adalah bahwa beberapa model saya dibangun melalui proses interaktif....
Ketika menggunakan k-fold CV untuk memilih di antara model regresi, saya biasanya menghitung kesalahan CV secara terpisah untuk masing-masing model, bersama dengan kesalahan standar SE, dan saya memilih model paling sederhana dalam 1 SE dari model dengan kesalahan CV terendah (1 aturan kesalahan...
Saya telah membaca pengklasifikasi aljabar: pendekatan umum untuk validasi silang cepat, pelatihan online, dan pelatihan paralel dan kagum dengan kinerja algoritma yang diturunkan. Namun, tampaknya di luar Naif Bayes (dan GBM) tidak ada banyak algoritma yang disesuaikan dengan kerangka...
AIC sering direkomendasikan sebagai kriteria untuk membandingkan model untuk peramalan seri waktu. Lihat misalnya ini dalam konteks model regresi dinamis : AIC dapat dihitung untuk model akhir, dan nilai ini dapat digunakan untuk menentukan prediktor terbaik. Artinya, prosedur harus diulangi...
Pertanyaan saya: apakah saya harus melakukan CV bahkan untuk kumpulan data yang relatif besar? Saya memiliki satu set data yang relatif besar dan saya akan menerapkan algoritma pembelajaran mesin pada set data. Karena PC saya tidak cepat, CV (dan pencarian grid) terkadang memakan waktu terlalu...
Dalam Elemen Pembelajaran Statistik , saya menemukan pernyataan berikut: Ada satu kualifikasi: langkah penyaringan awal tanpa pengawasan dapat dilakukan sebelum sampel ditinggalkan. Sebagai contoh, kita dapat memilih 1000 prediktor dengan varians tertinggi di seluruh 50 sampel, sebelum memulai...