Rekan saya dan saya sedang menyesuaikan serangkaian model efek campuran linier dan nonlinear dalam R. Kami diminta untuk melakukan validasi silang pada model yang dipasang sehingga orang dapat memverifikasi bahwa efek yang diamati relatif dapat digeneralisasikan. Ini biasanya tugas yang sepele,...
Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung...
Dalam kuadrat terkecil biasa, regresi vektor target terhadap seperangkat prediktor , matriks topi dihitung sebagaiyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t dan PRESS (prediksi jumlah residu kuadrat) dihitung oleh SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati dari empat acara saya (18) saya dapat...
Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi...
Ini mungkin pertanyaan yang konyol, tetapi ketika membuat model dengan tanda sisipan dan menggunakan sesuatu seperti LOOCVatau (bahkan lebih tepatnya) LGOCV, apa manfaat membagi data ke dalam kereta dan set tes jika ini pada dasarnya merupakan langkah validasi silang ngomong-ngomong Saya membaca...
Saya memiliki model regresi sederhana ( y = param1 * x1 + param2 * x2 ). Ketika saya memasukkan model ke data saya, saya menemukan dua solusi yang baik: Solusi A, params = (2,7), yang terbaik pada set pelatihan dengan RMSE = 2.5 TAPI! Solusi B params = (24,20) menang besar pada set validasi ,...
Buku teks saya tentang validasi silang adalah Elemen Pembelajaran Statistik oleh Hastie et al. (2nd ed.). Di bagian 7.10.1 dan 7.12, mereka berbicara tentang perbedaan antara kesalahan pengujian bersyarat dan tes yang diharapkan kesalahan Di sini adalah kumpulan data pelatihan, adalah fungsi...
Saya menerapkan validasi silang dan penghitungan metrik kesalahan seperti RMSE, , MAE, MSE, dll.R2R2R^2 Bisakah RMSE dan MAE memiliki nilai yang
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
Saya menyadari bahwa ada 3 parameter penyetelan dalam model meningkatkan pohon, yaitu jumlah pohon (jumlah iterasi) parameter penyusutan jumlah pemisahan (ukuran masing-masing pohon penyusun) Pertanyaan saya adalah: untuk setiap parameter penyetelan, bagaimana saya harus menemukan nilai...
Misalkan dalam analisis regresi dalam R, saya memiliki jenis variabel variabel independen dengan 3 level dalam dataset kereta saya. Tetapi dalam data uji mengatur bahwa variabel faktor yang sama memiliki 5 level. Oleh karena itu saya tidak dapat memprediksi nilai respons untuk dataset uji. Apa yang...
Dalam Random Forest, masing-masing pohon ditanam secara paralel pada sampel pendamping data yang unik. Karena setiap sampel boostrap diharapkan mengandung sekitar 63% dari pengamatan unik, ini menyisakan sekitar 37% dari pengamatan, yang dapat digunakan untuk menguji pohon. Sekarang, tampaknya...
Saya memiliki beberapa model prediktif yang kinerjanya ingin saya uji kembali (yaitu, ambil dataset saya, "putar kembali" ke titik waktu sebelumnya, dan lihat bagaimana model tersebut akan tampil secara prospektif). Masalahnya adalah bahwa beberapa model saya dibangun melalui proses interaktif....
Ketika menggunakan k-fold CV untuk memilih di antara model regresi, saya biasanya menghitung kesalahan CV secara terpisah untuk masing-masing model, bersama dengan kesalahan standar SE, dan saya memilih model paling sederhana dalam 1 SE dari model dengan kesalahan CV terendah (1 aturan kesalahan...
Saya membaca kedua halaman wikipedia tentang analisis sensitivitas dan validasi model (di sini, hanya validasi regresi linier) tetapi saya tidak berhasil menemukan cara untuk memisahkan kedua istilah ini. Saya mendapat kesan bahwa yang pertama lebih banyak digunakan di bidang akademik dan teknik...
Saya telah membaca pengklasifikasi aljabar: pendekatan umum untuk validasi silang cepat, pelatihan online, dan pelatihan paralel dan kagum dengan kinerja algoritma yang diturunkan. Namun, tampaknya di luar Naif Bayes (dan GBM) tidak ada banyak algoritma yang disesuaikan dengan kerangka...
AIC sering direkomendasikan sebagai kriteria untuk membandingkan model untuk peramalan seri waktu. Lihat misalnya ini dalam konteks model regresi dinamis : AIC dapat dihitung untuk model akhir, dan nilai ini dapat digunakan untuk menentukan prediktor terbaik. Artinya, prosedur harus diulangi...
Pertanyaan saya: apakah saya harus melakukan CV bahkan untuk kumpulan data yang relatif besar? Saya memiliki satu set data yang relatif besar dan saya akan menerapkan algoritma pembelajaran mesin pada set data. Karena PC saya tidak cepat, CV (dan pencarian grid) terkadang memakan waktu terlalu...
Dalam Elemen Pembelajaran Statistik , saya menemukan pernyataan berikut: Ada satu kualifikasi: langkah penyaringan awal tanpa pengawasan dapat dilakukan sebelum sampel ditinggalkan. Sebagai contoh, kita dapat memilih 1000 prediktor dengan varians tertinggi di seluruh 50 sampel, sebelum memulai...