Pengaturan saya adalah sebagai berikut: Saya mengikuti garis pedoman dalam "Pemodelan Prediktif Terapan". Jadi saya telah memfilter fitur-fitur terkait dan berakhir dengan yang berikut: 4900 titik data di set latihan dan 1600 titik data di set tes. Saya memiliki 26 fitur dan targetnya adalah...
Saya telah melakukan penelitian tentang overfitting dan underfitting, dan saya telah mengerti apa itu sebenarnya, tetapi saya tidak dapat menemukan alasannya. Apa alasan utama untuk overfitting dan underfitting? Mengapa kita menghadapi dua masalah ini dalam melatih
Katakanlah saya menghitung beberapa parameter model, meminimalkan jumlah kuadrat residu, dan saya berasumsi kesalahan saya adalah Gaussian. Model saya menghasilkan turunan analitik, sehingga pengoptimal tidak perlu menggunakan perbedaan hingga. Setelah fit selesai, saya ingin menghitung kesalahan...
The tingkat belajar parameter ( ) di Gradient Meningkatkan menyusut kontribusi masing-masing model dasar baru -typically sebuah pohon yang dangkal yang ditambahkan dalam seri. Itu terbukti secara dramatis meningkatkan akurasi set tes, yang dapat dimengerti karena dengan langkah-langkah yang lebih...
Ini tidak mudah bagi Google seperti beberapa hal lain, untuk lebih jelasnya, saya tidak berbicara tentang regresi logistik dalam arti menggunakan regresi untuk memprediksi variabel kategori. Saya berbicara tentang menyesuaikan kurva pertumbuhan logistik dengan poin data yang diberikan. Untuk lebih...
Regularisasi dalam regresi (linier, logistik ...) adalah cara paling populer untuk mengurangi pemasangan berlebihan. Ketika tujuannya adalah akurasi prediksi (tidak menjelaskan), apakah ada alternatif yang baik untuk regularisasi, terutama cocok untuk kumpulan data besar (mil / pengamatan...
Apakah ada definisi matematis atau algoritmik overfitting? Definisi yang sering disediakan adalah plot 2-D klasik dari titik-titik dengan garis yang melewati setiap titik dan kurva kehilangan validasi tiba-tiba naik. Tetapi apakah ada definisi matematis yang
Konteks: Dari pertanyaan tentang Pertukaran Matematika Stack (Dapatkah saya membangun program) , seseorang memiliki satu set poin , dan ingin menyesuaikan kurva untuk itu, linier, eksponensial atau logaritmik. Metode yang biasa adalah memulai dengan memilih salah satu dari ini (yang menentukan...
Kesan yang saya dapat, berdasarkan beberapa makalah, buku, dan artikel yang saya baca, adalah cara yang disarankan untuk menyesuaikan distribusi probabilitas pada set data adalah dengan menggunakan estimasi kemungkinan maksimum (MLE). Namun, sebagai seorang fisikawan, cara yang lebih intuitif...
Adakah yang bisa menjelaskan kepada saya perbedaan nyata antara analisis regresi dan pemasangan kurva (linear dan nonlinier), dengan contoh jika mungkin? Tampaknya keduanya mencoba untuk menemukan hubungan antara dua variabel (dependen vs independen) dan kemudian menentukan parameter (atau...
Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode
Bagaimana saya menyesuaikan parameter distribusi-t, yaitu parameter yang sesuai dengan 'rata-rata' dan 'standar deviasi' dari distribusi normal. Saya menganggap mereka disebut 'berarti' dan 'scaling / derajat kebebasan' untuk distribusi-t? Kode berikut sering menghasilkan kesalahan 'optimasi...
Katakanlah saya memiliki beberapa data, dan kemudian saya mencocokkan data dengan model (regresi non-linear). Lalu saya menghitung R-squared ( R2R2R^2 ). Ketika R-squared negatif, apa artinya itu? Apakah itu berarti model saya buruk? Saya tahu kisaran R2R2R^2 bisa [-1,1]. Ketika R2R2R^2 adalah 0,...
Sementara hasil dari set tes pribadi tidak dapat digunakan untuk memperbaiki model lebih lanjut, bukankah pemilihan model dari sejumlah besar model yang dilakukan berdasarkan hasil set tes pribadi? Tidakkah Anda, melalui proses itu sendiri, berakhir overfitting ke set tes pribadi? Menurut...
Katakanlah kita punya model mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects...
Mari kita pertimbangkan masalah tentang mengklasifikasikan dataset MNIST. Berdasarkan laman web MNIST Yann LeCun , 'Ciresan et al.' mendapat tingkat kesalahan 0,23% pada set uji MNIST menggunakan Jaringan Nevoltural Convolutional. Mari masing menunjukkan MNIST pelatihan ditetapkan sebagai , MNIST...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Saat ini saya memasang hutan acak untuk masalah klasifikasi menggunakan randomForestpaket dalam R, dan saya tidak yakin tentang cara melaporkan kesalahan pelatihan untuk model ini. Kesalahan pelatihan saya mendekati 0% ketika saya menghitungnya menggunakan prediksi yang saya dapatkan dengan...
Saya mencoba membuat gambar yang menunjukkan hubungan antara salinan virus dan cakupan genom (GCC). Seperti inilah data saya: Pada awalnya, saya hanya merencanakan regresi linier tetapi pengawas saya mengatakan itu tidak benar, dan untuk mencoba kurva sigmoidal. Jadi saya melakukan ini...
Saya cukup baru di hutan acak. Di masa lalu, saya selalu membandingkan akurasi fit vs tes terhadap fit vs kereta untuk mendeteksi overfitting apapun. Tapi saya baru baca di sini bahwa: "Di hutan acak, tidak perlu untuk validasi silang atau set tes terpisah untuk mendapatkan estimasi yang tidak...