Pengantar: Saya memiliki dataset dengan "p besar, n kecil masalah" klasik. Jumlah sampel yang tersedia n = 150 sedangkan jumlah prediktor yang mungkin p = 400. Hasilnya adalah variabel kontinu. Saya ingin menemukan deskriptor yang paling "penting", yaitu, yang merupakan kandidat terbaik untuk...
Saya memiliki data penjualan bersejarah dari toko roti (setiap hari, lebih dari 3 tahun). Sekarang saya ingin membuat model untuk memprediksi penjualan di masa depan (menggunakan fitur seperti hari kerja, variabel cuaca, dll.). Bagaimana saya harus membagi dataset untuk pemasangan dan evaluasi...
Saya melakukan regresi logistik elastis-bersih pada set data perawatan kesehatan menggunakan glmnetpaket dalam R dengan memilih nilai lambda pada kisi dari 0 hingga 1. Kode singkat saya di bawah ini:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){...
Bagaimana model efek campuran (linier) secara normal dibandingkan satu sama lain? Saya tahu tes rasio kemungkinan dapat digunakan, tetapi ini tidak berhasil jika satu model bukan 'bagian' dari yang lain yang benar? Apakah estimasi model selalu mudah? Jumlah efek tetap + jumlah komponen varian...
Ketika mencoba untuk memilih di antara berbagai model atau sejumlah fitur untuk disertakan, katakan prediksi saya dapat memikirkan dua pendekatan. Membagi data menjadi pelatihan dan set tes. Lebih baik lagi, gunakan bootstrap atau k-fold cross-validation. Latihlah set latihan setiap kali dan...
Saya menjalankan validasi silang 10 kali lipat pada algoritma klasifikasi biner yang berbeda, dengan dataset yang sama, dan menerima hasil rata-rata Mikro dan Makro. Harus disebutkan bahwa ini adalah masalah klasifikasi multi-label. Dalam kasus saya, negatif sejati dan positif sejati juga diberi...
Pemahaman saya adalah bahwa bahkan ketika mengikuti prosedur validasi silang dan pemilihan model yang tepat, overfitting akan terjadi jika seseorang mencari model dengan cukup keras , kecuali jika seseorang memaksakan pembatasan pada kompleksitas model, titik. Selain itu, sering kali orang mencoba...
Catatan: Kasing adalah n >> p Saya membaca Elemen Pembelajaran Statistik dan ada berbagai menyebutkan tentang cara "benar" untuk melakukan validasi silang (misalnya halaman 60, halaman 245). Secara khusus, pertanyaan saya adalah bagaimana mengevaluasi model akhir (tanpa set tes terpisah)...
Saya telah membaca tentang validasi k-fold, dan saya ingin memastikan saya mengerti cara kerjanya. Saya tahu bahwa untuk metode holdout, data dibagi menjadi tiga set, dan set tes hanya digunakan di bagian paling akhir untuk menilai kinerja model, sedangkan set validasi digunakan untuk menyetel...
Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya...
Saya tahu bahwa melakukan penyetelan hyperparameter di luar validasi silang dapat menyebabkan estimasi bias eksternal yang tinggi, karena dataset yang Anda gunakan untuk mengukur kinerja adalah sama dengan yang Anda gunakan untuk menyetel fitur. Yang saya pikirkan adalah seberapa buruk masalah ini...
Apakah caretpaket R memvalidasi silang baik untuk model alphamaupun lambdauntuk glmnetmodel? Menjalankan kode ini, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x...
Saya ingin tahu apakah ada / beberapa keuntungan menggunakan pengambilan sampel bertingkat daripada pengambilan sampel acak, ketika membagi dataset asli ke dalam pelatihan dan set pengujian untuk klasifikasi. Juga, apakah pengambilan sampel bertingkat memperkenalkan bias lebih ke dalam...
Diberi model hierarkis , saya ingin proses dua tahap agar sesuai dengan model. Pertama, perbaiki beberapa hiperparameter , dan kemudian lakukan inferensi Bayesian pada seluruh parameter \ phi . Untuk memperbaiki hyperparameters saya mempertimbangkan dua opsi.p ( x | ϕ , θ
Saya menguji berbagai pengklasifikasi pada kumpulan data di mana terdapat 5 kelas dan setiap instance dapat menjadi milik satu atau lebih dari kelas-kelas ini, jadi saya menggunakan pengklasifikasi multi-label scikit-learn, khususnya sklearn.multiclass.OneVsRestClassifier. Sekarang saya ingin...
Saya menggunakan libsvm dalam mode C-SVC dengan kernel polinomial derajat 2 dan saya diminta untuk melatih beberapa SVM. Setiap set pelatihan memiliki 10 fitur dan 5000 vektor. Selama pelatihan, saya mendapatkan peringatan ini untuk sebagian besar SVM yang saya latih: WARNING: reaching max number...
Saya bingung tentang bagaimana cara mempartisi data untuk validasi lintas k-fold pembelajaran ensemble. Dengan asumsi saya memiliki kerangka kerja ensemble untuk klasifikasi. Lapisan pertama saya berisi model klasifikasi, misalnya svm, pohon keputusan. Lapisan kedua saya berisi model pemungutan...
Saya telah mencurahkan banyak waktu untuk pengembangan metode dan perangkat lunak untuk memvalidasi model prediktif dalam domain statistik frequentist tradisional. Dalam menerapkan lebih banyak gagasan Bayes ke dalam praktik dan pengajaran, saya melihat beberapa perbedaan utama yang harus dianut....
Dua pendekatan umum untuk memilih variabel berkorelasi adalah uji signifikansi dan validasi silang. Masalah apa yang masing-masing coba selesaikan dan kapan saya lebih suka yang satu daripada yang
Saya memasang HLM Bayesian di JAGS menggunakan k-fold cross-validation (k = 5). Saya ingin tahu apakah estimasi parameter stabil di semua lipatan. Apa cara terbaik untuk melakukan ini?ββ\beta Satu ide adalah untuk menemukan perbedaan dari posteriors dari dan untuk melihat apakah 0 berada di 95% CI...