Ketika mencoba untuk memilih di antara berbagai model atau sejumlah fitur untuk disertakan, katakan prediksi saya dapat memikirkan dua pendekatan. Membagi data menjadi pelatihan dan set tes. Lebih baik lagi, gunakan bootstrap atau k-fold cross-validation. Latihlah set latihan setiap kali dan...
Sebagian besar sumber daya pada aturan penilaian yang tepat menyebutkan sejumlah aturan penilaian yang berbeda seperti log-loss, Brier score atau spherical scoring. Namun, mereka sering tidak memberikan banyak panduan tentang perbedaan di antara mereka. (Bukti A: Wikipedia .) Memilih model yang...
Dalam makalahnya Linear Model Selection oleh Cross-Validation , Jun Shao menunjukkan bahwa untuk masalah pemilihan variabel dalam regresi linier multivariat, metode validasi silang tinggalkan-satu-keluar (LOOCV) adalah 'tidak konsisten asimptotik'. Dalam bahasa Inggris biasa, cenderung memilih...
Apa yang dimaksud dengan properti oracle dari estimator? Apa tujuan pemodelan yang relevan dengan properti oracle (prediktif, jelas, ...)? Baik penjelasan teoritis yang ketat dan (terutama) intuitif
Saya baru untuk hal R ini tetapi tidak yakin model mana yang harus dipilih. Saya melakukan regresi maju bertahap memilih setiap variabel berdasarkan AIC terendah. Saya datang dengan 3 model yang saya tidak yakin mana yang "terbaik". Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1 (p=0.09) + Var2...
Pengantar: Saya memiliki dataset dengan "p besar, n kecil masalah" klasik. Jumlah sampel yang tersedia n = 150 sedangkan jumlah prediktor yang mungkin p = 400. Hasilnya adalah variabel kontinu. Saya ingin menemukan deskriptor yang paling "penting", yaitu, yang merupakan kandidat terbaik untuk...
Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA....
Catatan: Kasing adalah n >> p Saya membaca Elemen Pembelajaran Statistik dan ada berbagai menyebutkan tentang cara "benar" untuk melakukan validasi silang (misalnya halaman 60, halaman 245). Secara khusus, pertanyaan saya adalah bagaimana mengevaluasi model akhir (tanpa set tes terpisah)...
Saya ingin melihat apakah saya berada di jalur yang benar menganalisis plot ACF dan PACF saya: Latar belakang: (Reff: Philip Hans Franses, 1998) Karena ACF dan PACF menunjukkan nilai yang signifikan, saya berasumsi bahwa model ARMA akan memenuhi kebutuhan saya ACF dapat digunakan untuk...
Dalam set data kecil ( ) yang saya kerjakan, beberapa variabel memberi saya prediksi / pemisahan yang sempurna . Jadi saya menggunakan regresi logistik Firth untuk menangani masalah ini.n ∼ 100n∼100n\sim100 Jika saya memilih model terbaik oleh AIC atau BIC , haruskah saya memasukkan istilah...
Adakah yang bisa menyarankan jika hal berikut ini masuk akal: Saya berurusan dengan model linier biasa dengan 4 prediktor. Saya dalam dua pikiran apakah akan menjatuhkan istilah yang paling tidak signifikan. Nilai- sedikit di atas 0,05. Saya berpendapat mendukung menjatuhkannya di bawah ini:...
Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya...
Bagaimana kita membandingkan kompleksitas dua model dengan jumlah parameter yang sama? Sunting 09/19 : Untuk memperjelas, kompleksitas model adalah ukuran seberapa sulitnya untuk belajar dari data yang terbatas. Ketika dua model cocok dengan data yang ada sama baiknya, model dengan kompleksitas...
Pertimbangkan data berikut dari dua arah dalam desain subjek: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 Jim...
Dapatkah regularisasi bermanfaat jika kita hanya tertarik dalam memperkirakan (dan menafsirkan) parameter model, bukan dalam peramalan atau prediksi? Saya melihat bagaimana regularisasi / validasi silang sangat berguna jika tujuan Anda adalah membuat perkiraan yang baik tentang data baru. Tetapi...
Setelah membaca Galit Shmueli "To Explain or to Predict" (2010) saya bingung dengan kontradiksi yang nyata. Ada tiga tempat, Pilihan model berbasis AIC- dibandingkan BIC (akhir hal. 300 - awal hal. 301): sederhananya, AIC harus digunakan untuk memilih model yang dimaksudkan untuk prediksi...
Konteks: Dari pertanyaan tentang Pertukaran Matematika Stack (Dapatkah saya membangun program) , seseorang memiliki satu set poin , dan ingin menyesuaikan kurva untuk itu, linier, eksponensial atau logaritmik. Metode yang biasa adalah memulai dengan memilih salah satu dari ini (yang menentukan...
Konteks Pertanyaan ini menggunakan R, tetapi tentang masalah statistik umum. Saya sedang menganalisis efek dari faktor kematian (% kematian karena penyakit dan parasitisme) pada tingkat pertumbuhan populasi ngengat dari waktu ke waktu, di mana populasi larva diambil sampelnya dari 12 lokasi...
Pertanyaan ini adalah tindak lanjut atau upaya untuk menjernihkan kemungkinan kebingungan mengenai topik yang saya dan banyak orang lain temukan agak sulit, mengenai perbedaan antara AIC dan BIC. Dalam jawaban yang sangat bagus oleh @Dave Kellen tentang topik ini ( /stats//a/767/30589 ) kita...
Ini adalah posting pertama saya di StackExchange, tetapi saya telah menggunakannya sebagai sumber daya selama beberapa waktu, saya akan melakukan yang terbaik untuk menggunakan format yang sesuai dan melakukan pengeditan yang sesuai. Juga, ini adalah pertanyaan multi-bagian. Saya tidak yakin apakah...