Statistik dan Big Data

Saya menghitung beberapa probabilitas bersyarat, dan interval kepercayaan 95% yang terkait. Untuk banyak kasus saya, saya memiliki jumlah xkeberhasilan langsung dari npercobaan (dari tabel kontingensi), sehingga saya dapat menggunakan interval kepercayaan Binomial, seperti yang disediakan oleh...

Untuk distribusi x mana, selain beta, apakah distribusi x-binomial bagus? Distribusi beta dan binomial adalah konjugat terkenal tetapi saya ingin tahu apakah distribusi non-konjugat lainnya akan memberikan senyawa pmfs yang relatif sederhana. Maksud saya, PMF itu bagus untuk dihitung tanpa...

Bagian dari artikel ini mengatakan: Ronald Fisher pada tahun 1935 memperkenalkan inferensi fidusia untuk menerapkannya pada masalah ini. Dia merujuk pada makalah sebelumnya oleh WV Behrens dari tahun 1929. Behrens dan Fisher mengusulkan untuk menemukan distribusi probabilitas mana dan adalah...

Saya mencoba menerapkan Manifold Regularization di Support Vector Machines (SVMs) di Matlab. Saya mengikuti instruksi di kertas oleh Belkin et al. (2006), ada persamaan di dalamnya: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in...

Adakah yang tahu tentang implementasi (selain SAS makro) dari metode estimasi kuat ganda yang ditemukan di: Funk, MJ, Westreich, D. et al (2011). Perkiraan kuat dari efek sebab akibat. American Journal of Epidemiology, 173 (7): 761-767. [DOI]

Saya mencoba untuk membakukan kolom dataset untuk regresi linier. Salah satu kolom memiliki standar deviasi = 0. def standardize(X): return (X - mean(X)) / std(X) Jadi kode ini tidak berfungsi. Apakah ada trik untuk menyelesaikan masalah ini? Saya sudah mencoba dua hal Lempar kolom...

Misalkan invigilator mencurigai satu siswa menyalin jawaban dari kertas siswa lain selama ujian pilihan ganda. Dia kemudian memeriksa jawaban mereka dan menemukan beberapa kesamaan — tetapi di sisi lain, pasti ada kesamaan karena sifat ujian. Bagaimana seharusnya dia menentukan apakah kecurigaannya...

Saya mencari beberapa jenis distribusi melalui simpleks di mana komponen-komponennya berkorelasi secara ordinal. Yaitu, jika diambil dari distribusi kami pada simpleks, saya ingin berkorelasi positif dengan tetangganya dan , katakan . Vanilla Dirichlet jelas tidak dapat memenuhi persyaratan ini....

Sebuah pertanyaan baru-baru ini diposting ke listserve yang saya ikuti (mungkin secara sinis?) Ketika pendekatan Bayesian sangat penting untuk "menyelesaikan pekerjaan" dalam menangani pertanyaan di bidang ekologi. Saya bertanya-tanya, secara umum, tentang kapan pendekatan Bayesian sangat penting...

Katakanlah, misalnya, bahwa kita memiliki model regresi logistik yang menghasilkan probabilitas bahwa seorang pasien akan mengembangkan penyakit tertentu berdasarkan banyak kovariat. Kita bisa mendapatkan gambaran tentang besarnya dan arah pengaruh masing-masing kovariat secara umum dengan...

Saya bekerja untuk organisasi yang mengawasi sekitar 180 sekolah di seluruh negeri. Kami secara teratur mengumpulkan data hasil dari sekolah-sekolah ini dan memberi peringkat mereka. Saya telah diminta untuk melakukan survei terhadap kantor nasional (sekitar 100 orang) untuk menentukan sekolah mana...

Biarkan menjadi fungsi non-negatif. Saya tertarik menemukan sedemikian rupa sehingga Peringatan itu : yang bisa saya lakukan adalah sampel pada titik di . Aku bisa, bagaimanapun, memilih lokasi di mana saya sampel secara acak, jika saya menginginkannya. fffz∈[0,1]z∈[0,1]z \in...

Seseorang berbincang-bincang bahwa tiga temannya berulang tahun berturut-turut (seperti 10, 11, dan 12 November), dan saya ingin mengetahui seberapa besar kemungkinan itu untuk tiga orang yang dipilih secara acak, dengan asumsi bahwa hari ulang tahun didistribusikan secara acak dan ulang tahun dua...

Misalkan saya sedang membangun classifier regresi logistik yang memprediksi apakah seseorang sudah menikah atau lajang. (1 = menikah, 0 = tunggal) Saya ingin memilih titik pada kurva presisi-ingat yang memberi saya setidaknya 75% presisi, jadi saya ingin memilih ambang dan ,

Teorema tersebut adalah "Jika matriks transisi untuk rantai Markov yang tidak dapat direduksi dengan ruang keadaan terbatas S adalah dua kali lipat stokastik, ukuran invariannya (yang unik) seragam di atas S." Jika Rantai Markov memiliki matriks transisi ganda-stokastik, saya membaca bahwa...

Untuk statistik uji diskrit, distribusi yang sesuai ppp-nilai terpisah dan stokastik lebih besar dari distribusi seragam. Oleh karena itu uji hipotesis yang sesuai berdasarkan nilai-p (menolak jika nilai-p kurang dari 0,05, misalnya) selalu konservatif dalam arti bahwa kemungkinan membuat kesalahan...

Saya mencoba membuat model prediksi menggunakan regresi. Ini adalah plot diagnostik untuk model yang saya dapatkan dari menggunakan lm () di R: Apa yang saya baca dari plot QQ adalah bahwa residual memiliki distribusi berekor berat, dan plot Residual vs Fitted tampaknya menunjukkan bahwa varians...

Saya telah membaca beberapa posting tentang pemilihan fitur dan validasi silang tetapi saya masih memiliki pertanyaan tentang prosedur yang benar. Misalkan saya memiliki dataset dengan 10 fitur dan saya ingin memilih fitur terbaik. Anggap saya menggunakan pengelompokan tetangga terdekat. Dapatkah...

Membiarkan U⊂RnU⊂RnU \subset \mathbb{R}^n menjadi ruang vektor dengan redup( U) = ddim⁡(U)=d\dim(U)=d. Distribusi normal standar aktifUUU adalah hukum vektor acak X= (X1, ... ,Xn)X=(X1,…,Xn)X=(X_1, \ldots, X_n) mengambil nilai dalam UUU dan sedemikian rupa sehingga koordinat XXX jadi satu (⟺⟺\iff...

Saya memiliki masalah regresi berganda, yang saya coba selesaikan menggunakan regresi berganda sederhana: model1 <- lm(Y ~ X1 + X2 + X3 + X4 + X5, data=data) Ini sepertinya menjelaskan 85% varian (menurut R-squared) yang tampaknya cukup bagus. Namun yang membuat saya khawatir adalah plot aneh...