Statistik dan Big Data

Demi contoh sederhana berasumsi bahwa ada dua model regresi linier Model 1 memiliki tiga prediktor, x1a, x2b, danx2c Model 2 memiliki tiga prediktor dari model 1 dan dua prediktor tambahan x2adanx2b Ada persamaan regresi populasi di mana varians populasi yang dijelaskan adalah untuk Model 1 dan...

Saya sedang melakukan penelitian tentang peramalan deret waktu fungsi kepadatan probabilitas. Kami bermaksud memperkirakan PDF yang diberikan secara historis (biasanya, diperkirakan) PDF. Metode peramalan yang kami kembangkan berkinerja cukup baik dalam studi simulasi. Namun, saya memerlukan...

Saya sedang melakukan regresi logistik dengan hasil biner (mulai dan tidak mulai). Campuran prediktor saya semuanya adalah variabel kontinu atau dikotomis. Menggunakan pendekatan Box-Tidwell, salah satu prediktor kontinu saya berpotensi melanggar asumsi linearitas logit. Tidak ada indikasi dari...

Apa kelebihan dan kekurangan menjalankan model terpisah vs pemodelan bertingkat? Lebih khusus lagi, anggaplah sebuah penelitian memeriksa pasien yang bersarang dalam praktik dokter yang bersarang di negara-negara. Apa keuntungan / kerugian dari menjalankan model terpisah untuk masing-masing negara...

Saat menguji beberapa hipotesis nol versus alternatif dengan statistik uji , di manaU(X)U(X)U(X)X={xi,...,xn}X={xi,...,xn}X = \{ x_i, ..., x_n\} , terapkan tes permutasi dengan setpermutasi padadan kami memiliki statistik GGGXXXT(X):=#{π∈G:U(πX)≥U(X)}|G|.T(X):=#{π∈G:U(πX)≥U(X)}|G|. T(X) := \frac{\#...

Pertimbangkan pengambilan sampel data dari populasi berukuran dengan cara berikut: UntukNNNk=1,...,Nk=1,...,Nk=1, ..., N Amati status "penyakit" individukkk Jika mereka memiliki penyakit, masukkan mereka dalam sampel dengan probabilitaspk1pk1p_{k1} Jika mereka tidak memiliki penyakit, sertakan...

Di blog-nya, Larry Wasserman memiliki posting tentang apa yang dia rencanakan untuk dibahas pada musim gugur yang lalu. Dia mencatat bahwa dia meninggalkan beberapa topik klasik demi masalah yang lebih modern. Salah satu topik yang ia sebutkan adalah ketidaksetaraan Hoeffding. Apa yang menjadikan...

Mungkin pertanyaan ini memiliki jawaban dalam pengobatan, tetapi apakah ada alasan statistik mengapa indeks BMI dihitung sebagai ? Mengapa tidak misalnya hanya ? Gagasan pertama saya adalah bahwa itu ada hubungannya dengan regresi kuadratik. berat / tinggiberat /

Menggunakan bootstrap, saya menghitung nilai p dari tes signifikansi menggunakan dua metode: resampling di bawah hipotesis nol dan menghitung hasil setidaknya paling ekstrim sebagai hasil yang berasal dari data asli resampling di bawah hipotesis alternatif dan menghitung hasil setidaknya sama...

Saya sedang bekerja dengan beberapa analisis spasial eksplorasi di R menggunakan paket spdep. Saya menemukan pilihan untuk menyesuaikan nilai- p dari indikator lokal dari asosiasi spasial (LISA) yang dihitung menggunakan localmoranfungsi. Menurut dokumen itu ditujukan untuk: ... penyesuaian...

Katakanlah saya memiliki dua metode pembelajaran untuk masalah klasifikasi , dan , dan bahwa saya memperkirakan kinerja generalisasi mereka dengan sesuatu seperti validasi silang berulang atau bootstrap. Dari proses ini saya mendapatkan distribusi skor dan untuk setiap metode di seluruh pengulangan...

Saya menganalisis dataset dengan banyak parameter (katakanlah, 50-200) dan saya tertarik melihat hubungan antara variabel (misalnya dalam hal plot sebar 2-variabel atau histogram 2d). Namun, untuk jumlah parameter ini tampaknya tidak layak untuk menggambar array 200x200 plot (kecuali saya...

Haruskah pemilihan fitur dilakukan hanya pada data pelatihan (atau semua data)? Saya telah melalui beberapa diskusi dan makalah seperti Guyon (2003) dan Singhi dan Liu (2006) , tetapi masih tidak yakin tentang jawaban yang benar. Pengaturan percobaan saya adalah sebagai berikut: Dataset:...

Buku teks pertama menghasilkan beberapa data 2 kelas melalui: pemberian yang mana: dan kemudian ia bertanya: Saya mencoba menyelesaikan ini dengan terlebih dahulu memodelkan ini dengan model grafis ini: di mana adalah label, adalah indeks dari mean yang dipilih , dan adalah titik data....

Saya selalu diajarkan bahwa efek acak hanya memengaruhi varians (kesalahan), dan bahwa efek tetap hanya memengaruhi rata-rata. Tapi saya telah menemukan contoh di mana pengaruh acak juga mempengaruhi rata-rata - estimasi koefisien: require(nlme) set.seed(128) n <- 100 k <- 5 cat <-...

Masalah saya adalah sebagai berikut: Saya menjatuhkan 40 bola sekaligus dari titik tertentu, beberapa meter di atas lantai. Bola bergulir, dan beristirahat. Menggunakan visi komputer, saya menghitung pusat massa di bidang XY. Saya hanya tertarik pada jarak dari pusat massa ke setiap bola, yang...

Saya mencoba menggunakan SMOTE untuk memperbaiki ketidakseimbangan dalam masalah klasifikasi multi-kelas saya. Meskipun SMOTE bekerja dengan sempurna pada dataset iris sesuai dengan dokumen bantuan SMOTE, ia tidak bekerja pada dataset yang sama. Inilah tampilan data saya. Catatan itu memiliki tiga...

Ketika orang menerapkan tes permutasi untuk membandingkan sampel tunggal dengan rata-rata (misalnya, seperti yang Anda lakukan dengan uji-permutasi), bagaimana cara rata-rata ditangani? Saya telah melihat implementasi yang mengambil mean dan sampel untuk tes permutasi, tetapi tidak jelas apa yang...

Saya datang ke situasi di mana bobot dari Jaringan Saraf saya tidak konvergen bahkan setelah 500 iterasi. Jaringan saraf saya berisi 1 layer input, 1 layer tersembunyi dan 1 layer output. Mereka adalah sekitar 230 node di lapisan input, 9 node di lapisan tersembunyi dan 1 simpul output di lapisan...

Seperti judulnya, apakah pengurangan dimensi selalu kehilangan beberapa informasi? Pertimbangkan misalnya PCA. Jika data yang saya miliki sangat jarang, saya akan menganggap "pengkodean yang lebih baik" dapat ditemukan (apakah ini terkait dengan peringkat data?), Dan tidak ada yang akan...