Statistik dan Big Data

Katakanlah ada elemen m+nm+nm+n dibagi menjadi dua kelompok ( mmm dan nnn ). σ2mσm2\sigma_m^2 dari grup pertama adalah \ sigma_m ^ 2 dan varians dari grup kedua adalah σ2nσn2\sigma^2_n . Elemen-elemen itu sendiri dianggap tidak diketahui tetapi saya tahu cara μmμm\mu_m dan μnμn\mu_n . Apakah ada...

Bagaimana kita menjelaskan perbedaan antara regresi logistik dan jaringan saraf untuk audiens yang tidak memiliki latar belakang statistik?

Saya menggunakan SVM untuk klasifikasi dan saya mencoba menentukan parameter optimal untuk kernel linear dan RBF. Untuk kernel linear saya menggunakan pemilihan parameter yang divalidasi silang untuk menentukan C dan untuk kernel RBF saya menggunakan pencarian grid untuk menentukan C dan...

Seperti diketahui oleh semua, SVM dapat menggunakan metode kernel untuk memproyeksikan titik data di ruang yang lebih tinggi sehingga titik dapat dipisahkan oleh ruang linear. Tetapi kita juga dapat menggunakan regresi logistik untuk memilih batas ini di ruang kernel, jadi apa kelebihan SVM? Karena...

Dari dokumentasi untuk anova(): Ketika diberi urutan objek, 'anova' menguji model terhadap satu sama lain dalam urutan yang ditentukan ... Apa artinya menguji model terhadap satu sama lain? Dan mengapa pesanan itu penting? Ini adalah contoh dari tutorial GenABEL : > modelAdd =...

Misalkan saya punya 2 set: Set A : jumlah item , ,n=10n=10n= 10μ=2.4μ=2.4\mu = 2.4σ=0.8σ=0.8\sigma = 0.8 Set B : jumlah item , ,n=5n=5n= 5μ=2μ=2\mu = 2σ=1.2σ=1.2\sigma = 1.2 Saya dapat menemukan mean gabungan ( ) dengan mudah, tetapi bagaimana saya bisa menemukan standar deviasi...

Saya menemukan makalah ini yang menggunakan deteksi anomali tautan untuk memprediksi topik yang sedang tren, dan saya merasa sangat menarik: Makalah ini adalah "Menemukan Topik Muncul di Streaming Sosial melalui Tautan Anomali Deteksi" . Saya ingin mereplikasi pada kumpulan data yang berbeda, tapi...

Dalam analisis komponen utama (PCA), orang dapat memilih matriks kovarian atau matriks korelasi untuk menemukan komponen (dari vektor eigen masing-masing). Ini memberikan hasil yang berbeda (beban dan skor PC), karena vektor eigen antara kedua matriks tidak sama. Pemahaman saya adalah bahwa ini...

Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2X∈X∈X

Saya baru saja menemukan kuartet Anscombe (empat dataset yang memiliki statistik deskriptif yang hampir tidak dapat dibedakan tetapi terlihat sangat berbeda ketika diplot) dan saya ingin tahu apakah ada dataset lain yang kurang lebih terkenal yang telah dibuat untuk menunjukkan pentingnya...

Saya biasanya menggunakan BIC karena pemahaman saya adalah bahwa nilai-nilai parsimony lebih kuat daripada AIC. Namun, saya telah memutuskan untuk menggunakan pendekatan yang lebih komprehensif sekarang dan ingin menggunakan AIC juga. Saya tahu bahwa Raftery (1995) menyajikan pedoman yang bagus...

Ada sejumlah penaksir skala yang kuat . Contoh penting adalah deviasi absolut median yang berhubungan dengan deviasi standar sebagai σ=MAD⋅1.4826σ=MAD⋅1.4826\sigma = \mathrm{MAD}\cdot1.4826 . Dalam kerangka kerja Bayesian ada sejumlah cara untuk memperkirakan dengan kuat lokasi distribusi yang...

Saya tertarik pada versi Cantelli satu sisi tentang ketidaksetaraan Chebyshev : P(X−E(X)≥t)≤Var(X)Var(X)+t2.P(X−E(X)≥t)≤Var(X)Var(X)+t2. \mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,. Pada dasarnya, jika Anda mengetahui mean dan varians populasi, Anda...

Bagaimana cara menghitung kesalahan relatif ketika nilai sebenarnya adalah nol? Katakanlah saya memiliki dan . Jika saya mendefinisikan kesalahan relatif sebagai:xtrue=0xtrue=0x_{true} = 0xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} =...

Ketika saya menonton berita saya perhatikan bahwa jajak pendapat Gallup untuk hal-hal seperti pemilihan presiden memiliki [saya berasumsi secara acak] ukuran sampel lebih dari 1.000. Dari apa yang saya ingat dari statistik perguruan tinggi adalah bahwa ukuran sampel 30 adalah sampel "sangat besar"....

Sudah diketahui bahwa para peneliti harus menghabiskan waktu mengamati dan mengeksplorasi data dan penelitian yang ada sebelum membentuk hipotesis dan kemudian mengumpulkan data untuk menguji hipotesis itu (merujuk pada pengujian signifikansi null-hipotesis). Banyak buku statistik dasar...

Saya mendengar bahwa korelasi parsial antara variabel acak dapat ditemukan dengan membalikkan matriks kovarians dan mengambil sel yang sesuai dari matriks presisi yang dihasilkan (fakta ini disebutkan dalam http://en.wikipedia.org/wiki/Partial_correlation , tetapi tanpa bukti) . Mengapa...

Dalam pemahaman saya, variabel yang sangat berkorelasi tidak akan menyebabkan masalah multi-collinearity dalam model hutan acak (Harap perbaiki saya jika saya salah). Namun, di sisi lain, jika saya memiliki terlalu banyak variabel yang berisi informasi serupa, akankah bobot model terlalu banyak...

Saya ingin melakukan regresi logistik dengan respon binomial berikut dan dengan X1X1X_1 dan sebagai prediktor saya. X2X2X_2 Saya dapat menyajikan data yang sama dengan respons Bernoulli dalam format berikut. Output regresi logistik untuk 2 set data ini sebagian besar sama. Residual...

Saya sering melihat kedua ejaan "heteroskedastik" dan "heteroskedastik", dan juga untuk "homoskedastik" dan "homoskedastik". Tampaknya tidak ada perbedaan makna antara varian "c" dan "k", hanya perbedaan ortografis yang terkait dengan etimologi kata Yunani. Apa asal dari dua ejaan yang...