Statistik dan Big Data

Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA....

Saya memiliki beberapa data yang saya coba cocokkan dengan trendline. Saya percaya data mengikuti hukum kekuatan, dan telah merencanakan data pada sumbu log-mencari garis lurus. Ini telah menghasilkan (hampir) garis lurus dan di Excel saya telah menambahkan trendline untuk undang-undang kekuasaan....

Saya ingin menghitung distribusi probabilitas untuk total kombinasi dadu. Saya ingat bahwa probabilitas adalah jumlah kombinasi yang total jumlahnya melebihi total jumlah kombinasi (dengan asumsi dadu memiliki distribusi seragam). Untuk apa rumusnya Jumlah total kombinasi Jumlah kombinasi...

Saya sama sekali tidak seorang ahli statistik (saya pernah mengikuti kursus dalam statistik matematika tetapi tidak lebih dari itu), dan baru-baru ini, ketika mempelajari teori informasi dan mekanika statistik, saya bertemu dengan hal yang disebut "ukuran ketidakpastian" / "entropi" ini. Saya...

Catatan: Kasing adalah n >> p Saya membaca Elemen Pembelajaran Statistik dan ada berbagai menyebutkan tentang cara "benar" untuk melakukan validasi silang (misalnya halaman 60, halaman 245). Secara khusus, pertanyaan saya adalah bagaimana mengevaluasi model akhir (tanpa set tes terpisah)...

Saya tertarik untuk mempelajari lebih lanjut tentang teknik Bayesian (dan terkait) nonparametrik. Latar belakang saya dalam ilmu komputer dan meskipun saya tidak pernah mengambil kursus tentang teori ukuran atau teori probabilitas, saya memiliki sejumlah pelatihan formal terbatas dalam probabilitas...

Saya telah menggunakan distribusi log normal sebagai distribusi sebelumnya untuk parameter skala (untuk distribusi normal, distribusi t, dll.) Ketika saya memiliki gagasan kasar tentang apa skala seharusnya, tetapi ingin berbuat salah di sisi mengatakan saya tidak tahu banyak tentang itu. Saya...

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Adakah yang bisa menawarkan beberapa petunjuk tentang cara menggunakan weightsargumen dalam

Apa hubungan antara estimator dan

Latar Belakang Salah satu yang paling umum digunakan sebelum varian adalah invers-gamma dengan parameter (Gelman 2006) .α=0.001,β=0.001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Namun, distribusi ini memiliki 90% CI sekitar

Regresi Poisson adalah GLM dengan fungsi log-link. Cara alternatif untuk memodelkan data jumlah yang tidak terdistribusi secara normal adalah dengan preprocess dengan mengambil log (atau lebih tepatnya, log (1 + count) untuk menangani 0's). Jika Anda melakukan regresi kuadrat-terkecil pada respons...

Saya perlu mengimplementasikan program yang akan mengklasifikasikan catatan ke dalam 2 kategori (benar / salah) berdasarkan beberapa data pelatihan, dan saya bertanya-tanya di algoritma / metodologi mana yang harus saya perhatikan. Tampaknya ada banyak dari mereka untuk dipilih - Jaringan Syaraf...

Saya telah belajar bahwa ukuran sampel yang kecil dapat menyebabkan kekurangan daya dan tipe 2 kesalahan. Namun, saya merasa bahwa sampel kecil mungkin saja secara umum tidak dapat diandalkan dan dapat menyebabkan segala jenis hasil secara kebetulan.

Dalam Pemodelan Statistik: Dua Budaya Leo Breiman menulis Praktik yang diterapkan saat ini adalah untuk memeriksa model data yang sesuai dengan menggunakan uji goodness-of-fit dan analisis residual. Pada satu titik, beberapa tahun yang lalu, saya membuat masalah regresi disimulasikan dalam tujuh...

Misalkan . Saya tertarik pada distribusi marjinal elemen diagonal diag ( X ) = ( x 11 , ... , x p p ) . Ada beberapa hasil sederhana pada distribusi submatrices X (setidaknya beberapa terdaftar di Wikipedia). Dari sini saya dapat membayangkan bahwa distribusi marginal dari setiap elemen tunggal...

Saya mengalami masalah dalam memahami konsep variabel acak sebagai fungsi. Saya mengerti mekanika (saya pikir) tetapi saya tidak mengerti motivasi ... Katakanlah adalah probabilitas tiga kali lipat, di mana , adalah aljabar Borel- sigma pada interval itu dan P adalah ukuran Lebesgue reguler....

SPSS memberikan output "interval kepercayaan dari perbedaan berarti." Saya telah membaca di beberapa tempat bahwa itu berarti "95 kali dari 100, perbedaan rata-rata sampel kami akan berada di antara batas-batas ini" Saya menemukan ini tidak jelas. Adakah yang bisa menyarankan kata-kata yang lebih...

Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab di Cross Validated. Bermigrasi 8 tahun yang lalu . Saya memiliki 2 variabel, baik dari kelas "numerik": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1]

Hampir setiap contoh pohon keputusan yang saya temui kebetulan merupakan pohon biner. Apakah ini cukup universal? Apakah sebagian besar algoritma standar (C4.5, CART, dll.) Hanya mendukung pohon biner? Dari apa yang saya kumpulkan, CHAID tidak terbatas pada pohon biner, tapi itu sepertinya...

Saya ingin menggunakan model regresi logistik biner dalam konteks streaming data (seri waktu multidimensi) untuk memprediksi nilai variabel dependen dari data (yaitu baris) yang baru saja tiba, mengingat pengamatan sebelumnya. Sejauh yang saya tahu, regresi logistik secara tradisional digunakan...