Statistik dan Big Data

Apakah ada metode standar dan diterima untuk memilih jumlah lapisan, dan jumlah node di setiap lapisan, dalam jaringan saraf umpan maju? Saya tertarik dengan cara otomatis membangun jaringan

The halaman wikipedia mengklaim bahwa kemungkinan dan probabilitas adalah konsep-konsep yang berbeda. Dalam bahasa non-teknis, "kemungkinan" biasanya merupakan sinonim untuk "probabilitas," tetapi dalam penggunaan statistik ada perbedaan yang jelas dalam perspektif: jumlah yang merupakan...

Penafian: Saya bukan ahli statistik tetapi insinyur perangkat lunak. Sebagian besar pengetahuan saya dalam statistik berasal dari pendidikan mandiri, jadi saya masih memiliki banyak celah dalam memahami konsep-konsep yang mungkin tampak sepele bagi orang lain di sini. Jadi saya akan sangat...

Saya menemukan ini membingungkan ketika saya menggunakan toolbox jaringan saraf di Matlab. Ini membagi set data mentah menjadi tiga bagian: perlengkapan latihan set validasi set tes Saya perhatikan dalam banyak pelatihan atau algoritma pembelajaran, data sering dibagi menjadi 2 bagian, set...

Tahun lalu, saya membaca posting blog dari Brendan O'Connor yang berjudul "Statistics vs. Machine Learning, fight!" yang membahas beberapa perbedaan antara kedua bidang. Andrew Gelman menanggapi hal ini dengan baik : Simon Blomberg: Dari paket fortune R: Mengutip secara provokatif,...

Dalam definisi deviasi standar, mengapa kita harus kuadratkan perbedaan dari nilai rata-rata untuk mendapatkan nilai rata-rata (E) dan mengambil akar kuadrat kembali di akhir? Tidak bisakah kita hanya mengambil nilai absolut dari perbedaan sebagai gantinya dan mendapatkan nilai yang diharapkan...

K-means adalah metode yang banyak digunakan dalam analisis cluster. Dalam pemahaman saya, metode ini TIDAK memerlukan asumsi APAPUN, yaitu, beri saya dataset dan jumlah cluster yang ditentukan sebelumnya, k, dan saya hanya menerapkan algoritma ini yang meminimalkan jumlah kesalahan kuadrat (SSE),...

Banyak orang menggunakan alat utama seperti Excel atau spreadsheet lain, SPSS, Stata, atau R untuk kebutuhan statistik mereka. Mereka mungkin beralih ke beberapa paket khusus untuk kebutuhan yang sangat khusus, tetapi banyak hal dapat dilakukan dengan spreadsheet sederhana atau paket statistik umum...

Analisis komponen utama (PCA) biasanya dijelaskan melalui dekomposisi eigen dari matriks kovarians. Namun, dapat juga dilakukan melalui dekomposisi nilai singular (SVD) dari data matriks . Bagaimana cara kerjanya? Apa hubungan antara kedua pendekatan ini? Apa hubungan antara SVD dan PCA?XX\mathbf...

Ini adalah salah satu favorit saya: Satu entri per jawaban. (Ini ada di inti pertanyaan Stack Overflow Apa kartun “programmer” favorit Anda? ) PS Jangan hotlink kartun itu tanpa izin

Bagaimana Anda menjelaskan dalam bahasa Inggris biasa karakteristik yang membedakan penalaran Bayesian dari

Saya baru-baru ini menggunakan bootstrap untuk memperkirakan interval kepercayaan untuk suatu proyek. Seseorang yang tidak tahu banyak tentang statistik baru-baru ini meminta saya untuk menjelaskan mengapa bootstrap berfungsi, yaitu, mengapa melakukan resampling sampel yang sama berulang kali...

Misalkan kita memiliki kumpulan data dengan poin. Kami ingin melakukan regresi linier, tetapi pertama-tama kami mengurutkan nilai dan nilai secara independen satu sama lain, membentuk kumpulan data . Apakah ada interpretasi yang bermakna dari regresi pada set data baru? Apakah ini punya nama?n X i...

Apa perbedaan antara model Logit dan Probit ? Saya lebih tertarik di sini untuk mengetahui kapan harus menggunakan regresi logistik, dan kapan harus menggunakan Probit. Jika ada literatur yang mendefinisikannya menggunakan R , itu akan sangat membantu

Seorang mantan kolega pernah berdebat dengan saya sebagai berikut: Kami biasanya menerapkan tes normalitas pada hasil proses yang, di bawah nol, menghasilkan variabel acak yang hanya asimtotik atau hampir normal (dengan bagian 'asimtotik' bergantung pada beberapa kuantitas yang tidak dapat...

Dalam beberapa literatur, saya telah membaca bahwa regresi dengan berbagai variabel penjelas, jika dalam unit yang berbeda, perlu distandarisasi. (Standarisasi terdiri dari pengurangan mean dan pembagian dengan deviasi standar.) Dalam kasus lain apa saya perlu melakukan standarisasi data? Apakah...

Dalam istilah sederhana, bagaimana Anda menjelaskan (mungkin dengan contoh sederhana) perbedaan antara model efek tetap, efek acak dan campuran?

Saya tersesat dalam normalisasi, dapatkah seseorang membimbing saya? Saya memiliki nilai minimum dan maksimum, masing-masing -23,89 dan 7,54990767. Jika saya mendapatkan nilai 5,6878 bagaimana saya bisa skala nilai ini pada skala 0 hingga

Apa kutipan statistik favorit Anda? Ini adalah wiki komunitas, jadi tolong satu kutipan per jawaban.

Setelah mengambil kursus statistik dan kemudian mencoba membantu sesama siswa, saya perhatikan satu mata pelajaran yang menginspirasi banyak banging kepala kantor adalah menafsirkan hasil tes hipotesis statistik. Tampaknya siswa dengan mudah belajar bagaimana melakukan perhitungan yang diperlukan...