Statistik dan Big Data

Misalkan Saya menjalankan regresi . Mengapa dengan memilih komponen prinsip k atas X , apakah model mempertahankan daya prediksi pada Y ?Y∼XY∼XY \sim XkkkXXXYYY Saya mengerti bahwa dari dimensi-reduksi / titik fitur-seleksi pandang, jika adalah vektor eigen dari kovarians matriks X dengan top k...

Mengapa fungsi aktivasi unit linear yang diperbaiki (ReLU) dianggap non-linear? f( x ) = maks ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Mereka linier ketika input positif dan dari pemahaman saya untuk membuka kekuatan representatif dari jaringan yang dalam, aktivasi non-linear adalah suatu...

Saya mencoba melakukan analisis deret waktu dan saya baru di bidang ini. Saya memiliki hitungan harian acara dari 2006-2009 dan saya ingin menyesuaikan model deret waktu untuk itu. Inilah kemajuan yang telah saya buat: timeSeriesObj =

Dalam beberapa kuliah dan tutorial yang saya lihat, mereka menyarankan untuk membagi data Anda menjadi tiga bagian: pelatihan, validasi, dan tes. Tetapi tidak jelas bagaimana dataset uji harus digunakan, atau bagaimana pendekatan ini lebih baik daripada validasi silang atas seluruh kumpulan...

Saya sedang melakukan validasi silang bersarang. Saya telah membaca bahwa validasi silang tinggalkan satu dapat bias (tidak ingat mengapa). Apakah lebih baik menggunakan 10 kali lipat cross-validasi atau cuti-satu-out cross-validasi terpisah dari runtime lebih lama untuk cuti-satu-out...

Varians dikatakan ukuran penyebaran. Jadi, saya berpikir bahwa varians 3,5sama dengan varians 3,3,5,5karena jumlahnya tersebar merata. Tapi ini tidak terjadi, varians dari 3,5adalah 2sedangkan varian 3,3,5,5adalah 1 1/3. Ini membingungkan saya, mengingat penjelasan bahwa varians seharusnya menjadi...

Saya berharap mendapatkan penjelasan intuitif dan dapat diakses dari regresi kuantil. Katakanlah saya memiliki dataset sederhana hasil , dan prediktor .X 1 , X 2YYYX1, X2X1,X2X_1, X_2 Misalnya, jika saya menjalankan regresi kuantil pada 0,25, .5, .75, dan mendapatkan kembali .β0 , .25, β1 , .25....

Apa keuntungannya, mengapa seseorang menggunakan banyak LSTM, ditumpuk satu demi satu, dalam jaringan yang dalam? Saya menggunakan LSTM untuk mewakili urutan input sebagai input tunggal. Jadi, begitu saya memiliki representasi tunggal itu — mengapa saya harus melewatinya lagi? Saya bertanya ini...

Saya tahu bahwa komunitas fisika dan matematika sangat menyukai ArXiv, tetapi bagaimana dengan komunitas statistik? Apakah sudah biasa memposting di sana sebelum

Saya telah membaca sebuah artikel yang mengatakan bahwa ketika menggunakan kontras yang direncanakan untuk menemukan cara yang berbeda dalam ANOVA satu arah, konstrast harus ortogonal sehingga mereka tidak berkorelasi dan mencegah kesalahan tipe I dari inflasi. Saya tidak mengerti mengapa...

Saya telah bekerja dengan kumpulan data besar belakangan ini dan menemukan banyak makalah metode streaming. Untuk beberapa nama: Ikuti-the-Regularized-Leader dan Mirror Descent: Teorema Kesetaraan dan Regularisasi L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Streamed...

Dalam buku Jaynes "Probability Theory: The Logic of Science" , Jaynes memiliki bab (Bab 18) berjudul " Distribusi dan aturan suksesi" di mana ia memperkenalkan ide distribusi , yang mana bagian ini membantu menggambarkan:ApApA_pApApA_p [...] Untuk melihatnya, bayangkan efek mendapatkan informasi...

Estimasi kemungkinan maksimum seringkali menghasilkan estimasi bias (mis. Estimasi untuk varians sampel bias untuk distribusi Gaussian). Lalu apa yang membuatnya begitu populer? Mengapa persisnya itu digunakan begitu banyak? Juga, apa yang secara khusus membuatnya lebih baik daripada pendekatan...

Membaca CV klasik sepanjang masa, saya menemukan pernyataan yang ingin saya klarifikasi. Ini adalah posting dan pertanyaan saya mengacu pada kata penutup: "Saya harus mencatat bahwa semua pengetahuan yang baru saja saya berikan agak usang; sekarang kami memiliki komputer, kami bisa melakukan lebih...

Saat ini saya kesulitan menemukan model yang tepat untuk data penghitungan yang sulit (variabel dependen). Saya telah mencoba berbagai model yang berbeda (model efek campuran diperlukan untuk jenis data saya) seperti lmerdan lme4(dengan log transformasi) serta model efek campuran linier umum dengan...

Saya ingin menunjukkan bagaimana nilai-nilai variabel tertentu (~ 15) berubah seiring waktu, tetapi saya juga ingin menunjukkan bagaimana variabel berbeda satu sama lain di setiap tahun. Jadi saya membuat plot ini: Tetapi bahkan ketika mengubah skema warna atau menambahkan jenis garis / bentuk...

Saya telah menjadi semacam nihilis ketika datang ke peringkat tingkat kepentingan variabel (dalam konteks model multivarian dari semua jenis). Seringkali dalam perjalanan pekerjaan saya, saya diminta untuk membantu tim lain menghasilkan peringkat kepentingan variabel, atau menghasilkan peringkat...

Sepanjang kami menganggap statistik kami adalah fungsi dari beberapa data yang diambil dari fungsi distribusi ; fungsi distribusi empiris dari sampel kami adalah . Jadi adalah statistik yang dilihat sebagai variabel acak dan adalah versi statistik bootstrap. Kami menggunakan sebagai jarak...

Kutipan blok di bawah ini, dari para pemimpin di bidang pemodelan efek campuran, mengklaim bahwa mengoordinasikan pergeseran dalam model dengan korelasi nol antara efek acak (model 'ZCP') mengubah prediksi model. Tapi, bisakah seseorang menguraikan atau lebih jauh membenarkan klaim...

Saya membaca tentang fungsi kuantil, tetapi tidak jelas bagi saya. Bisakah Anda memberikan penjelasan yang lebih intuitif daripada yang disediakan di bawah ini? Karena cdf FFF adalah fungsi yang meningkat secara monoton, ia memiliki kebalikan; mari kita nyatakan ini dengan F−1F−1F^{−1} . Jika...