Statistik dan Big Data

Untuk studi simulasi saya harus membuat variabel acak yang menunjukkan korelasi (populasi) prefined ke variabel .YYY Saya melihat ke dalam Rpaket copuladan CDVineyang dapat menghasilkan distribusi multivarian acak dengan struktur ketergantungan yang diberikan. Namun, tidak mungkin untuk...

Apakah skor komponen utama (skor PC, skor

Pertanyaan ini telah dipicu oleh sesuatu yang saya baca di buku teks statistik tingkat pascasarjana ini dan juga (secara independen) didengar selama presentasi ini di seminar statistik. Dalam kedua kasus, pernyataan itu sepanjang garis "karena ukuran sampel cukup kecil, kami memutuskan untuk...

Perkiraan koefisien regresi punggungan adalah nilai yang meminimalkanβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Pertanyaan saya adalah: Jika , maka kita melihat bahwa ekspresi di atas berkurang ke RSS yang biasa. Bagaimana jika ? Saya tidak...

Tampaknya penambangan data dan pembelajaran mesin menjadi sangat populer sehingga sekarang hampir setiap siswa CS tahu tentang pengklasifikasian, pengelompokan, statistik NLP ... dll. Jadi, menemukan penambang data bukanlah hal yang sulit saat ini. Pertanyaan saya adalah: Apa keterampilan yang...

Dalam kursus pembelajaran mesin Andrew Ng , ia memperkenalkan regresi linier dan regresi logistik, dan menunjukkan bagaimana menyesuaikan parameter model menggunakan gradient descent dan metode Newton. Saya tahu gradient descent dapat berguna dalam beberapa aplikasi pembelajaran mesin (misalnya,...

Bagaimana saya bisa menghapus baris duplikat dari frame data contoh ini? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Saya ingin menghapus duplikat berdasarkan kedua kolom: A 1 A 2 B 4 B 1 C 2 Ketertiban tidak

Saat ini saya sedang mengerjakan makalah penelitian eksperimental semu. Saya hanya memiliki ukuran sampel 15 karena populasi rendah di daerah yang dipilih dan hanya 15 yang sesuai dengan kriteria saya. Apakah 15 ukuran sampel minimum untuk menghitung uji-t dan uji-F? Jika demikian, di mana saya...

Pertanyaannya: Apakah ada contoh bagus dari penelitian yang dapat direproduksi menggunakan R yang tersedia secara online secara gratis? Contoh Ideal: Khususnya, contoh ideal akan memberikan: Data mentah (dan idealnya meta data yang menjelaskan data), Semua kode R termasuk impor data,...

Dalam regresi linier berganda, mengapa mungkin untuk memiliki statistik F yang sangat signifikan (p <0,001) tetapi memiliki nilai p yang sangat tinggi pada semua uji t regresi? Dalam model saya, ada 10 regresi. Satu memiliki nilai p 0,1 dan sisanya di atas 0,9 Untuk mengatasi masalah ini...

Pertanyaan: Saya ingin memastikan sesuatu, apakah penggunaan k-fold cross-validation dengan deret waktu sangat mudah, atau apakah orang perlu memberi perhatian khusus sebelum menggunakannya? Latar Belakang: Saya memodelkan serangkaian waktu 6 tahun (dengan rantai semi-markov), dengan sampel data...

Ekonometrik memiliki tumpang tindih yang substansial dengan statistik tradisional, tetapi sering menggunakan jargonnya sendiri tentang berbagai topik ("identifikasi," "eksogen," dll.). Saya pernah mendengar seorang profesor statistik terapan di bidang lain berkomentar bahwa istilahnya sering...

Latar Belakang Saya bekerja di Pusat Operasi Jaringan, kami memantau sistem komputer dan kinerjanya. Salah satu metrik utama untuk dipantau adalah sejumlah pengunjung \ pelanggan yang saat ini terhubung ke server kami. Untuk membuatnya terlihat, kami (tim Ops) mengumpulkan metrik seperti data...

Saya ingin tahu, bagi Anda yang memiliki pengalaman luas berkolaborasi dengan peneliti lain, apa beberapa kesalahpahaman paling umum tentang regresi linier yang Anda temui? Saya pikir bisa menjadi latihan yang berguna untuk memikirkan kesalahpahaman umum sebelumnya Mengantisipasi kesalahan...

Kembali pada bulan April, saya menghadiri ceramah di seri seminar kelompok Statistik Departemen Matematika UMD yang disebut "To Explain or To Predict?". Pembicaraan diberikan oleh Prof. Galit Shmueli yang mengajar di Smith Business School UMD. Ceramahnya didasarkan pada penelitian yang dia lakukan...

Apa strategi yang tepat untuk memisahkan dataset? Saya meminta umpan balik pada pendekatan berikut (tidak pada parameter individu seperti test_sizeatau n_iter, tetapi jika saya menggunakan X, y, X_train, y_train, X_test, dan y_testtepat dan jika urutan masuk akal): (memperluas contoh ini dari...

Analisis korelasi kanonik (CCA) adalah teknik yang terkait dengan analisis komponen utama (PCA). Meskipun mudah untuk mengajarkan PCA atau regresi linier menggunakan plot pencar (lihat beberapa ribu contoh di pencarian gambar google), saya belum melihat contoh dua dimensi intuitif yang serupa untuk...

Perlu memahami cara kerja lapisan 'Embedding' di perpustakaan Keras. Saya menjalankan kode berikut dengan Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array =...

Meskipun semua gambar dalam dataset MNIST dipusatkan, dengan skala yang sama, dan menghadap ke atas tanpa rotasi, mereka memiliki variasi tulisan tangan yang signifikan yang membuat saya bingung bagaimana model linier mencapai akurasi klasifikasi tinggi. Sejauh yang saya bisa memvisualisasikan,...

Saya membandingkan ?prcompdan ?princompdan menemukan sesuatu tentang analisis komponen utama Q-mode dan R-mode (PCA). Tapi jujur ​​- saya tidak mengerti. Adakah yang bisa menjelaskan perbedaannya dan bahkan mungkin menjelaskan kapan