Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang...
Saya selalu berjuang untuk mendapatkan esensi sejati dari masalah parameter insidental. Saya membaca dalam beberapa kesempatan bahwa penduga efek tetap dari model data panel nonlinier dapat sangat bias karena masalah parameter insidental "terkenal". Ketika saya meminta penjelasan yang jelas...
Tempat saya telah membaca tentang kutukan dimensionalitas menjelaskannya dalam hubungannya dengan kNN terutama, dan model linier secara umum. Saya secara teratur melihat peringkat teratas di Kaggle menggunakan ribuan fitur pada dataset yang hampir tidak memiliki 100k titik data. Mereka terutama...
Saya berencana untuk menggunakan validasi silang 10 kali lipat bertingkat yang diulang (sekitar 10 kali) pada sekitar 10.000 kasus menggunakan algoritma pembelajaran mesin. Setiap kali repetisi akan dilakukan dengan seed acak berbeda. Dalam proses ini saya membuat 10 contoh estimasi probabilitas...
Saat ini saya mencoba menerapkan model linier ( family = gaussian) ke indikator keanekaragaman hayati yang tidak dapat mengambil nilai lebih rendah dari nol, inflasi nol dan berkelanjutan. Nilai berkisar dari 0 hingga sedikit di atas 0,25. Sebagai akibatnya, ada pola yang cukup jelas dalam residu...
Saya sedang melakukan analisis data eksplorasi (EDA) pada dataset. Kemudian saya akan memilih beberapa fitur untuk memprediksi variabel dependen. Pertanyaannya adalah: Apakah saya harus melakukan EDA hanya pada dataset pelatihan saya? Atau haruskah saya bergabung dengan pelatihan dan menguji...
Hari ini, saya bermain-main dengan dataset kecil dan melakukan regresi OLS sederhana yang saya harapkan gagal karena multikolinieritas sempurna. Namun, ternyata tidak. Ini menyiratkan bahwa pemahaman saya tentang multikolinieritas salah. Pertanyaan saya adalah: Di mana saya salah? Saya pikir...
Misalkan kita memiliki proses Bernoulli dengan probabilitas kegagalan qqq (yang akan menjadi kecil, katakanlah, q≤0.01q≤0.01q \leq 0.01 ) dari mana kita sampel sampai kita menemukan 101010 kegagalan. Kami dengan demikian memperkirakan probabilitas kegagalan sebagai q : = 10 / N di mana N adalah...
Saya bertanya-tanya apa kriteria untuk menggunakan Kolmogorov-Smirnov, Cramer-von-Mises, dan Anderson-Darling ketika membandingkan 2 ECDFS. Saya tahu matematika tentang bagaimana masing-masing berbeda, tetapi jika saya memiliki beberapa data ECDF, bagaimana saya tahu tes mana yang sesuai untuk...
Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Saya seharusnya mengajar teorema Frish Waugh di bidang ekonometrika, yang belum saya pelajari. Saya telah memahami matematika di baliknya dan saya harap idenya juga "koefisien yang Anda dapatkan untuk koefisien tertentu dari model linier berganda sama dengan koefisien model regresi sederhana jika...
Saya seorang insinyur perangkat lunak yang sedang mengerjakan pembelajaran mesin. Dari pemahaman saya, regresi linier (seperti OLS) dan klasifikasi linier (seperti regresi logistik dan SVM) membuat prediksi berdasarkan produk dalam antara koefisien terlatih dan variabel fitur → x...
Saya mencoba untuk menduplikasi hasil dari sklearnperpustakaan regresi logistik menggunakan glmnetpaket di R. sklearnminw,c12wTw+C∑i=1Nlog(exp(−yi(XTiw+c))+1)minw,c12wTw+C∑i=1Nlog(exp(-ysaya(XsayaTw+c))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) Dari sketsa dari...
Apakah membandingkan fitur menggunakan fitur F-regressionyang sama dengan yang berhubungan dengan label secara individual dan mengamati nilai ?R2R2R^2 Saya sering melihat rekan-rekan saya menggunakan pilihan F regressionuntuk fitur dalam pipa pembelajaran mesin mereka dari
Asumsi dasar menggunakan model regresi untuk inferensi adalah bahwa "semua prediktor yang relevan" telah dimasukkan dalam persamaan prediksi. Alasannya adalah bahwa kegagalan untuk memasukkan faktor dunia nyata yang penting mengarah pada koefisien bias dan dengan demikian kesimpulan yang tidak...
Saya menganalisis set data menggunakan model efek campuran dengan satu efek tetap (kondisi) dan dua efek acak (peserta karena desain subjek dan pasangan dalam). Model ini dihasilkan dengan lme4paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Selanjutnya, saya...
Saya baru saja membaca ini artikel BBC ini tentang format kualifikasi di Formula 1. Penyelenggara ingin membuat kualifikasi menjadi kurang dapat diprediksi, yaitu meningkatkan variasi statistik dalam hasilnya. Meliputi beberapa rincian yang tidak relevan, pada saat driver diberi peringkat oleh...
Saya cukup baru di hutan acak. Di masa lalu, saya selalu membandingkan akurasi fit vs tes terhadap fit vs kereta untuk mendeteksi overfitting apapun. Tapi saya baru baca di sini bahwa: "Di hutan acak, tidak perlu untuk validasi silang atau set tes terpisah untuk mendapatkan estimasi yang tidak...
Saya memiliki masalah dalam memahami mengapa Bayesian Inference mengarah pada masalah yang sulit diselesaikan. Masalahnya sering dijelaskan seperti ini: Apa yang saya tidak mengerti adalah mengapa integral ini harus dievaluasi di tempat pertama: Tampaknya bagi saya bahwa hasil integral adalah...
Setelah membaca posting blog ini tentang model deret waktu struktural Bayesian, saya ingin melihat penerapan ini dalam konteks masalah yang sebelumnya saya gunakan untuk ARIMA. Saya memiliki beberapa data dengan beberapa komponen musiman yang diketahui (tetapi berisik) - pasti ada komponen...