Pertanyaan saya adalah: Apakah model linier umum (GLM) dijamin untuk konvergen ke global maksimum? Jika demikian, mengapa? Lebih lanjut, kendala apa yang ada pada fungsi tautan untuk memastikan kecemburuan? Pemahaman saya tentang GLM adalah bahwa mereka memaksimalkan fungsi kemungkinan sangat...
Saya sudah mencoba kode algoritma untuk menyarankan taruhan di 1X2 (game berbobot). Pada dasarnya, setiap pertandingan memiliki serangkaian pertandingan (tim kandang vs tim tamu): 1: rumah menang X: seri 2: kemenangan tandang Untuk setiap pertandingan dan simbol ( 1, Xdan 2), saya akan...
Saya mencoba menggunakan kuadrat kerugian untuk melakukan klasifikasi biner pada kumpulan data mainan. Saya menggunakan mtcarskumpulan data, menggunakan mil per galon dan berat untuk memprediksi jenis transmisi. Plot di bawah ini menunjukkan dua jenis data tipe transmisi dalam warna berbeda, dan...
Saya perlu menemukan fungsi minimum. Membaca dokumen di http://docs.scipy.org/doc/scipy/reference/optimize.html Saya melihat bahwa ada beberapa algoritma yang melakukan hal yang sama, yaitu menemukan minimum. Bagaimana saya tahu yang mana yang harus saya pilih? beberapa algoritma...
Ada banyak literatur yang menekankan metode Maksimalisasi Ekspektasi pada model campuran (Campuran Gaussian, Hidden Markov Model, dll.). Mengapa EM itu penting? EM hanyalah cara untuk melakukan optimasi dan tidak banyak digunakan sebagai metode berbasis gradien (layak gradien atau metode newton /...
Keturunan Gradien Standar akan menghitung gradien untuk seluruh dataset pelatihan. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Untuk jumlah zaman yang ditentukan sebelumnya, pertama-tama kita menghitung...
Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning oleh Begnio, Goodfellow dan Courtville: Adam menyertakan koreksi bias pada estimasi momen momen orde pertama (istilah momentum) dan momen orde kedua (tanpa fokus) untuk...
Dalam pengaturan umum algoritma gradient descent, kami memiliki mana adalah titik saat ini, adalah ukuran langkah dan adalah gradien dievaluasi pada . x n η g r a d i e n t x n x nxn + 1= xn- η∗ gr a di e n txnxn+1=xn-η∗grSebuahdsayaentxnx_{n+1} = x_{n} - \eta * gradient_{x_n}xnxnx_nηη\etagr a di e...
Sebagai tindak lanjut dari jaringan saraf saya, saya bahkan tidak bisa mempelajari jarak Euclidean. Saya menyederhanakan lebih banyak lagi dan mencoba melatih satu ReLU tunggal (dengan berat acak) menjadi satu ReLU tunggal. Ini adalah jaringan paling sederhana yang ada, namun separuh dari waktu...
Saya ingin mencocokkan output dari lmer (benar-benar glmer) dengan contoh binomial mainan. Saya sudah membaca sketsa dan yakin saya mengerti apa yang sedang terjadi. Tapi ternyata saya tidak. Setelah macet, saya memperbaiki "kebenaran" dalam hal efek acak dan pergi setelah memperkirakan efek tetap...
Saya mencoba memahami bagaimana parameter diperkirakan dalam pemodelan ARIMA / Box Jenkins (BJ). Sayangnya tidak ada buku yang saya temui yang menjelaskan prosedur estimasi seperti prosedur estimasi Log-Likelihood secara terperinci. Saya menemukan situs web / materi pengajaran yang sangat membantu....
Saya telah membaca banyak tentang jaringan saraf convoloutional dan bertanya-tanya bagaimana mereka menghindari masalah gradien menghilang. Saya tahu jaringan kepercayaan yang mendalam menumpuk auto-encoders tingkat tunggal atau jaringan dangkal pra-terlatih lainnya dan dengan demikian dapat...
Saya bereksperimen sedikit dengan implementasi Perceptron yang berbeda dan ingin memastikan apakah saya memahami "iterasi" dengan benar. Aturan perceptron asli Rosenblatt Sejauh yang saya mengerti, dalam algoritma perceptron klasik Rosenblatt, bobot secara bersamaan diperbarui setelah setiap...
Saya telah mendengar ungkapan berikut sebelumnya: "Optimasi adalah akar dari semua kejahatan dalam statistik". Sebagai contoh, jawaban teratas di utas ini membuat pernyataan itu mengacu pada bahaya mengoptimalkan terlalu agresif selama pemilihan model. Pertanyaan pertama saya adalah sebagai...
Saya punya pertanyaan tentang optimasi parameter ketika saya menggunakan validasi silang 10 kali lipat. Saya ingin bertanya apakah parameter harus diperbaiki atau tidak selama pelatihan model setiap lipatan, yaitu (1) pilih satu set parameter yang dioptimalkan untuk akurasi rata-rata setiap...
Saya tahu k-means biasanya dioptimalkan menggunakan Expectation Maximization . Namun kami dapat mengoptimalkan fungsi kerugiannya dengan cara yang sama kami mengoptimalkan lainnya! Saya menemukan beberapa makalah yang benar-benar menggunakan keturunan gradien stokastik untuk k-means skala besar,...
Tujuan dari makalah ini adalah untuk mengoptimalkan beberapa parameter dengan memaksimalkan log-likelihood yang diatur. Kemudian mereka menghitung turunan parsial. Dan kemudian penulis menyebutkan bahwa mereka mengoptimalkan persamaan menggunakan L-BFGS, prosedur kuasi-Newton standar untuk...
Adakah rekomendasi untuk pilihan pustaka optimasi terbatas yang cocok untuk fungsi optimasi saya? Saya meminimalkan ai) fungsi non-linear dengan kendala kesetaraan dan ketidaksetaraan linear, dan ii) telah menyediakan gradien dan goni fungsi. Jika ini membantu, fungsi yang saya minimalkan adalah...
Tujuan saya adalah mengklasifikasikan sinyal sensor. Konsep solusi saya sejauh ini adalah: i) Fitur teknik dari sinyal mentah ii) Memilih fitur yang relevan dengan ReliefF dan pendekatan pengelompokan iii) Menerapkan NN, Random Forest dan SVM Namun saya terjebak dalam dilema. Dalam ii) dan iii),...
Pertanyaan ini berkaitan dengan estimasi kemungkinan maksimum terbatas (REML) dalam versi tertentu dari model linier, yaitu: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), di mana adalah matriks ( ) yang diparameterisasi oleh...