Pertanyaan ini berkaitan dengan estimasi kemungkinan maksimum terbatas (REML) dalam versi tertentu dari model linier, yaitu: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), di mana adalah matriks ( ) yang diparameterisasi oleh...
Literatur pembelajaran yang mendalam penuh dengan trik pintar dengan menggunakan tingkat pembelajaran yang tidak konstan dalam gradient descent. Hal-hal seperti peluruhan eksponensial, RMSprop, Adagrad dll mudah untuk diimplementasikan dan tersedia di setiap paket pembelajaran yang mendalam, namun...
Pertanyaan ini sudah memiliki jawaban di sini : Algoritma backpropagation (2 jawaban) Ditutup 3 bulan lalu . Apa algoritma back-propagation dan bagaimana cara
Klasifikasi Naive Bayes adalah pengklasifikasi yang menetapkan item ke kelas berdasarkan pada memaksimalkan posterior untuk keanggotaan kelas, dan mengasumsikan bahwa fitur dari item tersebut independen.xxxCCCP(C|x)P(C|x)P(C|x) Kehilangan 0-1 adalah kerugian yang menyebabkan hilangnya klasifikasi...
Apakah ada alternatif cepat untuk algoritma EM untuk model pembelajaran dengan variabel laten (terutama pLSA)? Saya baik-baik saja dengan mengorbankan presisi demi
Baru-baru ini saya telah membaca makalah oleh Yann Dauphin et al. Mengidentifikasi dan menyerang masalah saddle point dalam optimasi non-cembung dimensi tinggi , di mana mereka memperkenalkan algoritma keturunan yang menarik yang disebut Saddle-Free Newton , yang tampaknya dirancang khusus untuk...
Seorang teman saya menjual model kkk blender. Beberapa blender sangat sederhana dan murah, yang lain sangat canggih dan lebih mahal. Data-Nya terdiri, untuk setiap bulan, dari harga masing-masing blender (yang ditetapkan olehnya), dan jumlah unit yang terjual untuk setiap model. Untuk membuat...
Salah satu motivasi untuk jaring elastis adalah batasan LASSO sebagai berikut: Dalam kasus p>np>np > n , laso memilih paling banyak n variabel sebelum jenuh, karena sifat masalah optimisasi cembung. Ini tampaknya menjadi fitur pembatas untuk metode pemilihan variabel. Selain itu, laso...
Saya ingin tahu berapa banyak pembelajaran mesin membutuhkan optimasi. Dari apa yang saya dengar statistik adalah topik matematika yang penting bagi orang yang bekerja dengan pembelajaran mesin. Demikian pula seberapa pentingkah bagi seseorang yang bekerja dengan pembelajaran mesin untuk belajar...
Objektif Konfirmasikan apakah pemahaman tentang KKT benar atau tidak. Cari penjelasan dan konfirmasi lebih lanjut tentang KKT. Latar Belakang Mencoba memahami kondisi KKT, terutama yang saling melengkapi, yang selalu muncul tiba-tiba dalam artikel SVM. Saya tidak perlu daftar formula abstrak...
Saya mencoba untuk menyetel hyperparameter dari algoritma regresi proses gaussian yang telah saya terapkan. Saya hanya ingin memaksimalkan kemungkinan marginal log yang diberikan oleh rumus mana K adalah matriks kovarians dengan elemen K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2}...
Saya sedang mengerjakan proyek untuk filtering kolaboratif (CF), yaitu menyelesaikan matriks yang diamati sebagian atau secara umum tensor. Saya seorang pemula di lapangan, dan untuk proyek ini akhirnya saya harus membandingkan metode kami dengan yang terkenal lainnya yang saat ini, metode yang...
Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa...
Apakah ada kelompok penelitian yang berupaya menggunakan pembelajaran yang mendalam untuk masalah optimisasi kombinatorial?
Saya ingin memahami uji pasti fisher dengan lebih baik, jadi saya menyusun contoh mainan berikut ini, di mana f dan m berhubungan dengan pria dan wanita, dan n dan y berhubungan dengan "konsumsi soda" seperti ini: > soda_gender f m n 0 5 y 5 0 Jelas, ini adalah penyederhanaan yang...
TL; DR: lme4optimasi tampaknya linier dalam jumlah parameter model secara default, dan jauh lebih lambat daripada glmmodel yang setara dengan variabel dummy untuk grup. Apakah ada yang bisa saya lakukan untuk mempercepatnya? Saya mencoba menyesuaikan model logit hierarkis yang cukup besar (~...
Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali...
Fungsi objektif dari Principal Component Analysis (PCA) adalah meminimalkan kesalahan rekonstruksi dalam norma L2 (lihat bagian 2.12 di sini . Pandangan lain sedang mencoba untuk memaksimalkan varians pada proyeksi. Kami juga memiliki posting yang sangat baik di sini: Apa fungsi tujuan PCA ?...
Saya mencoba memahami proses pelatihan mesin vektor dukungan linear . Saya menyadari bahwa properti SMV memungkinkan mereka dioptimalkan lebih cepat daripada dengan menggunakan pemecah pemrograman kuadratik, tetapi untuk tujuan pembelajaran saya ingin melihat bagaimana ini bekerja. Data...
Latar belakang dan masalah Saya menggunakan Proses Gaussian (GP) untuk regresi dan optimasi Bayesian berikutnya (BO). Untuk regresi saya menggunakan paket gpml untuk MATLAB dengan beberapa modifikasi custom-made, tetapi masalahnya umum. Adalah fakta yang diketahui bahwa ketika dua input pelatihan...