Latar belakang dan masalah Saya menggunakan Proses Gaussian (GP) untuk regresi dan optimasi Bayesian berikutnya (BO). Untuk regresi saya menggunakan paket gpml untuk MATLAB dengan beberapa modifikasi custom-made, tetapi masalahnya umum. Adalah fakta yang diketahui bahwa ketika dua input pelatihan...
Saya melakukan percobaan pada set validasi EMNIST menggunakan jaringan dengan RMSProp, Adam dan SGD. Saya mencapai akurasi 87% dengan SGD (tingkat belajar 0,1) dan dropout (0,1 dropout prob) serta regularisasi L2 (penalti 1e-05). Saat menguji konfigurasi persis yang sama dengan RMSProp dan Adam...
Dalam pembelajaran mesin (untuk masalah regresi), saya sering melihat mean-squared-error (MSE) atau mean-absolute-error (MAE) digunakan sebagai fungsi kesalahan untuk meminimalkan (ditambah istilah regularisasi). Saya bertanya-tanya apakah ada situasi di mana menggunakan koefisien korelasi akan...
Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Berikut adalah masalah deviasi absolut terkecil yang terkait:. Saya tahu ini bisa diatur ulang sebagai masalah LP dengan cara berikut:argminwL(w)=∑ni=1|yi−wTx|argminwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min...
Dalam memilih parameter regularisasi lambda di Ridge atau Lasso, metode yang disarankan adalah mencoba nilai-nilai lambda yang berbeda, mengukur kesalahan dalam Set Validasi dan akhirnya memilih nilai lambda yang mengembalikan kesalahan terendah. Ini tidak jelas bagi saya jika fungsi f (lambda) =...
Saya mencoba menerapkan algoritma Nelder-Mead untuk mengoptimalkan fungsi. The wikipedia Halaman tentang Nelder-Mead adalah mengejutkan jelas tentang seluruh algoritma, kecuali untuk kriteria penghentian. Di sana dikatakan dengan sedih: Periksa konvergensi [klarifikasi diperlukan] . Saya...
Penata rambut saya, Stacey, selalu menunjukkan wajah yang bahagia, tetapi sering merasa stres mengatur waktu. Hari ini Stacey sudah terlambat karena pengangkatan saya dan sangat menyesal. Saat memotong rambut saya, saya bertanya-tanya: Berapa lama janji standarnya? (jika preferensi pelanggan untuk...
Saya memiliki fungsi kemungkinan untuk kemungkinan data saya memberikan beberapa parameter model , yang ingin saya perkirakan. Dengan asumsi prior prior pada parameter, kemungkinan proporsional dengan probabilitas posterior. Saya menggunakan metode MCMC untuk sampel probabilitas ini.L (d|...
Saya sedang mencari metode binning optimal (diskritisasi) dari variabel kontinu sehubungan dengan respon yang diberikan (target) variabel biner dan dengan jumlah interval maksimum sebagai parameter. contoh: Saya memiliki satu set pengamatan orang dengan variabel "tinggi" (angka kontinu) dan...
Ini adalah topik yang sulit bagi saya untuk Google karena memiliki kata optimasi dan stokastik dalam pencarian hampir secara otomatis default untuk mencari optimasi stokastik. Tetapi apa yang saya benar-benar ingin tahu adalah metode apa yang ada untuk optimasi model komputer ketika output model...
Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas...
The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan...
Saya telah menemukan slide ini (slide # 16 & # 17) di salah satu kursus online. Instruktur berusaha menjelaskan bagaimana Estimasi Posterior Maksimum (MAP) sebenarnya adalah solusi , di mana adalah parameter yang benar.θ ∗L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne...
Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange,...
Saya mencoba menyesuaikan model waktu-diskrit dalam R, tapi saya tidak yakin bagaimana melakukannya. Saya telah membaca bahwa Anda dapat mengatur variabel dependen dalam baris yang berbeda, satu untuk setiap pengamatan waktu, dan menggunakan glmfungsi dengan logit atau tautan cloglog. Dalam hal...
Sistem pemeringkatan Elo menggunakan algoritma minimisasi gradient descent dari fungsi kehilangan lintas-entropi antara probabilitas yang diharapkan dan yang diamati dari suatu hasil dalam perbandingan berpasangan. Kita dapat menulis fungsi kerugian umum
Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali...
Pada dasarnya saya ingin mengubah ukuran kesamaan menjadi bobot yang digunakan sebagai prediktor. Kesamaannya adalah pada [0,1], dan saya akan membatasi bobot juga pada [0,1]. Saya ingin fungsi paramteris yang melakukan pemetaan ini yang kemungkinan saya akan optimalkan menggunakan gradient...
Saya mengikuti tutorial mnist Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Tutorial menggunakan tf.train.Optimizer.minimize(khusus tf.train.GradientDescentOptimizer). Saya tidak melihat argumen yang dilewatkan di mana pun...