Saya tahu definisi matriks positif simetris positif (SPD), tetapi ingin lebih memahami. Mengapa mereka begitu penting, secara intuitif? Inilah yang saya tahu. Apa lagi? Untuk data yang diberikan, matriks Co-variance adalah SPD. Matriks co-variance adalah metrik penting, lihat posting yang luar...
Algoritma genetika adalah salah satu bentuk metode optimasi. Seringkali penurunan gradien stokastik dan turunannya adalah pilihan terbaik untuk optimasi fungsi, tetapi kadang-kadang algoritma genetika masih digunakan. Misalnya, antena pesawat ruang angkasa ST5 NASA dibuat dengan algoritma...
Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut,...
Kami memiliki banyak diskusi bagus tentang pemisahan sempurna dalam regresi logistik. Seperti, Regresi logistik dalam R menghasilkan pemisahan sempurna (fenomena Hauck-Donner). Sekarang apa? dan model regresi logistik tidak bertemu . Saya pribadi masih merasa itu tidak intuitif mengapa itu akan...
Saya baru belajar tentang pengoptimalan, dan mengalami kesulitan memahami perbedaan antara pengoptimalan cembung dan non-cembung. Dari pemahaman saya, fungsi cembung adalah salah satu di mana "segmen garis antara dua titik pada grafik fungsi berada di atas atau pada grafik". Dalam hal ini,...
Saya kira ini adalah pertanyaan dasar dan itu ada hubungannya dengan arah gradien itu sendiri, tapi saya sedang mencari contoh di mana metode urutan ke-2 (misalnya BFGS ) lebih efektif daripada penurunan gradien
Ada penelitian kontemporer substansial tentang Bayesian Optimization (1) untuk menyetel hiperparameter ML. Motivasi mengemudi di sini adalah bahwa jumlah minimal titik data diperlukan untuk membuat pilihan berdasarkan informasi tentang poin apa yang layak untuk dicoba (panggilan fungsi obyektif itu...
Dari setiap algoritma pengambilan sampel generik, seseorang dapat memperoleh suatu algoritma optimasi. Memang, untuk memaksimalkan fungsi sewenang-wenang , cukup untuk mengambil sampel dari . Untuk cukup kecil, sampel-sampel ini akan mendekati maksimum global (atau maksimum lokal dalam praktik)...
Saya mencoba meminimalkan fungsi khusus. Ini harus menerima lima parameter dan kumpulan data dan melakukan segala macam perhitungan, menghasilkan angka tunggal sebagai output. Saya ingin menemukan kombinasi lima parameter input yang menghasilkan output terkecil dari fungsi
Saya telah melihat kesimpulan serupa dari banyak diskusi, bahwa ketika ukuran minibatch semakin besar konvergensi SGD sebenarnya semakin sulit / buruk, misalnya tulisan ini dan jawaban ini . Saya juga pernah mendengar ada orang yang menggunakan trik seperti kecepatan belajar kecil atau ukuran batch...
Kami mendefinisikan zaman sebagai telah melalui keseluruhan dari semua sampel pelatihan yang tersedia, dan ukuran mini-batch sebagai jumlah sampel yang kami rata-rata menemukan pembaruan untuk bobot / bias yang diperlukan untuk turun gradien. Pertanyaan saya adalah apakah kita harus menggambar...
Apakah ada definisi matematis atau algoritmik overfitting? Definisi yang sering disediakan adalah plot 2-D klasik dari titik-titik dengan garis yang melewati setiap titik dan kurva kehilangan validasi tiba-tiba naik. Tetapi apakah ada definisi matematis yang
Banyak tutorial bicara online tentang gradient descent dan hampir semuanya menggunakan ukuran langkah tetap (tingkat pembelajaran ). Mengapa tidak ada penggunaan pencarian baris (seperti pencarian garis backtracking atau pencarian baris yang
Seseorang dapat melakukan regresi logit di R menggunakan kode seperti: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Sepertinya algoritme...
Saya menemukan implementasi Python ini dari algoritma Jenks Natural Breaks dan saya bisa membuatnya berjalan di mesin Windows 7 saya. Ini cukup cepat dan menemukan jeda dalam beberapa waktu, mengingat ukuran geodata saya. Sebelum menggunakan algoritma pengelompokan ini untuk data saya, saya...
Apa pro & kontra dari kedua metode
Saya sudah mencoba kode algoritma untuk menyarankan taruhan di 1X2 (game berbobot). Pada dasarnya, setiap pertandingan memiliki serangkaian pertandingan (tim kandang vs tim tamu): 1: rumah menang X: seri 2: kemenangan tandang Untuk setiap pertandingan dan simbol ( 1, Xdan 2), saya akan...
Saya menggunakan glmerfungsi dari lme4paket dalam R, dan saya menggunakan bobyqapengoptimal (yaitu default dalam kasus saya). Saya mendapat peringatan, dan saya ingin tahu apa artinya. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from...
Jika kita mulai dengan satu set data , menerapkan Lasso untuk itu dan mendapatkan solusi β L , kita dapat menerapkan Lasso lagi ke set data ( X S , Y ) , di mana S adalah himpunan bukan-nol indeks β L , untuk mendapatkan solusi, β R L , disebut solusi 'santai LASSO' (koreksi saya jika saya salah!)....
Pertanyaan saya adalah: Apakah model linier umum (GLM) dijamin untuk konvergen ke global maksimum? Jika demikian, mengapa? Lebih lanjut, kendala apa yang ada pada fungsi tautan untuk memastikan kecemburuan? Pemahaman saya tentang GLM adalah bahwa mereka memaksimalkan fungsi kemungkinan sangat...