Keturunan gradien dan banyak metode lain berguna untuk menemukan minimum lokal dalam fungsi biaya. Mereka dapat menjadi efisien ketika fungsi biaya dapat dievaluasi dengan cepat di setiap titik, baik secara numerik atau analitik. Saya memiliki apa yang bagi saya merupakan situasi yang tidak...
Ada penelitian kontemporer substansial tentang Bayesian Optimization (1) untuk menyetel hiperparameter ML. Motivasi mengemudi di sini adalah bahwa jumlah minimal titik data diperlukan untuk membuat pilihan berdasarkan informasi tentang poin apa yang layak untuk dicoba (panggilan fungsi obyektif itu...
Latar belakang dan masalah Saya menggunakan Proses Gaussian (GP) untuk regresi dan optimasi Bayesian berikutnya (BO). Untuk regresi saya menggunakan paket gpml untuk MATLAB dengan beberapa modifikasi custom-made, tetapi masalahnya umum. Adalah fakta yang diketahui bahwa ketika dua input pelatihan...
Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini:
Saya memberikan Bayesian Optimization, mengikuti Snoek, Larochelle, dan Adams [ http://arxiv.org/pdf/1206.2944.pdf] , menggunakan GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Saya telah mengimplementasikan fungsi akuisisi Peningkatan yang Diharapkan yang dijelaskan pada halaman...
Kedua proses tampaknya digunakan untuk memperkirakan nilai maksimum dari fungsi yang tidak diketahui, dan keduanya jelas memiliki cara yang berbeda untuk melakukannya. Namun dalam praktiknya, apakah kedua metode itu pada dasarnya dapat dipertukarkan? Di mana saya ingin menggunakan salah...
Fungsi kotak hitam f:Rn→ Rf:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, yang dievaluasi secara tunduk pada noise Gaussian, yaitu, , dapat diminimalkan menggunakan optimasi Bayesian di mana Proses Gaussian digunakan sebagai model fungsi berisik.f( x ) + N( μ ( x ) , σ( x)2)f(x)+N(μ(x),σ(x)2)f(x) +...