Apa sajakah kelemahan dari optimasi parameter hyper bayesian?

9

Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini: https://github.com/fmfn/BayesianOptimization

Apakah optimasi bayesian dari hiperparameter Anda memiliki batasan atau kelemahan utama atas teknik seperti pencarian kotak atau pencarian acak?

machine-learning optimization hyperparameter bayesian-optimization EtienneT
sumber
3
Tidak ada makan siang gratis dalam pencarian dan pengoptimalan . Secara umum, kecuali evaluasi fungsi biaya agak mahal dan dimensi masalah agak kecil, BO biasanya bukan jawabannya. Bidang Optimalisasi Matematika tidak menjadi usang karena penemuan Proses Gaussian.
usεr11852
3
Jawaban yang bagus Tetapi mengapa Anda mempostingnya dalam komentar?
Jan Kukacka
@JanKukacka Poin bagus. Saya sudah memindahkan komentar saya ke sebuah jawaban.
Sycorax berkata Reinstate Monica

Jawaban:

11
  1. hasilnya peka terhadap parameter model pengganti, yang biasanya ditetapkan pada beberapa nilai; ini meremehkan ketidakpastian; atau Anda harus sepenuhnya Bayesian dan dipinggirkan atas distribusi parameter hiper, yang bisa mahal dan sulit.
  2. dibutuhkan selusin sampel untuk mendapatkan permukaan pengganti yang baik dalam 2 atau 3 dimensi ruang pencarian; meningkatkan dimensi ruang pencarian membutuhkan lebih banyak sampel
  3. Optimalisasi Bayesian sendiri tergantung pada pengoptimal untuk mencari permukaan pengganti, yang memiliki biaya sendiri - masalah ini (semoga) lebih murah untuk dievaluasi daripada masalah aslinya, tetapi masih merupakan masalah optimisasi kotak-kendala non-cembung (yaitu, sulit!)
  4. memperkirakan model BO itu sendiri memiliki biaya

Untuk menyatakannya dengan cara lain, BO adalah upaya untuk menjaga jumlah evaluasi fungsi ke minimum, dan mendapatkan "bang for the buck" maksimal dari setiap evaluasi. Ini penting jika Anda melakukan tes destruktif, atau hanya melakukan simulasi yang membutuhkan waktu yang tidak senonoh untuk dieksekusi. Tetapi dalam semua kasus kecuali yang paling mahal, terapkan pencarian acak murni dan sebut itu sehari ! (Atau LIPO jika masalah Anda setuju dengan anggapannya.) Ini dapat menghemat sejumlah sakit kepala, seperti mengoptimalkan program Optimasi Bayesian Anda.

Sycorax berkata Reinstate Monica
sumber