Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini:
Dalam Pembelajaran Dalam François Chollet dengan Python dikatakan: Akibatnya, menyetel konfigurasi model berdasarkan kinerjanya pada set validasi dapat dengan cepat menghasilkan overfitting ke set validasi, meskipun model Anda tidak pernah dilatih secara langsung mengenai hal itu. Inti dari...
Saat ini sedang belajar regresi ridge dan saya agak bingung tentang hukuman model yang lebih kompleks (atau definisi model yang lebih kompleks). Dari apa yang saya mengerti, kompleksitas model tidak selalu berkorelasi dengan urutan polinomial. Jadi: adalah model yang lebih kompleks daripada:2 + 3...
Secara umum, jika kita memiliki dataset besar, kita dapat membaginya menjadi (1) pelatihan, (2) validasi, dan (3) tes. Kami menggunakan validasi untuk mengidentifikasi hyperparameter terbaik dalam validasi silang (misalnya, C dalam SVM) dan kemudian kami melatih model menggunakan hyperparameter...
Apakah mungkin untuk melakukan pemilihan penuh parameter Bayesian (1) yang diperkirakan penuh (misalnya skala kovarian) dengan kode GPML, alih-alih memaksimalkan kemungkinan marginal (2)? Saya pikir menggunakan metode MCMC untuk menyelesaikan integral yang melibatkan hyper-parameter sebelumnya...