Proses Dirichlet untuk pembelajaran yang diawasi?

8

Sepertinya ketika saya melihat-lihat algoritma pembelajaran yang modis, hal-hal seperti jaringan saraf, pohon-pohon yang dikuatkan, mesin vektor pendukung, hutan acak, dan teman-teman dipromosikan untuk masalah pembelajaran yang diawasi. Proses Dirichlet dan sejenisnya tampaknya sebagian besar disebutkan dalam masalah belajar tanpa pengawasan, seperti pengelompokan dokumen atau gambar. Saya melihat mereka terbiasa dengan masalah regresi, atau sebagai prior purpose priors ketika seseorang ingin melakukan statistik Bayesian dalam cara nonparametrik atau semiparametrik (misalnya sebagai fleksibel sebelum distribusi efek acak dalam model tertentu) tetapi pengalaman saya yang terbatas menunjukkan bahwa ini tidak banyak berasal dari kerumunan pembelajaran mesin seperti halnya dari ahli statistik yang lebih tradisional. Saya telah melakukan sedikit pencarian di Google dan saya

Jadi, apakah proses Dirichlet dan sepupunya paling efektif sebagai prior untuk model pengelompokan yang fleksibel? Apakah mereka tidak bersaing dengan meningkatkan, SVM, dan jaringan saraf untuk masalah pembelajaran yang diawasi? Apakah mereka hanya berguna dalam situasi tertentu untuk masalah ini? Atau apakah kesan umum saya salah?

dirichlet-process orang
sumber
Apa jenis regresi artinya? dalam distribusi dasar DP? atau dalam parameter pencampuran? Saya pikir Anda akan kesulitan memasang model seperti itu.
probabilityislogic
Atau maksud Anda semacam "regresi" generik di mana Anda memasukkan DP multivariat ke distribusi marjinal dan bersama.
probabilityislogic
@probabilityislogic fit distribution diambil dari DP ke joint dan kemudian mendapatkan conditional adalah hal yang ada dalam pikiran saya, dengan variasi pada tema itu. Membuat model bobot dalam konstruksi pematah tongkat juga sama.
pria

Jawaban:

1

Pertanyaan ini tidak mendapatkan terlalu banyak perhatian, jadi saya akan menjawab untuk memperbarui apa yang saya temukan dan (mudah-mudahan) merangsang diskusi. Saya telah melihat sebuah artikel yang saya nantikan untuk dibaca yang menggunakan DPM untuk melakukan klasifikasi (Shahbaba dan Neal, 2007) yang mereka uji pada data protein lipatan. Pada dasarnya mereka menggunakan sesuatu yang mirip dengan apa yang saya sarankan di komentar di atas. Ini dibandingkan baik terhadap jaringan saraf dan mesin vektor dukungan. Ini sedikit melegakan bagi saya karena saya telah membuang banyak waktu ke dalam model-model ini dengan memperhatikan masalah pembelajaran mesin yang diawasi sehingga tampaknya saya (mungkin) tidak membuang-buang waktu.

orang
sumber
1

Lihatlah paket DP proses R. Dirichlet dapat digunakan setidaknya sebagai sebelumnya untuk efek acak, dan untuk membangun distribusi kesalahan nonparametrik untuk regresi.

scellus
sumber