Hutan acak untuk regresi multivariat

23

Saya punya masalah regresi multi-output dengan fitur input dan d y output. Keluaran memiliki struktur korelasi non-linear yang kompleks.dxdy

Saya ingin menggunakan hutan acak untuk melakukan regresi. Sejauh yang saya tahu, hutan acak untuk regresi hanya bekerja dengan satu output, jadi saya harus melatih hutan acak - satu untuk setiap output. Ini mengabaikan korelasi mereka.dy

Apakah ada perluasan ke hutan acak yang memperhitungkan korelasi keluaran? Mungkin sesuatu seperti regresi proses Gaussian untuk pembelajaran multi-tugas .

regression multivariate-analysis random-forest sergeyf
sumber
4
inilah yang saya dapat menggali sejauh ini: scikit-learn.org/dev/modules/tree.html#multi-output-problems
sergeyf
1
yakin. saya punya "gambar" dimensi tinggi (sebenarnya spektrum dI / dV) dari peptida. tujuannya adalah untuk mengetahui lokasi & kelas asam amino yang membentuk peptida. pendekatan pertama saya adalah segmentasi gambar, tetapi CRF dan hutan acak pixel-wise gagal. jadi sekarang, alih-alih mengatakan setiap piksel "milik" satu & hanya satu asam amino (tidak benar-benar benar), saya menetapkan setiap piksel nilai "pengaruh" relatif dari asam amino terdekat. Hasil ini dalam histogram dimensi untuk setiap pixel. karenanya, regresi keluaran berganda! dy
sergeyf
1
Mungkin jawaban yang terlambat: di Crimisini et al. Hutan Keputusan: Kerangka Kerja Terpadu untuk Klasifikasi, Regresi, Estimasi Kepadatan, Beragam Belajar bahwa mereka menggunakan RF dengan cara yang mungkin cocok untuk Anda untuk identifikasi batas organ.
Simone
4
Ini mungkin terlambat juga, tetapi mungkin membantu siapa saja yang menemukan posting ini. Random Forest dapat dengan mudah dilatih menggunakan data multivarian. Semuanya terjadi dengan cara yang sama, namun alih-alih menggunakan varians untuk perhitungan perolehan informasi, kami menggunakan kovarians dari beberapa variabel output. Dan yang lebih penting, daunnya sekarang mengandung PDF N-dimensional.
masad
1
Saya tidak tahu bahwa RF "Ini mengabaikan korelasi mereka". Mengingat sifat ensemble dari RF, saya pikir mereka mungkin menjelaskan korelasinya. Jika mereka mengambil input univariat dan memberikan output univariat maka mereka tidak akan dihitung untuk korelasi.
EngrStudent

Jawaban: