Hasil teoritis untuk hutan acak?

9

Hutan acak memiliki reputasi di antara para praktisi sebagai salah satu teknik klasifikasi yang paling efektif. Namun kita tidak banyak bertemu dengan mereka dalam literatur teori-pembelajaran, dari mana saya menduga tidak adanya hasil teoritis yang mendalam. Jika seseorang ingin mempelajari teori ini, di mana ia akan mulai?

machine-learning lg.learning Aryeh
sumber
2
Ada makalah baru di SODA'15 mendatang yang mungkin relevan. Lihat meetings.siam.org/sess/dsp_talk.cfm?p=68795
Chandra Chekuri
@ChandraChekuri, saya hanya melihat abstrak, tetapi bukan kertas. Apakah ada kertas lengkap? Dan apakah itu ada hubungannya dengan metode pembelajaran mesin hutan acak (untuk tugas-tugas pembelajaran / klasifikasi yang diawasi)?
DW
@DW Menulis kepada penulis dan melihat apakah mereka bersedia membagikan salinannya. Saya menyadari hasilnya tetapi belum melihat kertasnya sendiri.
Chandra Chekuri

Jawaban:

5

Mengikuti jawaban Simone, Gerard Biau memiliki beberapa makalah yang sangat bagus melihat konvergensi dan konsistensi untuk hutan acak. Analisis ini untuk versi algoritma yang sedikit disederhanakan dibandingkan dengan Breiman 2001, tetapi kurang disederhanakan daripada hasil sebelumnya.

Semua makalah Biau (beserta kolaboratornya) semuanya tersedia di situs webnya:

http://www.lsta.upmc.fr/BIAU/publications.html

Salah satu yang sangat relevan adalah karya "dalam pers" tentang konsistensi: http://www.lsta.upmc.fr/BIAU/sbv.pdf

Ada 2-3 makalah lain dengan konten hutan acak. Saya baru saja bergabung dengan cstheory, jadi saya tidak dapat memposting lebih dari dua tautan tetapi situs publikasi di atas memiliki semuanya.

Saya harap ini bisa membantu. Sepertinya ada ledakan aktivitas baru-baru ini sejak 2008, setelah periode sebagian besar penggunaan metode ini secara empiris. Dan kabar baiknya adalah, penyelidikan teoritis tampaknya menunjukkan bahwa metode ini kuat dan memiliki sifat yang baik.

Mark Madsen
sumber
6

Saya kira Anda sudah membaca makalah Breiman tahun 2001 tentang RF. Saya bisa menunjukkan beberapa referensi lain:

Perbandingan empiris dari berbagai penyederhanaan RF yang memungkinkan pembuktian teorema: Mempersempit Kesenjangan: Hutan Acak Dalam Teori dan Dalam Praktek

Ini adalah referensi terbaru yang bisa saya berikan. Dalam makalah ini Anda juga dapat menemukan beberapa kutipan makalah Biau tentang karya awal tentang hasil teoretis untuk RF.

Jika Anda tertarik pada hasil teoritis tentang pentingnya variabel dalam RF: Memahami pentingnya variabel di hutan pohon acak

Sebenarnya saya baru tahu bahwa penulis makalah terakhir (Gilles Louppe) baru saja diposting di arxiv tesis PhD-nya (v2): Memahami Hutan Acak: Dari Teori ke Praktik

Simone
sumber