Hutan Acak tidak bisa berpakaian?

Jika itu bisa pas, itu bisa berpakaian. Dalam hal RF, pikirkan apa yang terjadi jika hutan Anda tidak mengandung cukup pohon (katakanlah hutan Anda adalah satu pohon untuk membuat efeknya jelas). Ada lebih banyak masalah daripada yang ini, tetapi ini adalah yang paling jelas.

Saya baru saja menanggapi utas lainnya tentang RF sehingga bisa dengan mudah menyesuaikan jika jumlah prediktornya besar.

Random Forest pada prinsipnya mengurangi varians, bagaimana bisa overfit? @ Donbeo mungkinkah karena, model pohon keputusan tidak berkinerja baik pada ekstrapolasi. Katakanlah, untuk variabel prediktor anomali, DT dapat memberikan prediksi yang buruk.

Salah satu indikasi yang jelas dari overfitting adalah bahwa varians residual berkurang terlalu banyak. Lalu, apa yang Anda maksudkan dengan komentar pertama Anda?

Dalam pertukaran bias-varians, ketika kami mencoba mengurangi bias, kami mengimbangi varians. Seperti itu, jika x = 80 memberi y = 100, tetapi x = 81 memberi y = -100. Ini akan terlalu pas . Tidak mirip dengan Ove karena memiliki varian tinggi. @whuber saya anggap ovefitting hanya karena varians yang tinggi. Saya tidak mengerti bagaimana mengurangi varians residual menghasilkan overfitting. Tolong bagikan beberapa kertas untuk saya baca.

Ini tidak membutuhkan kertas apa pun! Anda bisa mencobanya sendiri. Ambil dataset sederhana bivariat kecil, seperti dan setiap koleksi yang sesuai Anda peduli untuk menghasilkan. Menggunakan kuadrat terkecil (karena ini bertujuan untuk mengurangi varians residu), pas dengan seri model untuk . Setiap langkah akan mengurangi varians sampai pada langkah terakhir varians adalah nol. Pada titik tertentu, hampir semua orang akan setuju, model sudah mulai menyesuaikan data. y i y = β 0 + β 1 x + β 2 x 2 + ⋯ + β k x k k = 0 , 1 , … , $x_i=1,2,\ldots,10$$y_i$$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$$k=0, 1, \ldots, 9$

@whuber Saya pikir Anda kehilangan titik tentang apa "pengurangan varian". Hutan Acak (dan mengantongi secara umum) tidak mengurangi varians residu, tetapi varians prediksi Anda. Jadi, dalam contoh Anda, setiap langkah Anda berbicara tentang varian MENINGKAT :)