Saya telah membaca di beberapa sumber, termasuk yang satu ini , bahwa Random Forests tidak sensitif terhadap pencilan (dalam cara Regresi Logistik dan metode ML lainnya, misalnya).

Namun, dua intuisi mengatakan sebaliknya:

1. Setiap kali pohon keputusan dibangun, semua poin harus diklasifikasikan. Ini berarti bahwa outlier akan diklasifikasikan, dan karenanya akan memengaruhi pohon keputusan tempat mereka dipilih selama peningkatan.

2. Bootstrapping adalah bagian dari bagaimana RandomForest melakukan sub-sampling. Bootstrap rentan terhadap pencilan.

Apakah ada cara untuk merekonsiliasi intuisi saya tentang kepekaannya terhadap outlier, dengan sumber yang tidak setuju?

Intuisi Anda benar. Jawaban ini hanya menggambarkannya pada contoh.

Memang merupakan kesalahpahaman umum bahwa CART / RF entah bagaimana kuat untuk outlier.

Untuk mengilustrasikan kurangnya kekokohan RF terhadap keberadaan outlier tunggal, kita dapat (secara ringan) memodifikasi kode yang digunakan dalam jawaban Soren Havelund Welling di atas untuk menunjukkan bahwa satu outlier 'y' cukup untuk sepenuhnya mempengaruhi model RF yang dipasang. Misalnya, jika kita menghitung kesalahan prediksi rata-rata dari pengamatan yang tidak terkontaminasi sebagai fungsi jarak antara pencilan dan sisa data, kita dapat melihat (gambar di bawah) yang memperkenalkan pencilan tunggal (dengan mengganti salah satu pengamatan asli dengan nilai arbitrer pada ruang 'y') cukup untuk menarik prediksi model RF secara sewenang-wenang jauh dari nilai-nilai yang akan mereka miliki jika dihitung berdasarkan data asli (tidak terkontaminasi):

 library(forestFloor)
library(randomForest)
library(rgl)
set.seed(1)

X = data.frame(replicate(2,runif(2000)-.5))
y = -sqrt((X[,1])^4+(X[,2])^4)
X[1,]=c(0,0);
y2<-y
rg<-randomForest(X,y)   #RF model fitted without the outlier
outlier<-rel_prediction_error<-rep(NA,10)

for(i in 1:10){
    y2[1]=100*i+2
    rf=randomForest(X,y2)   #RF model fitted with the outlier
    rel_prediction_error[i]<-mean(abs(rf$predict[-1]-y2[-1]))/mean(abs(rg$predict[-1]-y[-1]))
    outlier[i]<-y2[1]
}
plot(outlier,rel_prediction_error,type='l',ylab="Mean prediction error (on the uncontaminated observations) \\\ relative to the fit on clean data",xlab="Distance of the outlier")

Berapa jauh? Dalam contoh di atas, pencilan tunggal telah banyak mengubah fit sehingga kesalahan prediksi rata-rata (pada yang tidak terkontaminasi) sekarang adalah 1-2 urutan besarnya lebih besar daripada seharusnya, seandainya model telah dipasang pada data yang tidak terkontaminasi.

Jadi tidak benar bahwa pencilan tunggal tidak dapat mempengaruhi kecocokan RF.

Selain itu, seperti yang saya tunjukkan di tempat lain , outlier yang jauh lebih sulit untuk berurusan dengan ketika ada potensi beberapa dari mereka (meskipun mereka tidak perlu menjadi besar proporsi dari data untuk efek mereka muncul). Tentu saja, data yang terkontaminasi dapat mengandung lebih dari satu pencilan; untuk mengukur dampak beberapa pencilan pada kesesuaian RF, bandingkan plot di sebelah kiri yang diperoleh dari RF pada data yang tidak terkontaminasi dengan plot di sebelah kanan yang diperoleh dengan mengubah 5% nilai respons secara sewenang-wenang (kode berada di bawah jawaban) .

Akhirnya, dalam konteks regresi, penting untuk menunjukkan bahwa outlier dapat menonjol dari sebagian besar data baik dalam desain dan ruang respon (1). Dalam konteks spesifik RF, outlier desain akan memengaruhi estimasi parameter-hiper. Namun, efek kedua ini lebih nyata ketika jumlah dimensi besar.

Apa yang kami amati di sini adalah kasus khusus dari hasil yang lebih umum. Sensitivitas ekstrim terhadap pencilan metode pemasangan data multivariat berdasarkan fungsi kehilangan cembung telah ditemukan kembali beberapa kali. Lihat (2) untuk ilustrasi dalam konteks spesifik metode ML.

Edit.

$t$

$t_L$$t_R$$s^∗$$t_L$$t_R$$s$$p_L$$t_L$$p_R=1−p_L$$t_R$. Kemudian, seseorang dapat memberikan ketahanan spasi "y" ke pohon regresi (dan dengan demikian RF) dengan mengganti fungsional varians yang digunakan dalam definisi asli dengan alternatif yang kuat. Ini pada dasarnya pendekatan yang digunakan dalam (4) di mana varians digantikan oleh M-estimator skala.

• (1) Menyingkap Multivarian Outliers dan Leverage Points. Peter J. Rousseeuw dan Bert C. van Zomeren Jurnal Asosiasi Statistik Amerika Vol. 85, No. 411 (Sep., 1990), hlm. 633-639
• (2) Kebisingan klasifikasi acak mengalahkan semua pemacu potensial cembung. Philip M. Long dan Rocco A. Servedio (2008). http://dl.acm.org/citation.cfm?id=1390233
• (3) C. Becker dan U. Gather (1999). Titik Masking Breakdown dari Aturan Identifikasi Outlier Multivariat.
• (4) Galimberti, G., Pillati, M., & Soffritti, G. (2007). Pohon regresi yang kuat berdasarkan pada M-estimators. Statistica, LXVII, 173–190.

    library(forestFloor)
    library(randomForest)
    library(rgl)
    set.seed(1)

    X<-data.frame(replicate(2,runif(2000)-.5))
    y<--sqrt((X[,1])^4+(X[,2])^4)
    Col<-fcol(X,1:2) #make colour pallete by x1 and x2
    #insert outlier2 and colour it black
    y2<-y;Col2<-Col
    y2[1:100]<-rnorm(100,200,1);    #outliers
    Col[1:100]="#000000FF" #black

    #plot training set
    plot3d(X[,1],X[,2],y,col=Col)
    rf=randomForest(X,y)    #RF on clean data
    rg=randomForest(X,y2)   #RF on contaminated data
    vec.plot(rg,X,1:2,col=Col,grid.lines=200)
    mean(abs(rf$predict[-c(1:100)]-y[-c(1:100)]))
    mean(abs(rg$predict[-c(1:100)]-y2[-c(1:100)]))

outlier 1a: Outlier ini memiliki satu atau lebih nilai fitur ekstrim dan ditempatkan jauh dari sampel lain. Pencilan akan mempengaruhi pemisahan awal pohon seperti sampel lainnya, jadi tidak ada pengaruh yang kuat. Ini akan memiliki kedekatan yang rendah dengan sampel lain, dan hanya akan menentukan struktur model di bagian jauh dari ruang fitur. Selama prediksi sebagian besar sampel baru cenderung tidak mirip dengan pencilan ini, dan jarang akan berakhir di simpul terminal yang sama. Selain itu pohon keputusan menganggap fitur seolah-olah mereka ordinal (peringkat). Nilainya lebih kecil / sama dengan atau lebih besar dari break point, sehingga tidak masalah jika nilai fitur merupakan pencilan ekstrim.

outlier 1b: Untuk klasifikasi satu sampel tunggal dapat dianggap sebagai outlier, ketika tertanam di tengah banyak sampel dari kelas yang berbeda. Saya jelaskan sebelumnya bagaimana model RF default akan dipengaruhi oleh satu sampel kelas ganjil ini, tetapi hanya sangat dekat dengan sampel.

outlier 2: Outlier ini memiliki nilai target ekstrem yang mungkin jauh lebih tinggi daripada nilai-nilai lainnya, tetapi nilai-nilai fitur normal. Sebagian kecil .631 pohon akan memiliki simpul terminal dengan sampel ini. Struktur model akan terpengaruh secara lokal dekat dengan pencilan. Perhatikan struktur model dipengaruhi terutama sejajar dengan sumbu fitur, karena node dibagi secara un-variately.

$y=(x_1^4 + x_2^4 )^{\frac 1 2}$$x_1$$x_2$

library(forestFloor)
library(randomForest)
library(rgl)
set.seed(1)

X = data.frame(replicate(2,runif(2000)-.5))
y = -sqrt((X[,1])^4+(X[,2])^4)^1
Col = fcol(X,1:2) #make colour pallete by x1 and x2
#insert outlier2 and colour it black
X[1,] = c(0,0);y[1]=2 ;Col[1] = "#000000FF" #black

#plot training set
plot3d(X[,1],X[,2],y,col=Col)

rf = randomForest(X,y)
vec.plot(rf,X,1:2,col=Col,grid.lines = 400)

EDIT: komentar ke pengguna603

Ya untuk outlier ekstrim pada skala target, orang harus mempertimbangkan untuk mengubah skala target sebelum menjalankan RF. Saya menambahkan di bawah ini fungsi robustModel () yang mengubah randomForest. Solusi lain adalah membuat log transformasi sebelum pelatihan.

.
##---code by user603
library(forestFloor)
library(randomForest)
library(rgl)
set.seed(1)

X<-data.frame(replicate(2,runif(2000)-.5))
y<--sqrt((X[,1])^4+(X[,2])^4)
Col<-fcol(X,1:2) #make colour pallete by x1 and x2

#insert outlier2 and colour it black
y2<-y;Col2<-Col
y2[1:100]<-rnorm(100,200,1);    #outliers
Col2[1:100]="#000000FF" #black
##---

#function to make models robust
robustModel = function(model,keep.outliers=TRUE) {
  f = function(X,y,lim=c(0.1,.9),keep.outliers="dummy",...) {
  limits = quantile(y,lim)
  if(keep.outliers) {#keep but reduce outliers
  y[limits[1]>y] = limits[1] #lower limit
  y[limits[2]<y] = limits[2] #upper limit
  } else {#completely remove outliers
    thrashThese = mapply("||",limits[1]>y,limits[2]>y)
    y = y[thrashThese]
    X = X[thrashThese,]
  }
  obj = model(x=X,y=y,...)
  class(obj) = c("robustMod",class(obj))
  return(obj)
  }
  formals(f)$keep.outliers = keep.outliers
  return(f)
}

robustRF = robustModel(randomForest) #make RF robust
rh = robustRF(X,y2,sampsize=250)     #train robustRF
vec.plot(rh,X,1:2,col=Col2)          #plot model surface
mean(abs(rh$predict[-c(1:100)]-y2[-c(1:100)]))

Ini bukan algoritma Acak Hutan itu sendiri yang kuat untuk outlier, tetapi dasar pelajar itu didasarkan pada: pohon keputusan . Pohon keputusan mengisolasi pengamatan atipikal menjadi daun kecil (yaitu, ruang bagian kecil dari ruang asli). Selanjutnya, pohon keputusan adalah model lokal . Tidak seperti regresi linier, di mana persamaan yang sama berlaku untuk seluruh ruang, model yang sangat sederhana dipasang secara lokal untuk setiap subruang (yaitu, untuk setiap daun).

• Dalam kasus regresi, umumnya model regresi orde sangat rendah (biasanya hanya rata-rata pengamatan di daun).
• Untuk klasifikasi, itu adalah suara terbanyak.

Oleh karena itu, untuk regresi misalnya, nilai-nilai ekstrem tidak mempengaruhi keseluruhan model karena mereka mendapatkan rata-rata secara lokal. Jadi kesesuaian dengan nilai-nilai lain tidak terpengaruh.

Sebenarnya, properti yang diinginkan ini dibawa ke struktur seperti pohon lainnya, seperti dendogram. Hierarchical clustering, misalnya, telah lama digunakan untuk pembersihan data karena secara otomatis mengisolasi pengamatan menyimpang ke dalam kelompok-kelompok kecil. Lihat misalnya Loureiro et al. (2004). Deteksi outlier menggunakan metode clustering: aplikasi pembersihan data .

Jadi, secara singkat, RF mewarisi ketidakpekaannya terhadap pencilan dari partisi rekursif dan pemasangan model lokal .

Perhatikan bahwa pohon keputusan memiliki bias yang rendah tetapi model varians tinggi: strukturnya cenderung berubah pada modifikasi kecil dari set pelatihan (penghapusan atau penambahan beberapa pengamatan). Tapi ini tidak boleh disalahartikan dengan sensitivitas terhadap pencilan, ini adalah masalah yang berbeda.