Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan dengan J
simpul terminal (= daun) sebagai pelajar dasar. Ada beberapa cara untuk menumbuhkan pohon dengan J
simpul-simpul yang tepat misalnya seseorang dapat menumbuhkan pohon tersebut dengan cara pertama yang dalam atau dengan cara pertama yang luas, ...
Apakah ada cara yang mapan bagaimana menumbuhkan pohon dengan J
simpul terminal yang tepat untuk meningkatkan gradien pohon?
Saya memeriksa prosedur penanaman pohon gbm
paket R dan tampaknya itu memperluas pohon secara mendalam-pertama dan menggunakan heuristik berdasarkan peningkatan kesalahan untuk memilih apakah akan memperluas simpul anak kiri atau kanan - apakah itu benar?
gbm
memiliki parametern.minobsinnode
yang mengontrol jumlah objek minimum per node. Tentu saja, maka jumlah node kurang dari atau sama dengan NumberOfPoints / n.minobsinnodeJawaban:
Solusi dalam R
gbm
bukan solusi yang khas.Paket lain, suka
scikit-learn
atauLightGBM
gunakan apa yang disebut (di scikit-belajar)BestFirstTreeBuilder
, ketika jumlah daun dibatasi. Ini mendukung antrian prioritas semua daun dan pada setiap iterasi membagi daun yang membawa penurunan pengotor terbaik. Jadi bukan kedalaman-pertama atau luas-pertama, tetapi algoritma ketiga, berdasarkan perhitungan di daun.sumber