Definisi kerumitan pohon di xgboost

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi .

Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.

Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node terminal, tampak alami bagi saya. Tetapi jumlah skor akhir kuadrat?$T$

Mungkin overfitting yang dimaksud. Berarti skor yang sangat besar memberi terlalu banyak kepercayaan diri? Apakah itu dipilih untuk mendapatkan pembelajar yang lemah? Apa penjelasan alami untuk pilihan fungsi kompleksitas ini?

Ini masuk akal bagi saya.

Saya akan fokus pada kasus Gaussian. Di sini setiap pohon sesuai dengan residu dari model saat ini, dan pembaruan model adalah . Gagasan penguat gradien adalah untuk secara hati-hati dan perlahan mengurangi bias model dengan menambahkan pohon-pohon ini satu per satu.$T_i$$M_{i+1} = M_{i} + \alpha T_i$

Dalam hal ini, nilai besar akan sesuai dengan simpul terminal (daun) yang memberikan pembaruan yang sangat besar dan signifikan untuk model sebelumnya. Gagasan istilah regularisasi adalah untuk meminimalkan insiden pembaruan pohon tunggal besar ini (hanya memungkinkan mereka jika penurunan fungsi kehilangan model cukup besar untuk mengimbangi penalti regularisasi). Jika pembaruan semacam itu diatur secara terpisah untuk satu pohon, tetapi ternyata dapat dibenarkan, pembaruan tersebut akan dibakar dalam beberapa pembaruan model, sesuai dengan filosofi peningkatan.$w_i$

Ini analogi yang sangat dekat dengan regresi ridge.