Paket caret dapat membantu Anda mengoptimalkan pilihan parameter untuk masalah Anda. Sketsa caretTrain menunjukkan cara menyetel parameter gbm menggunakan validasi silang berulang 10 kali lipat - tersedia pendekatan optimasi lain yang semuanya dapat berjalan secara paralel menggunakan paket foreach. Gunakan vignette("caretTrain", package="caret")
untuk membaca dokumen.
Paket ini mendukung penyetelan shrinkage
,, n.trees
dan interaction.depth
parameter untuk model gbm, meskipun Anda dapat menambahkan sendiri.
Untuk heuristik, ini adalah pendekatan awal saya:
shrinkage
: Sekecil yang Anda punya waktu (manual gbm memiliki lebih banyak tentang ini, tetapi secara umum Anda tidak bisa salah dengan nilai yang lebih kecil). Kumpulan data Anda kecil sehingga saya mungkin mulai dengan 1e-3
n.trees
: Saya biasanya menumbuhkan model awal menambahkan lebih banyak dan lebih banyak pohon sampai gbm.perf
mengatakan saya memiliki cukup (sebenarnya, biasanya 1,2 kali lipat dari nilai itu) dan kemudian menggunakannya sebagai panduan untuk analisis lebih lanjut.
interaction.depth
: Anda sudah memiliki gagasan tentang ini. Coba nilai yang lebih kecil juga. Nilai maksimum adalah lantai (sqrt (NCOL (data)).
n.minobsinnode
: Saya merasa sangat penting untuk menyempurnakan variabel ini. Anda tidak menginginkannya terlalu kecil sehingga algoritma tersebut menemukan terlalu banyak fitur palsu.