Apakah algoritma pohon keputusan linear atau nonlinier

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan adalah algoritma linear atau nonlinier dalam sebuah wawancara. Saya mencoba mencari jawaban untuk pertanyaan ini tetapi tidak dapat menemukan penjelasan yang memuaskan. Adakah yang bisa menjawab dan menjelaskan solusi untuk pertanyaan ini? Juga, apa saja contoh lain dari algoritma pembelajaran mesin nonlinear?

Pohon keputusan adalah pemetaan non-linear Xuntuk y. Ini mudah dilihat jika Anda mengambil fungsi arbitrer dan membuat pohon hingga kedalaman maksimalnya.

Sebagai contoh:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Tentu saja, ini adalah pohon yang terlalu pas dan tidak akan digeneralisasikan. Tapi itu menunjukkan mengapa pohon keputusan adalah pemetaan non-linear.

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan algoritma linear atau nonlinier dalam sebuah wawancara

Decision tree adalah penggolong non-linear seperti jaringan saraf, dll. Umumnya digunakan untuk mengklasifikasikan data yang dapat dipisahkan secara non-linear.

Bahkan ketika Anda mempertimbangkan contoh regresi, pohon keputusan tidak linier.

Misalnya, garis regresi linier akan terlihat seperti ini:

Titik merah adalah titik data.

Dan plot regresi pohon keputusan akan terlihat seperti ini:

Jadi, jelas pohon keputusan tidak linier

Pohon keputusan tidak linier. Tidak seperti regresi linier, tidak ada persamaan untuk menyatakan hubungan antara variabel independen dan dependen.

Ex:

Regresi linier - Harga buah = b0 + b1 * Kesegaran + b2 * Ukuran

Decision tree - Nodes: Ripe - Ya atau tidak | Segar - Ya atau Tidak | Ukuran - <5,> 5 tetapi <10 dan> 10 |

Dalam kasus kedua tidak ada hubungan linier antara variabel independen dan dependen.

Seperti yang banyak ditunjukkan, pohon regresi / keputusan adalah model non-linear. Namun perlu dicatat bahwa ini adalah model linear satu demi satu: di setiap lingkungan (didefinisikan dengan cara non-linear), itu adalah linier. Bahkan, modelnya hanyalah konstanta lokal.

$\theta$

$1(A)$

$VC$$2^d$$d$$2^{2^d}$$m$$d$$min(2^d, m)$ID3C4.5