Apakah tunggul keputusan merupakan model linier?

Decision stump adalah pohon keputusan dengan hanya satu split. Ini juga dapat ditulis sebagai fungsi piecewise.

Misalnya, anggap adalah vektor, dan adalah komponen pertama , dalam pengaturan regresi, beberapa tunggul keputusan dapat $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Tetapi apakah ini model linier? di mana dapat dituliskan sebagai ? Pertanyaan ini mungkin terdengar aneh, karena seperti yang disebutkan dalam jawaban dan komentar, jika kita memplot fungsi piecewise itu bukan garis. Silakan lihat bagian selanjutnya untuk alasan saya mengajukan pertanyaan ini. $f(x)=\beta^T x$

EDIT:

Alasan saya mengajukan pertanyaan ini adalah regresi logistik adalah model linier (umum) dan batas keputusan adalah garis, juga untuk tunggul keputusan. Catatan, kami juga memiliki pertanyaan ini: Mengapa regresi logistik model linier? . Di sisi lain, tampaknya tidak benar bahwa tunggul keputusan adalah model linier.

Alasan lain yang saya tanyakan adalah karena pertanyaan ini: Dalam meningkatkan, jika pembelajar dasar adalah model linier, apakah model akhir hanya model linier sederhana? di mana, jika kita menggunakan model linear sebagai pembelajar dasar, kita mendapatkan tidak lebih dari regresi linier. Tetapi jika kita memilih pelajar dasar sebagai tunggul keputusan, kita mendapatkan model yang sangat menarik.

Berikut ini adalah salah satu contoh pengambilan keputusan untuk meningkatkan regresi dengan 2 fitur dan 1 tanggapan berkelanjutan.

machine-learning cart linear boosting Haitao Du
sumber

Mengapa Anda menganggapnya linier ..?

Tim

@ hxd1011 penting untuk membedakan antara batas keputusan dan fungsi keputusan di sini

shadowtalker

Saya bisa menyebutnya polinomial urutan ke-1000 dengan semua pesanan dari 1 hingga 1000 sama dengan nol. Saya bisa menyebutnya model zero-order (alias konstan) dan akan lebih ringkas mengkomunikasikan fitur-fitur utama. Sebuah pohon klasik selalu konstan. Pohon trivial, tunggul, adalah pemisahan tunggal dalam ruang di mana model di satu sisi konstan dan yang lain adalah konstanta yang berbeda. Ini tidak konstan secara global, tetapi juga bukan poly1. Pustaka "cubist" dalam R cocok dengan model linear (poly1) aktual dan bukan model konstan. Anda mungkin mencobanya.

EngrStudent

Jika Anda menggambar garis dalam bidang (katakanlah y = 0), dan ambil fungsi apa pun , maka akan memiliki garis kontur yang merupakan garis aktual (sejajar dengan sumbu ), tetapi itu tidak akan menjadi fungsi linear.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury

Ini pertanyaan aneh. Bisakah Anda memplot fungsi dari contoh Anda (yang sama dengan 3 untuk x <2 dan 5 untuk x> 2)? Lihat itu - apakah ini garis lurus? Jika itu bukan garis lurus, maka itu bukan fungsi linier.

Amoeba berkata Reinstate Monica

Jawaban:

Tidak, kecuali Anda mengubah data.

Ini adalah model linier jika Anda mentransformasikan menggunakan fungsi indikator: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Kemudian $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Sunting: ini disebutkan dalam komentar tetapi saya ingin menekankannya di sini juga. Setiap fungsi yang mempartisi data menjadi dua bagian dapat ditransformasikan menjadi model linier dari formulir ini, dengan intersep dan input tunggal (indikator "sisi" partisi tempat titik data aktif). Penting untuk mencatat perbedaan antara fungsi keputusan dan batas keputusan .

shadowtalker
sumber

"Transformasi" itu rumit, saya pikir neural network (MLP) adalah non-linear, tetapi setelah transformasi, itu linear ..

Haitao Du

Ini adalah model linier dalam parameter. Dan itu adalah linear linear dalam dummy

x^{'}

$x'$

Michael M

@MichaelM bagaimana linear dalam parameter? Saya berasumsi dengan "parameter" yang Anda maksud adalah pilihan

x \leq 2

$x \leq 2$

shadowtalker

@ hxd1011 jawabannya adalah "tidak, kecuali Anda mengubah data"

shadowtalker

Saya sarankan Anda mengedit jawaban Anda untuk memasukkan "tidak, kecuali Anda mengubah data" (dari komentar terakhir Anda) ke dalamnya. Saat ini kata-kata pembuka Anda adalah "Ini adalah model linier", dan orang-orang dapat menjadi bingung.

Amuba mengatakan Reinstate Monica

Jawaban untuk pertanyaan Anda:

Tunggul keputusan bukan model linier.
Batas keputusan dapat berupa garis, meskipun modelnya tidak linier. Regresi logistik adalah contohnya.
Model yang dikuatkan tidak harus menjadi model yang sama dengan pelajar dasar. Jika Anda memikirkannya, contoh peningkatan Anda, ditambah pertanyaan yang Anda tautkan, membuktikan bahwa putusan keputusan bukanlah model linier.

Flounderer
sumber

Jawaban ini lebih verbal daripada yang dibutuhkan untuk hanya menjawab pertanyaan. Saya berharap dapat memancing beberapa komentar dari para ahli nyata.

Saya pernah berada di ruang sidang dan hakim bertanya (untuk alasan yang baik dalam konteks), jika kita menyebut ekor anjing sebagai kaki, apakah itu berarti seekor anjing memiliki 5 kaki? Jadi apa itu model linier?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ dengan batasan penting bahwa istilah kesalahan independen dan didistribusikan secara normal. Dengan definisi itu, orang tidak dapat mengatakan apakah model Anda linier karena Anda tidak memberikan informasi tentang istilah kesalahan. Jika salah satu menjatuhkan batasan istilah kesalahan, maka tautologis linear dalam fungsi yang Anda berikan atau dalam fungsi yang diberikan oleh ssdecontrol. Bagaimanapun naifnya, dalam konteks pertanyaan ini, itu mungkin tidak memuaskan. Fungsi apa pun dapat dianggap sebagai dasar linear dalam arti itu. Itu karena setiap ruang fungsi dapat diubah menjadi ruang vektor fungsi.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
sumber

Linearitas tidak ada hubungannya dengan istilah kesalahan. Ini berkaitan dengan fakta bahwa itu terdiri dari kombinasi linear dari parameter . Ini mewakili garis lurus dalam ruang 2D (tetapi lebih umum mewakili bidang).

shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Namun fungsinya akan linear

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

jika itu yang dia tegaskan, maka itu pendapatnya dan bukan semacam fakta sulit. Sejauh yang saya ketahui, tidak ada definisi yang diterima secara ketat untuk "model linear", juga tidak ada kebutuhan untuk satu dalam pikiran saya. Bagi saya, fakta bahwa ada istilah kesalahan yang terlibat hanya mengubah model dari "model linier" menjadi "model linier statistik". Saya tidak melihat sesuatu yang inheren linier tentang persyaratannya, saya juga tidak melihat statistik inheren tentang model linier.

shadowtalker

IMO bersikeras pada adanya istilah kesalahan hanya mengabaikan apa, katakanlah, dan teknik atau fisikawan mungkin menganggap "model linier" dari proses fisik deterministik.

shadowtalker