Apa yang dimaksud dengan 'pelajar yang lemah'?

34

Adakah yang bisa memberi tahu saya apa yang dimaksud dengan ungkapan 'pelajar yang lemah'? Apakah ini seharusnya menjadi hipotesis yang lemah? Saya bingung tentang hubungan antara pelajar yang lemah dan pengklasifikasi yang lemah. Apakah keduanya sama atau ada perbedaan?

Dalam algoritma adaboost T=10,. Apa yang dimaksud dengan itu? Mengapa kita memilih T=10?

vrushali
sumber
1
Selamat datang di situs ini, @vrushali. Saya mengedit ini untuk membuat bahasa Inggris lebih halus; pastikan masih mengatakan apa yang Anda maksud. Juga, saya tidak yakin apakah set pertanyaan kedua (tentang adaboost) sama dengan set pertanyaan pertama; mungkin lebih masuk akal untuk memisahkan mereka ke utas yang berbeda.
gung - Reinstate Monica

Jawaban:

35

Pelajar yang 'lemah' (pengklasifikasi, prediktor, dll) hanyalah salah satu yang kinerjanya relatif buruk - akurasinya di atas kebetulan, tetapi nyaris saja. Sering ada, tetapi tidak selalu, implikasi tambahan bahwa itu sederhana secara komputasi. Pelajar yang lemah juga menyarankan bahwa banyak contoh algoritma sedang dikumpulkan (melalui boosting, bagging, dll) bersama-sama untuk membuat classifier ensemble "kuat".

Itu disebutkan dalam makalah AdaBoost asli oleh Freund & Schapire:

Mungkin yang paling mengejutkan dari aplikasi ini adalah derivasi dari aplikasi baru untuk "meningkatkan", yaitu, mengubah algoritma pembelajaran PAC "lemah" yang melakukan hanya sedikit lebih baik daripada menebak secara acak menjadi satu dengan akurasi tinggi yang sewenang-wenang. - (Freund & Schapire, 1995)

tapi saya pikir frasa ini sebenarnya lebih tua dari itu - saya telah melihat orang mengutip makalah (?!) oleh Michael Kearns dari tahun 1980-an.

Contoh klasik dari Weak Learner adalah Decision Stump, pohon keputusan satu tingkat (1R atau OneR adalah pelajar lemah lain yang umum digunakan; itu cukup mirip). Akan agak aneh untuk menyebut SVM sebagai 'pembelajar yang lemah', bahkan dalam situasi di mana kinerjanya buruk, tetapi akan sangat masuk akal untuk menyebut keputusan tunggal yang menusuk pembelajar yang lemah bahkan ketika kinerjanya berjalan dengan baik dengan sendirinya.


Adaboost adalah algoritma iteratif dan biasanya menunjukkan jumlah iterasi atau "putaran". Algoritme dimulai dengan melatih / menguji pelajar yang lemah pada data, menimbang masing-masing contoh secara sama. Contoh-contoh yang salah diklasifikasikan mendapatkan bobotnya meningkat untuk putaran selanjutnya, sedangkan yang diklasifikasikan dengan benar mendapatkan bobotnya berkurang.T

Saya tidak yakin ada sesuatu yang ajaib tentang . Dalam makalah 1995, diberikan sebagai parameter gratis (yaitu, Anda mengaturnya sendiri).TT=10T

Matt Krause
sumber
Sejauh yang saya tahu DecisionStump berbeda dari 1Rule. Decision Stump selalu berupa pohon biner 1 tingkat (untuk atribut nominal dan numerik). 1Rule dapat memiliki lebih dari 2 anak (untuk nominal dan numerik) dan untuk atribut numerik memiliki tes yang lebih kompleks daripada pemisahan biner oleh suatu nilai. Juga, di WEKA ada 2 implementasi yang berbeda: DecisionStump dan OneR.
rapaio
Hmmm ... kurasa kamu benar. Makalah 1R asli mengatakan "Jenis aturan khusus yang diperiksa dalam makalah ini, disebut 1-Aturan, adalah aturan yang mengklasifikasikan objek berdasarkan atribut tunggal (yaitu, mereka adalah pohon keputusan 1-tingkat." Tetapi pohon keputusan dapat diimplementasikan dalam banyak cara yang berbeda. Saya akan mengeditnya dengan jelas
Matt Krause
Ada juga implementasi OneR asli: Paket OneR, pada CRAN: CRAN.R-project.org/package=OneR , di sini adalah sketsa: cran.r-project.org/web/packages/OneR/vignettes/OneR. html (pengungkapan penuh: Saya adalah pembuat paket ini).
vonjd
7

Pelajar yang lemah adalah pelajar yang tidak peduli apa pun distribusi data pelatihan akan selalu lebih baik daripada peluang, ketika mencoba untuk memberi label data. Melakukan lebih baik daripada kebetulan berarti kita akan selalu memiliki tingkat kesalahan yang kurang dari 1/2.

Ini berarti bahwa algoritma pembelajar selalu akan mempelajari sesuatu, tidak selalu sepenuhnya akurat, yaitu lemah dan buruk dalam hal mempelajari hubungan antara (input) dan (target).YXY

Tetapi kemudian muncul peningkatan , di mana kita mulai dengan melihat data pelatihan dan menghasilkan beberapa distribusi, kemudian menemukan sejumlah Pembelajar Lemah (pengklasifikasi) dengan kesalahan rendah, dan setiap pembelajar mengeluarkan beberapa hipotesis, . Ini menghasilkan beberapa (label kelas), dan pada akhirnya menggabungkan set hipotesis yang baik untuk menghasilkan hipotesis akhir. YHxY

Ini pada akhirnya meningkatkan pembelajar yang lemah dan mengubahnya menjadi pembelajar yang kuat.

Untuk informasi lebih lanjut: https://youtu.be/zUXJb1hdU0k .

Anish Singh Walia
sumber
Selamat Datang di CV. Karena Anda baru di sini, Anda mungkin ingin mengikuti tur kami , yang memiliki informasi untuk pengguna baru. . Jawaban ini sepertinya tidak memberikan sesuatu yang baru atau lebih baik dari jawaban sebelumnya. Apakah Anda pikir ada sesuatu yang hilang dari yang sebelumnya?
TEG - Pasang kembali Monica
mengapa harus di bawah 1/2. Jika tingkat kesalahan di atas 1/2 itu harus menjadi penggolong lemah juga.
Kode Paus
@ CodePope, saya mengerti maksud Anda, tetapi sebenarnya "pelajar yang lemah" secara resmi didefinisikan dalam istilah seperti itu. Saya setuju model mana pun yang memiliki kesalahan lebih dari 50% juga buruk dan lemah. Tetapi berbicara tentang definisi formal seperti yang didefinisikan oleh para ilmuwan, pelajar yang lemah adalah yang memiliki kesalahan kurang dari 1/2 atau 50%.
Anish Singh Walia
1

Pelajar yang lemah sama dengan classifier yang lemah, atau prediktor yang lemah. Idenya adalah Anda menggunakan classifier yang, yah ..., tidak terlalu bagus, tapi setidaknya lebih baik daripada acak. Keuntungannya adalah bahwa classifier akan kuat dalam overfitting. Tentu saja Anda tidak hanya menggunakan satu tetapi sejumlah besar, masing-masing sedikit lebih baik daripada acak. Cara tepat Anda memilih / menggabungkan mereka tergantung pada metodologi / algoritma, misalnya AdaBoost.

Dalam praktiknya sebagai penggolong lemah Anda menggunakan sesuatu seperti ambang batas sederhana pada fitur tunggal. Jika fitur di atas ambang maka Anda memperkirakan itu milik positif atau Anda memutuskan itu milik negatif. Tidak yakin tentang T = 10, karena tidak ada konteks, tapi saya bisa berasumsi itu adalah contoh pada thresholding beberapa fitur.

iliasfl
sumber