Bisakah perceptron lupa?

16

Saya ingin membangun sistem pembelajaran mesin online berbasis web, di mana pengguna dapat terus menambahkan sampel rahasia, dan memperbarui model secara online. Saya ingin menggunakan perceptron atau algoritma pembelajaran online serupa.

Tetapi, pengguna dapat membuat kesalahan dan memasukkan contoh yang tidak relevan. Dalam hal ini, saya ingin memiliki opsi untuk menghapus contoh tertentu, tanpa melatih kembali perceptron pada seluruh rangkaian contoh (yang mungkin sangat besar).

Apakah ini mungkin?

machine-learning online-algorithms Erel Segal-Halevi
sumber
ide yang sangat menarik. Sudahkah Anda berupaya meresmikan ini?
Strin
Mengingat spesifik dari model perceptron Anda dan classifier Anda, apa yang terjadi ketika Anda memasukkan kembali contoh dengan klasifikasi yang dikoreksi? Tidakkah ini mengurangi berat pada neuron lapisan internal yang salah dan menambah bobot pada neuron lapisan internal yang benar?
Pengembaraan Logika
1
Memasukkan kembali sampel jelas dapat membantu dalam beberapa cara, namun, saya tidak yakin bukti kebenaran dan konvergensi perceptron akan berlaku dalam kasus ini (yaitu saya tidak yakin hasilnya akan identik dengan situasi di mana sampel yang salah memiliki tidak dimasukkan di tempat pertama).
Erel Segal-Halevi
Sebagai solusi naif, Anda bisa menyimpan catatan bobot perceptron sebelum setiap sampel baru ditambahkan. Kemudian, ketika Anda ingin menghilangkan sampel, (kembali) atur bobot perceptron ke nilai-nilai mereka sebelum contoh "buruk" ditambahkan, dan latih kembali perceptron dengan semua contoh yang valid ditambahkan setelah yang "buruk". Ini akan melibatkan beberapa pelatihan ulang, tetapi tidak pada seluruh rangkaian contoh. Tentu saja, Anda juga harus menyimpan catatan contoh dan bobot terkait.
rphv

Jawaban:

6

Ketika saya memahami prosesnya , mengubah perceptron tanpa pelatihan ulang adalah hal yang mustahil. Penyesuaian bobot tidak hanya relatif terhadap contoh spesifik itu tetapi juga relatif terhadap contoh pelatihan lain yang telah terjadi sebelumnya. Mengidentifikasi contoh yang salah diklasifikasikan dan melepaskannya dari set tes sebelum melatih kembali model akan menjadi cara paling efektif untuk mengoreksi bobot.

Saya pikir itu layak menunjukkan bahwa dibandingkan dengan algoritma pembelajaran mesin lainnya, perceptrons relatif tahan terhadap kebisingan dan contoh-contoh yang salah diklasifikasikan dalam set pelatihan . Jika Anda menghadapi banyak contoh kesalahan klasifikasi, akan lebih bijaksana untuk memiliki validasi yang lebih baik pada saat Anda menelan data sebelum pelatihan daripada membuat beberapa cara untuk memperbaiki contoh kesalahan klasifikasi setelah perceptron dilatih. Jika itu tidak mungkin dan Anda dapat mengidentifikasi contoh yang salah klasifikasi, maka menghapusnya dan melatih ulang akan tampak satu-satunya cara untuk secara efektif menghilangkan dampak dari contoh yang salah klasifikasi.

Richard D
sumber