Apakah masuk akal untuk melatih CNN sebagai autoencoder?

9

Saya bekerja dengan menganalisis data EEG, yang pada akhirnya perlu diklasifikasikan. Namun, mendapatkan label untuk rekaman agak mahal, yang membuat saya mempertimbangkan pendekatan yang tidak diawasi, untuk lebih memanfaatkan data kami yang tidak berlabel dalam jumlah yang cukup besar.

Ini secara alami menyebabkan mempertimbangkan autoencoder bertumpuk, yang mungkin merupakan ide yang bagus. Namun, juga masuk akal untuk menggunakan jaringan saraf convolutional, karena beberapa jenis penyaringan umumnya merupakan pendekatan yang sangat berguna untuk EEG, dan ada kemungkinan bahwa zaman dianggap harus dianalisis secara lokal, dan tidak secara keseluruhan.

Apakah ada cara yang baik untuk menggabungkan kedua pendekatan tersebut? Tampaknya ketika orang menggunakan CNN, mereka biasanya menggunakan pelatihan yang diawasi, atau apa? Dua manfaat utama menjelajahi jaringan saraf untuk masalah saya tampaknya adalah aspek yang tidak diawasi, dan penyempurnaan (akan menarik untuk membuat jaringan pada data populasi, dan kemudian menyempurnakan individu, misalnya).

Jadi, adakah yang tahu kalau saya bisa melakukan pra-uji CNN seolah-olah itu adalah autoencoder yang "lumpuh", atau apakah itu sia-sia?

Haruskah saya mempertimbangkan beberapa arsitektur lain, seperti jaringan kepercayaan yang mendalam, misalnya?

Kaare
sumber

Jawaban:

8

Ya, masuk akal untuk menggunakan CNN dengan autoencoder atau metode tanpa pengawasan lainnya. Memang, berbagai cara menggabungkan CNN dengan pelatihan tanpa pengawasan telah dicoba untuk data EEG, termasuk menggunakan autoencoder (convolutional dan / atau ditumpuk).

Contoh:

Pembelajaran Fitur Mendalam untuk Perekaman EEG menggunakan autoencoder konvolusional dengan kendala khusus untuk meningkatkan generalisasi lintas subjek dan uji coba.

Prediksi EEG berbasis kinerja kognitif pengemudi oleh jaringan saraf convolutional yang mendalam menggunakan jaringan keyakinan mendalam convolutional pada elektroda tunggal dan menggabungkannya dengan lapisan yang terhubung penuh.

Pendekatan pembelajaran mendalam yang baru untuk klasifikasi sinyal citra motor EEG menggunakan autoencoder bertumpukan yang terhubung penuh pada output CNN yang terlatih (cukup dangkal).

Tetapi juga CNN yang diawasi murni telah berhasil pada data EEG, lihat misalnya:

EEGNet: Jaringan Konvolusional Ringkas untuk Antarmuka Otak-Komputer berbasis EEG

Pembelajaran mendalam dengan jaringan saraf convolutional untuk pemetaan otak dan decoding informasi terkait gerakan dari EEG manusia (pengungkapan: Saya adalah penulis pertama dari pekerjaan ini, pekerjaan yang lebih terkait lihat hal. 44)

Perhatikan bahwa makalah EEGNet menunjukkan bahwa juga dengan jumlah uji coba yang lebih kecil, pelatihan CNN murni yang diawasi dapat mengungguli baseline mereka (lihat Gambar 3). Juga dalam pengalaman kami pada dataset dengan hanya 288 uji coba pelatihan, CNN yang diawasi murni berfungsi dengan baik, sedikit mengungguli garis dasar pola umum bank umum filter bank.

Robintibor
sumber