Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan regularisasi l2 dan hasilnya hanya akurasi 30% pada set kereta juga daripada belajar lebih lama dan akurasi 100% pada set validasi.
Saya berpikir bahwa mungkin data saya terlalu kecil sehingga hanya untuk percobaan saya menggabungkan set kereta dengan set tes yang tidak saya gunakan sebelumnya. Situasinya sama dengan saya akan menggunakan regularisasi l2, yang tidak saya lakukan sekarang. Saya mendapatkan akurasi 30% pada tes kereta + dan validasi.
Dalam penggunaan 128 unit yang disembunyikan dan 80 timesteps dalam percobaan yang disebutkan. Ketika saya menambah jumlah unit tersembunyi menjadi 256, saya dapat kembali mengenakan jas di kereta + set tes untuk mendapatkan akurasi 100% tetapi masih hanya 30% pada set validasi.
Saya memang mencoba begitu banyak opsi untuk hyperparameters dan hampir tidak ada hasil. Mungkin entropi silang tertimbang menyebabkan masalah, dalam percobaan yang diberikan berat pada kelas positif adalah 5. Saat mencoba bobot yang lebih besar hasilnya seringkali lebih buruk sekitar 20% dari akurasi.
Saya mencoba sel LSTM dan GRU, tidak ada perbedaan.
Hasil terbaik yang saya dapatkan. Saya mencoba 2 lapisan tersembunyi dengan 256 unit tersembunyi, butuh sekitar 3 hari perhitungan dan 8GB memori GPU. Saya mendapat akurasi sekitar 40-50% sebelum mulai overfitting lagi sementara l2 regularisasi aktif tetapi tidak begitu kuat.
Saya menggunakan pengoptimal Adam, yang lain tidak bekerja dengan baik. Fitur yang saya miliki sudah cukup, karena saat menggunakan state-machine saya bisa mendapatkan akurasi 90%. Dalam mesin keadaan itu, fitur utama adalah penjumlahan dan ambang batas berdasarkan sifat-sifat fitur lainnya dan panjang variabelnya kadang-kadang 10, kadang-kadang 20 cap waktu yang berbicara tentang fitur tersebut.
Apakah ada pedoman umum apa yang harus dilakukan dalam situasi ini? Saya tidak dapat menemukan apa pun.
sumber