Misalkan saya ingin melatih jaringan saraf yang dalam untuk melakukan klasifikasi atau regresi, tetapi saya ingin tahu seberapa yakin prediksi tersebut. Bagaimana saya bisa mencapai ini?
Gagasan saya adalah menghitung entropi silang untuk setiap datum pelatihan, berdasarkan kinerja prediksinya dalam meter saraf di atas. Kemudian, saya akan melatih jaringan saraf kedua untuk regresi, yang akan mengambil setiap datum sebagai input, dan itu lintas entropi sebagai output (satu node output). Anda kemudian akan menggunakan kedua jaringan dalam praktik - satu untuk prediksi label / nilai, dan yang lainnya untuk prediksi kepercayaan dari jaringan pertama. (.... Tetapi apakah saya kemudian akan membutuhkan jaringan ketiga untuk memprediksi kepercayaan dari jaringan kedua, dan seterusnya ...?!)
Apakah ini ide yang valid? Selain itu, apakah itu ide standar yang umum digunakan? Jika tidak, apa yang akan Anda sarankan?
sumber
Jawaban:
Mungkin saya salah paham pertanyaan, tetapi untuk klasifikasi menurut saya cara standar adalah memiliki neuron keluaran untuk masing-masing
Nkelas.Kemudian
Nvektor[0, 1]nilai-nilai output mewakili probabilitas input milik masing-masing kelas, dan dengan demikian dapat diartikan sebagai "kepercayaan" yang ingin Anda peroleh.sumber
Untuk orang-orang yang tertarik pada estimasi keyakinan prediksi NN, Anda mungkin ingin melihat Dropout sebagai Perkiraan Bayesian: Mewakili Ketidakpastian Model dalam Pembelajaran Mendalam (Gal et al., 2016) . Secara singkat, ini menunjukkan bagaimana varian prediksi jaringan dengan dropout terhadap populasi run yang dilakukan dropout dapat digunakan untuk memperkirakan kepercayaan prediksi. Pendekatan ini dapat digunakan untuk jaringan yang dirancang untuk klasifikasi atau untuk regresi.
sumber