Sparse_categorical_crossentropy vsategical_crossentropy (keras, akurasi)

Yang lebih baik untuk akurasi atau mereka sama? Tentu saja, jika Anda menggunakanategical_crossentropy Anda menggunakan satu penyandian panas, dan jika Anda menggunakan sparse_categorical_crossentropy Anda menyandikan sebagai bilangan bulat normal. Selain itu, kapan yang lebih baik dari yang lain?

Gunakan crossentropy kategori jarang ketika kelas Anda saling eksklusif (misalnya ketika masing-masing sampel milik tepat satu kelas) dan crossentropy kategoris ketika satu sampel dapat memiliki beberapa kelas atau label adalah probabilitas lunak (seperti [0,5, 0,3, 0,2]).

Rumus untuk crossentropy kategorikal (sampel S, kelas C, sampel sampel milik kelas c) adalah:$s \in c$

Untuk kasus ketika kelas eksklusif, Anda tidak perlu menjumlahkannya - untuk setiap sampel hanya nilai bukan nol yang hanya untuk kelas benar c.$-log p(s \in c)$

Ini memungkinkan Anda menghemat waktu dan memori. Pertimbangkan kasus kelas 10000 ketika mereka saling eksklusif - hanya 1 log daripada menjumlahkan 10.000 untuk setiap sampel, hanya satu bilangan bulat bukan 10.000 mengapung.

Formula sama dalam kedua kasus, jadi tidak ada dampak pada keakuratan yang seharusnya ada.

Jawabannya, Singkatnya

Jika target Anda dikodekan satu-panas, gunakan kategorical_crossentropy. Contoh penyandian satu panas:

[1,0,0]
[0,1,0] 
[0,0,1]

Tetapi jika target Anda bilangan bulat, gunakan sparse_categorical_crossentropy. Contoh pengkodean bilangan bulat (untuk penyelesaian):

1
2
3