Bingung dan lintas-entropi untuk model n-gram

Mencoba memahami hubungan antara entropi-silang dan kebingungan. Secara umum untuk model M , Perplexity (M) = 2 ^ entropy (M) . Apakah hubungan ini berlaku untuk semua n-gram yang berbeda, yaitu unigram, bigram, dll.?

Ya, kebingungan selalu sama dengan dua dengan kekuatan entropi. Tidak masalah apa jenis model yang Anda miliki, n-gram, unigram, atau jaringan saraf.

Ada beberapa alasan mengapa pemodelan bahasa orang suka kebingungan daripada hanya menggunakan entropi. Salah satunya adalah bahwa, karena eksponen, perbaikan dalam kebingungan "merasa" seperti mereka lebih besar daripada peningkatan setara dalam entropi. Lain adalah bahwa sebelum mereka mulai menggunakan kebingungan, kompleksitas model bahasa dilaporkan menggunakan pengukuran faktor percabangan sederhana yang lebih mirip dengan kebingungan daripada untuk entropi.

Setuju dengan jawaban @ Harun dengan sedikit modifikasi:

Itu tidak selalu sama dengan dua dengan kekuatan entropi. Sebenarnya, itu akan menjadi (dasar untuk log) dengan kekuatan entropi. Jika Anda telah menggunakan e sebagai basis Anda, maka itu akan menjadi e entropi.