Dapatkah informasi timbal balik melalui entropi bersama:
didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"?
Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya mencoba hanya untuk memahami beberapa konsep tentang itu.
information-theory
mutual-information
luca maggi
sumber
sumber
Jawaban:
Ukuran yang Anda gambarkan disebut Rasio Kualitas Informasi [IQR] (Wijaya, Sarno dan Zulaika, 2017). IQR adalah informasi timbal balikI(X,Y) dibagi dengan "ketidakpastian total" (entropi bersama) H(X,Y) (sumber gambar: Wijaya, Sarno dan Zulaika, 2017).
Seperti yang dijelaskan oleh Wijaya, Sarno dan Zulaika (2017),
Anda dapat menafsirkannya sebagai probabilitas bahwa sinyal akan direkonstruksi dengan sempurna tanpa kehilangan informasi . Perhatikan bahwa interpretasi semacam itu lebih dekat dengan interpretasi subjektivis tentang probabilitas , kemudian ke interpretasi tradisional, sering.
Ini adalah probabilitas untuk peristiwa biner (merekonstruksi informasi vs tidak), di mana IQR = 1 berarti bahwa kami percaya informasi yang direkonstruksi menjadi dapat dipercaya, dan IQR = 0 berarti sebaliknya. Ini berbagi semua properti untuk probabilitas acara biner. Selain itu, entropi berbagi sejumlah properti lain dengan probabilitas (misalnya definisi entropi bersyarat, independensi, dll). Jadi sepertinya probabilitas dan dukun seperti itu.
Wijaya, DR, Sarno, R., & Zulaika, E. (2017). Informasi Rasio Kualitas sebagai metrik baru untuk pemilihan wavelet ibu. Chemometrics dan Sistem Laboratorium Cerdas, 160, 59-71.
sumber
sumber