Hubungan antara entropi dan SNR

Secara umum segala bentuk enropi didefinisikan sebagai ketidakpastian atau keacakan. Dalam lingkungan yang bising, dengan peningkatan kebisingan, saya percaya bahwa entropi meningkat karena kita lebih tidak pasti tentang konten informasi dari sinyal yang diinginkan. Apa hubungan antara entropi dan SNR? Dengan meningkatnya ransum sinyal ke derau, daya derau berkurang tetapi ini tidak menyiratkan bahwa kandungan informasi dari sinyal meningkat !! Konten informasi dapat tetap sama, jadi apakah itu berarti entropi tidak terpengaruh?

Ketika Anda mengatakan bahwa "konten informasi mungkin tetap sama," apakah maksud Anda informasi dalam sinyal total, atau informasi dari sinyal yang diinginkan? Semoga ini akan menjawab kedua kasus. Saya tahu entropi Shannon jauh lebih baik daripada Kolmogorov jadi saya akan menggunakannya, tapi semoga logikanya akan diterjemahkan.

Katakanlah adalah sinyal Total ( ), terdiri dari jumlah sinyal yang diinginkan Anda dan kebisingan komponen Anda . Mari panggilan entropi . Seperti yang Anda katakan, noise menambah entropi ke sistem dengan meningkatkan kompleksitasnya. Namun, itu tidak selalu hanya karena kita lebih tidak pasti tentang isi informasi dari sinyal, tetapi karena ada lebih banyak ketidakpastian dalam keseluruhan sinyal. Jika SNR mengukur seberapa yakin kita tentang , maka mengukur seberapa baik kita dapat memprediksi keadaan masa mendatang berdasarkan kondisiX S N H S H ( X ) X $X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$$X$. Entropi berkaitan dengan seberapa kompleks keseluruhan sinyal, terlepas dari komposisi derau vs non derau.

Jika Anda meningkatkan SNR dengan menghilangkan noise (menipiskan ), Anda mengurangi kompleksitas sinyal total dan dengan demikian entropinya. Anda tidak kehilangan informasi apapun yang dibawa oleh , hanya informasi (mungkin berarti) dilakukan oleh . Jika adalah noise acak, maka jelas itu tidak membawa informasi yang bermakna, tetapi dibutuhkan sejumlah informasi untuk menggambarkan keadaan , ditentukan oleh jumlah negara di mana N dapat berada, dan kemungkinan berada di masing-masing negara. Itulah entropinya.X S N N $N$$X$$S$$N$$N$$N$

Kita dapat melihat dua distribusi Gaussian dengan varian yang berbeda, misalkan satu memiliki varian dan yang lainnya memiliki varian . Hanya dengan melihat persamaan untuk distribusi Gaussian, kita melihat bahwa distribusi memiliki probabilitas maksimum yang hanya nilai probabilitas distr. Sebaliknya, ini berarti bahwa ada kemungkinan lebih besar bahwa distr akan mengambil nilai selain dari rata-rata, atau bahwa ada lebih banyak kepastian bahwa distribusi akan mengambil nilai mendekati rata-rata. Jadi, distribusi memiliki entropi yang lebih rendah daripada100 V a r = 100 $1$$100$$Var=100$ var=1Var=100Var=1Var=1Var=$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ distribusi.

Kami menetapkan bahwa varians yang lebih tinggi menyiratkan entropi yang lebih tinggi. Melihat propagasi kesalahan, juga benar bahwa (sama dengan independen , ). Jika , maka untuk entropi , . Karena H adalah (secara tidak langsung) fungsi dari varians, kita dapat memalsukan sedikit hal untuk dikatakan H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Untuk menyederhanakan, kita katakan S danX Y X = S + N H H ( X ) = H ( S + N $Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$$H$$H(Var[X]) = H(Var[S+N])$$S$ adalah independen, jadi H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ N ] ) . Peningkatan SNR sering kali berarti melemahkan kekuatan kebisingan. Sinyal baru ini dengan SNR lebih tinggi akan menjadi X = S + ( $N$$H(Var[X]) = H(Var[S] + Var[N])$, untukk>1. Entropi kemudian menjadiH(Var[X])=H(Var[S]+(1/k)2∗Var[N]). klebih besar dari1, jadiVar[N]akan berkurang ketika N dilemahkan. JikaV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ berkurang, demikian juga V a r [ S + N ] , dan karenanya V a r [ X ] , menghasilkan penurunan H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Tidak terlalu ringkas, maaf. Singkatnya, entropi berkurang jika Anda meningkatkan SNR, tetapi Anda tidak melakukan apa pun terhadap informasi S. Saya tidak dapat menemukan sumber sekarang, tetapi ada metode untuk menghitung SNR dan informasi timbal balik (ukuran bivariat mirip dengan entropi) dari satu sama lain. Mungkin takeaway utama adalah SNR dan entropi tidak mengukur hal yang sama.$X$$S$

Berikut kutipan dari [1, p. 186]untuk membantu Anda, OP atau Googler, dimulai:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006