Pertanyaan tentang teori informasi, entropi, dan kandungan informasi dari berbagai sumber
Apakah semua string kode Morse dapat diuraikan secara unik? Tanpa ruang, ......-...-..---.-----.-..-..-.. bisa jadi Hello Worldtetapi mungkin huruf pertama adalah 5- pada kenyataannya tampaknya sangat tidak mungkin urutan titik dan garis sewenang-wenang harus memiliki terjemahan yang...
Gagasan ini muncul pada saya sebagai seorang anak yang belajar memprogram dan pada awalnya menghadapi PRNG. Saya masih tidak tahu seberapa realistis itu, tapi sekarang ada pertukaran tumpukan. Berikut skema anak berusia 14 tahun untuk algoritma kompresi yang luar biasa: Ambil PRNG dan seed...
Menurut Wikipedia : Entropi Shannon mengukur informasi yang terkandung dalam pesan sebagai lawan bagian pesan yang ditentukan (atau dapat diprediksi). Contoh yang terakhir termasuk redundansi dalam struktur bahasa atau sifat statistik yang berkaitan dengan frekuensi kemunculan pasangan huruf...
Katakanlah saya perlu mensimulasikan distribusi diskrit berikut: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Cara yang paling jelas adalah menggambar bit acak NNN...
Saya memiliki file yang berisi nomor biner yang dipesan dari hingga :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z tidak mengkompres file ini dengan sangat efisien (untuk n = 20, 22 MB dikompresi hingga 300 kB). Apakah ada algoritma yang dapat...
Saya membaca buku: " Kode: Bahasa Tersembunyi dari Perangkat Keras dan Perangkat Lunak Komputer " dan dalam Bab 2 penulis mengatakan: Kode Morse dikatakan kode biner (secara harfiah berarti dua oleh dua) karena komponen kode hanya terdiri dari dua hal - titik dan garis putus-putus. Wikipedia...
Saya baru-baru ini menemukan artikel menarik berikut yang mengklaim secara efisien mengompresi set data acak dengan selalu lebih dari 50%, terlepas dari jenis dan format data. Pada dasarnya ia menggunakan bilangan prima untuk secara unik membangun representasi potongan data 4-byte yang mudah untuk...
Membandingkan pasangan berurutan (x, y) dengan pasangan yang tidak berurutan {x, y} (set), maka informasi secara teoritis, perbedaannya hanya satu bit, karena apakah x lebih dulu atau y membutuhkan tepat satu bit untuk diwakili. Jadi, jika kita diberikan satu set {x, y} di mana x, y adalah dua...
Untuk mengenkripsi pesan m1m1m_1 dengan kunci satu kali kkk Anda lakukan En c ( m1, k ) = m1⊕ kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k . Jika Anda menggunakan sama kkkuntuk mengenkripsi pesan yang berbeda m2m2m_2 Anda mendapatkan En c ( m2, k ) = m2⊕ kEnc(m2,k)=m2⊕kEnc(m_2,k) = m_2 \oplus k ,...
Anda memiliki larik elemen yang berbeda. Anda memiliki akses ke pembanding (fungsi kotak hitam mengambil dua elemen dan dan mengembalikan true iff ) dan sumber bit yang benar-benar acak (fungsi kotak hitam tidak mengambil argumen dan mengembalikan bit acak yang seragam secara independen)....
Saya sedang membaca tentang algoritma kompresi data dan batas teoritis untuk kompresi data. Baru-baru ini saya menemukan metode kompresi yang disebut "Combinatorial Entropy Encoding", ide utama dari metode ini adalah untuk menyandikan file sebagai karakter yang disajikan dalam file, frekuensi...
Menentukan sewenang-wenang grid 9x9 memerlukan memberikan posisi dan nilai setiap persegi. Sebuah encoding naif untuk ini mungkin memberikan 81 (x, y, nilai) kembar tiga, membutuhkan 4 bit untuk setiap x, y, dan nilai (1-9 = 9 nilai = 4 bit) untuk total 81x4x3 = 972 bit. Dengan penomoran...
Menurut Wikipedia : Informal, dari sudut pandang teori informasi algoritma, isi informasi dari string setara dengan panjang mungkin representasi mandiri terpendek dari string. Apa analog definisi ketat informal "informasi yang berguna"? Mengapa "informasi yang berguna" tidak diambil sebagai...
Diberikan serangkaian nilai , Shannon Entropy di log base mencapai . Dari apa yang saya mengerti, dalam basis Shannon Entropy dibulatkan adalah jumlah minimum bit dalam biner untuk mewakili satu nilai.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Diambil dari pengantar di halaman wikipedia...
Saat ini saya sedang menulis beberapa kode untuk menghasilkan data biner. Saya secara khusus perlu menghasilkan angka 64-bit dengan jumlah bit yang ditentukan; lebih tepatnya, prosedur harus mengambil beberapa 0<n<640<n<640 < n < 64 dan mengembalikan nomor pseudo-acak 64-bit dengan...
Di tempat kerja saya ditugaskan untuk menyimpulkan beberapa jenis informasi tentang bahasa yang dinamis. Saya menulis ulang urutan pernyataan menjadi letekspresi bersarang , seperti: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z =>...
Dalam mencoba memahami hubungan antara Huffman Coding, Arithmetic Coding, dan Range Coding, saya mulai berpikir tentang kekurangan pengkodean Huffman terkait dengan masalah fraksional pengemasan bit . Artinya, misalkan Anda memiliki 240 nilai yang mungkin untuk simbol, dan diperlukan untuk...
Dalam teori pengkodean, 'seberapa bagus suatu kode' berarti berapa banyak kesalahan saluran dapat diperbaiki, atau lebih baik, tingkat kebisingan maksimal yang dapat ditangani oleh kode tersebut. Untuk mendapatkan kode yang lebih baik, kode dirancang menggunakan alfabet besar (bukan biner). Dan...
Persyaratan pengkodean sebagai awalan gratis menghasilkan pohon besar karena pohon harus lengkap. Apakah ada ambang batas tempat penyimpanan data yang tidak dikodekan dengan panjang tetap akan lebih efisien daripada pengkodean
Masalahnya adalah untuk membuktikan atau menyangkal keberadaan , st, ; ; d (c_i, c_j) \ geq2,1 \ leq i <j \ leq32 . ( d singkatan jarak hamming)CCC|c|=6,∀c∈C|c|=6,∀c∈C|c| = 6,\forall c\in C|C|=32|C|=32|C| = 32d(ci,cj)≥2,1≤i<j≤32d(ci,cj)≥2,1≤i<j≤32d(c_i,c_j)\geq2,1\leq...