Sensing Kompresif vs. Pengodean Jarang

Rupanya ada terminologi berbeda yang digunakan untuk merujuk ke bidang yang sama yang disebut "penginderaan tekan" seperti (lihat halaman wiki ini ): penginderaan terkompresi, pengambilan sampel tekan, atau pengambilan sampel jarang. Saya ingin tahu tentang "penginderaan jarang"!

Meskipun demikian, dan setelah beberapa pencarian internet, apa yang orang sebut sebagai "pengkodean jarang" tampaknya tidak merujuk ke bidang "penginderaan tekan" seperti terminologi lain yang saya kutip di atas.

Apakah benar-benar ada perbedaan antara penginderaan tekan dan pengkodean jarang?

Bagaimana dengan belajar kamus?

Beberapa karya referensi menawarkan penjelasan:

• Interpretasi neurologis yang dijelaskan dalam Scholarpedia
• Tutorial Fitur Pembelajaran Tidak Terawasi dan Pembelajaran Dalam Stanford

Jika kita melihat definisi istilah dalam konteks pembelajaran kamus, misalnya dalam K-SVD: Algoritma untuk Merancang Kamus Terlalu Lengkap untuk Representasi Jarang , istilah tersebut didefinisikan:

Jarang coding adalah proses komputasi koefisien representasi berdasarkan sinyal yang diberikan dan kamus .$\mathbf x$$\mathbf y$$\mathbf D$

Jadi pengkodean yang jarang adalah operasi menemukan representasi yang jarang dari sinyal yang diberikan dalam kamus yang diberikan. Dalam kaitannya dengan penginderaan terkompresi, bagi saya ini tampaknya merupakan interpretasi yang paling relevan dari istilah tersebut. Dengan demikian, pengkodean yang jarang terkait erat dengan penginderaan terkompresi, tetapi penginderaan terkompresi secara khusus berkaitan dengan menemukan solusi yang paling jarang untuk seperangkat persamaan linear yang ditentukan , yang, seperti yang ditunjukkan teori, adalah solusi yang tepat dalam kasus ini dengan probabilitas tinggi. Pengodean yang jarang lebih umum dalam arti bahwa tidak harus berurusan dengan set persamaan yang kurang ditentukan.

Seperti yang Anda catat dengan benar penginderaan terkompresi, pengambilan sampel tekan, pengambilan sampel jarang semua memiliki arti yang sama. Beberapa penulis juga menyebutnya penginderaan jarang. Gagasan di balik penginderaan terkompresi adalah bahwa sinyal jarang dapat dipulihkan dari sangat sedikit pengukuran linier. Dalam simbol, jika adalah jarang vektor vektor, dan adalah matriks dengan , dan kami mengukur , lalu dikompresi teori penginderaan memberi tahu kita bahwa kita dapat memulihkan dari$\mathbf x$$N\times 1$$^\ddagger$$\mathbf A$$M\times N$$M\ll N$$\mathbf y=\mathbf{Ax}$$^\dagger$$\mathbf x$$\mathbf y$. Ini luar biasa karena dikatakan bahwa kita dapat memulihkan sinyal asli dari pengukuran yang lebih sedikit .

Pembelajaran kamus di sisi lain berurusan dengan masalah yang sama sekali berbeda untuk mewakili sekelompok vektor data dengan cara yang pelit. Diberikan sekumpulan vektor data , kami ingin mencari kumpulan vektor lain (disebut "atom") sedemikian rupa sehingga setiap vektor data dapat direpresentasikan sebagai kombinasi linear dari . Himpunan atom disebut kamus. Tujuannya di sini adalah untuk mempelajari kamus yang jauh lebih kecil dari jumlah vektor data yaitu .$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$$\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$$\mathbf x_i$$\mathbf v_j$$^*$$L < K$

Diberikan seperangkat atom dalam kamus dan vektor , tujuan pengkodean jarang adalah untuk mewakili sebagai kombinasi linier dari sesedikit mungkin atom.$\mathbf y$$\mathbf y$

Akhirnya, pembelajaran kamus jarang adalah kombinasi dari pembelajaran kamus dan pengkodean jarang. Tujuannya di sini adalah dua kali lipat: menemukan representasi sekumpulan vektor data dan memastikan bahwa masing-masing vektor data dapat ditulis sebagai kombinasi linear dari sesedikit mungkin atom.

Compressed Sensing v / s Sparse Coding
Kedua teknik ini berhubungan dengan menemukan representasi jarang tetapi ada perbedaan halus.

Penawaran penginderaan terkompresi secara khusus dengan masalah penyelesaian sistem persamaan linear yang tidak ditentukan yaitu lebih sedikit poin data daripada sinyal asli. Dari sinyal jarang yang tidak diketahui dan sensing matrix , kami mengamati vektor data . memiliki lebih sedikit baris daripada kolom. Teori penginderaan terkompresi berurusan dengan jenis pertanyaan pertanyaan berikut:$\mathbf x$$\mathbf A$$\mathbf y = \mathbf{Ax}$$\mathbf A$

1. Dalam kondisi apa set persamaan linier yang ditentukan di bawah ini dapat dipecahkan dan bagaimana kita menyelesaikannya dengan cara yang kuat secara komputasional dan dapat ditiru secara komputasi?

2. Bagaimana kita merancang matriks penginderaan untuk berbagai aplikasi?$\mathbf A$

Sebaliknya, jarang coding tidak berurusan dengan pertanyaan merancang . Selain itu Anda tidak tertarik untuk menyelesaikan sistem persamaan yang tidak ditentukan --- diizinkan memiliki lebih banyak baris daripada kolom. $\mathbf A$$\mathbf A$$^\%$

Referensi:

Sensing Kompresif [Catatan Kuliah]

Belajar Kamus

Pembelajaran kamus online untuk pengkodean yang jarang

Catatan kaki:

$^\ddagger$ Jarang berarti vektor memiliki sangat sedikit elemen bukan nol.

$^\dagger$ $\mathbf A$ dan perlu memenuhi beberapa kondisi teknis.$M$

$^*$ Tidak seperti metode transformasi standar seperti transformasi Fourier, pembelajaran kamus bersifat adaptif data. Saat mengambil transformasi Fourier, vektor basis diperbaiki sebelumnya (eksponensial kompleks). Dalam pembelajaran kamus, mereka dipelajari dari data.$\mathbf v_j$

$^\%$ Ini disebut kamus yang terlalu lengkap.