Cara merekonstruksi piksel yang diacak dari file video?

Misalkan Anda memiliki file video yang urutan pikselnya telah dikocok sekali. Artinya, urutan acak telah didefinisikan sekali dan diterapkan ke semua bingkai.

Apakah ada beberapa pendekatan yang dikenal untuk mengambil urutan piksel awal?

Saya punya beberapa ide untuk mengambil topologi awal dengan menempatkan piksel yang nilainya berkorelasi dalam ruang dan waktu yang lebih dekat. Saya ingin tahu apakah ini telah dipelajari dan apakah algoritma yang efisien diterbitkan.

Juga masalah ini dapat dianggap sebagai cara untuk memproyeksikan ke matriks 2D satu set nilai yang bervariasi dalam waktu untuk dapat menerapkan teknik visi komputer (seperti CNN), dengan asumsi bahwa nilai-nilai ini memang entah bagaimana berkorelasi.

statistics convnet image-recognition convolution tsne Denis Dollfus
sumber

Ini seperti masalah mainan atau tantangan peretasan? Setidaknya itu tampaknya tidak terkait dengan enkripsi video dunia nyata, karena akan mengerikan untuk bandwidth dan tidak terlalu aman, sementara mengenkripsi aliran byte menggunakan misalnya AES cepat dan dapat diandalkan. Saya kira satu pertanyaan segera adalah: Apakah Anda memiliki data aktual dan masalah untuk dipecahkan, atau Anda bertanya secara abstrak, hanya karena ketertarikan?

Neil Slater

Benar, aplikasi potensial tidak terkait dengan dekripsi / peretasan tetapi benar-benar bertujuan menerapkan teknik visi komputer ke domain mana pun di mana data tidak diatur sebagai gambar ... dengan mengatur data sebagai gambar. Jadi, jika masalah mainan dapat diselesaikan pada video, saya percaya itu bisa memiliki perkembangan menarik yang diterapkan pada data non-native-2D.

Denis Dollfus

Tampaknya menarik, meskipun saya berpikir sangat banyak dalam "coba dan lihat apakah itu berhasil, cari tahu teori kemudian" semacam cara. Tidak ada alasan dalam pikiran saya untuk curiga bahwa korelasi antara fitur dalam set data yang sewenang-wenang harus memungkinkan pembuatan grafik seperti grid. Meskipun untuk set data di mana itu maka saya bisa melihat alasan di mana itu bisa berguna untuk menggunakan analisis gambar pada data yang diatur ulang. Apakah ada orang yang melihat piksel yang tidak teratur ini tergantung pada apakah itu berhubungan dengan masalah yang bermanfaat atau menarik - saya tidak bisa memikirkan satu, tapi saya bukan peneliti. . .

Neil Slater

Saya baru saja mengalami masalah serupa tetapi dalam konteks yang berbeda: dsp.stackexchange.com/questions/59808/…

Dilawar

Jawaban:

Ini adalah masalah kombinatorial yang menarik. Saya akan menampilkan setiap piksel menggunakan lintasan temporal penuhnya, lalu menanamkannya dalam kotak menggunakan k tetangga terdekat. Tujuan sebenarnya adalah untuk memaksimalkan kemungkinan video menjadi urutan gambar alami (kehidupan nyata), yang dapat Anda uji dengan penggolong, tetapi Anda mungkin bisa lolos hanya dengan biaya kehalusan; katakanlah, jumlah perbedaan antara piksel yang berdekatan. Setelah Anda mulai mengisi kisi-kisi, kendala kehalusan akan mengurangi ruang pencarian (karena piksel harus dekat dengan beberapa piksel lainnya), sehingga mempercepat, dengan asumsi Anda menggunakan struktur data yang efisien untuk menanyakan tetangga terdekat; lihat misalnya http://www.itu.dk/people/pagh/SSS/ann-benchmarks/

Emre
sumber

Solusi umum untuk ini tidak ada, bahkan jika kami menambahkan beberapa asumsi tentang distribusi misalnya warna dan bentuk pada gambar atau penggabungan sementara seperti frame yang berurutan serupa.

Masalah

Membiarkan $F_1,\dots,F_i$ menjadi $n$ bingkai asli, masing-masing dengan $m$ piksel. Membiarkan $P$ menjadi permutasi yang diterapkan pada piksel setiap frame sebelum kita mendapatkannya. Anda bisa memikirkannya $P$ sebagai buku kode musuh.

Sekarang, sebagai input yang kami terima $P(F_1),\dots,P(F_n)$ . Tujuannya adalah untuk menemukan permutasi terbalik $Q$ untuk mengembalikan gambar. Jadi $QP=I$ adalah peta identitas dan misalnya $Q(P(F_1))=F_1$ . Perhatikan bahwa kita tidak tahu bingkai yang benar $F_i$ .

Membiarkan $Q_1,...,Q_{m!}$ menjadi $m!$ kemungkinan fungsi permutasi dari $m$ piksel.

Tujuannya untuk memilih yang unik $j\in\{1,\dots,m!\}$ maka $Q_jP=I$ .

Tidak Ada Solusi Umum

Di bawah model statistik kami ini berarti memilih $Q_j$ yang memaksimalkan kemungkinan itu $Q_j(P(F_i))$ diambil dari distribusi yang sama dengan statistik referensi untuk gambar dan statistik temporal antara frame berturut-turut $Q_j(P(F_{i})$ dan $Q_j(P(F_{i+1})$ yang merupakan pengetahuan kami sebelumnya.

Ada contoh tandingan kanonik di mana musuh memberi Anda film orak dengan dua frame di mana semua piksel memiliki warna yang sama, jadi $n=2$ , $F_1=F_2$ dan $Q_j(F_1)=Q_j(F_2)=F1=F2$ untuk setiap $j$ . Demikian untuk semuanya $j$ , statistik dalam-bingkai dan antar-bingkai dapat digunakan untuk masing-masing $j$ dan tidak memberi kami informasi untuk memilih permutasi kemungkinan maksimum $Q_j$ (Kecuali dalam kasus degenerasi di mana $m!=1$ ).

Dengan demikian, kami tidak dapat menjamin keunikan dan masalahnya tidak dapat diselesaikan tanpa asumsi lebih lanjut.

Asumsi Lebih Lanjut

Sangat menarik untuk melihat apakah kita dapat memecahkan masalah dengan menambahkan lebih banyak kendala.

Jika kita membatasi musuh untuk hanya mengirim kami film "nyata" dan dengan asumsi ada cukup banyak piksel dan bingkai sehingga unik $Q_j$ dengan kemungkinan maksimum ada, kami masih harus menghitung statistik untuk $O(m! \times n)$ bingkai permutasi untuk menemukan maksimum.

Ini adalah pemecah kode brute force.

Untuk mendapatkan manfaat dari jaringan saraf, dan back-propagation khususnya, kita akan memerlukan fungsi kerugian yang terdiferensiasi sehubungan dengan input (yang merupakan pengkodean dari $j$ atau permutasi kami $Q_j$ ). Pertanyaannya kemudian, adalah untuk melihat apakah fungsi tersebut dapat ditemukan.

Kalau tidak, masalahnya lebih mirip dengan cryptanalysis dalam kasus khusus di mana kita tahu bahwa buku kode musuh adalah permutasi dari teks-jelas (atau gambar-jelas).

mjul
sumber

Penyebutan musuh membuat saya bertanya-tanya apakah orang bisa membuat film orak-arik yang akan memiliki dua solusi yang keduanya akan terlihat seperti film nyata.

Denis Dollfus

Ini adalah inti dari masalah yang saya hadapi saat ini: dsp.stackexchange.com/questions/59808/… . Meskipun saya dapat mengasumsikan bahwa aktivitas (dalam video yang terhubung ke posting ini) adalah cadangan dan berkerumun.

Dilawar