Apa itu Classification Temporal Classification (CTC)?

Saya ingin melakukan proyek optical character recognition (OCR). Setelah melakukan beberapa penelitian saya menemukan arsitektur yang tampaknya menarik: CNN + RNN + CTC. Saya akrab dengan jaringan saraf berbelit-belit (CNN), dan jaringan saraf berulang (RNN), tetapi apa itu Classification Temporal Classification (CTC)? Saya ingin penjelasan dalam istilah awam.

Anda memiliki dataset yang berisi:

• gambar I1, I2, ...
• teks kebenaran dasar T1, T2, ... untuk gambar I1, I2, ...

Jadi dataset Anda dapat terlihat seperti itu:

Jaringan Saraf Tiruan (NN) mengeluarkan skor untuk setiap posisi horizontal yang mungkin (sering disebut t langkah-waktu dalam literatur) dari gambar. Ini terlihat seperti ini untuk gambar dengan lebar 2 (t0, t1) dan 2 karakter yang mungkin ("a", "b"):

| t0 | t1 --+-----+---- a | 0.1 | 0.6 b | 0.9 | 0.4

Untuk melatih NN seperti itu, Anda harus menentukan untuk setiap gambar di mana karakter teks kebenaran dasar diposisikan dalam gambar. Sebagai contoh, pikirkan gambar yang berisi teks "Halo". Anda sekarang harus menentukan di mana "H" dimulai dan berakhir (misalnya "H" dimulai pada piksel ke-10 dan berlanjut hingga piksel ke-25). Hal yang sama untuk "e", "Aku, ... Kedengarannya membosankan dan merupakan kerja keras untuk dataset besar.

Bahkan jika Anda berhasil membuat anotasi dataset lengkap dengan cara ini, ada masalah lain. NN menampilkan skor untuk setiap karakter pada setiap langkah waktu, lihat tabel yang saya tunjukkan di atas untuk contoh mainan. Kita sekarang dapat mengambil karakter yang paling mungkin per langkah-waktu, ini adalah "b" dan "a" dalam contoh mainan. Sekarang pikirkan teks yang lebih besar, misalnya "Halo". Jika penulis memiliki gaya penulisan yang menggunakan banyak ruang dalam posisi horizontal, setiap karakter akan menempati beberapa langkah waktu. Mengambil karakter yang paling mungkin per langkah waktu, ini bisa memberi kita teks seperti "HHHHHHHHeeeellllllllloooo". Bagaimana seharusnya kita mengubah teks ini menjadi hasil yang benar? Hapus setiap karakter duplikat? Ini menghasilkan "Helo", yang tidak benar. Jadi, kita perlu beberapa postprocessing pintar.

CTC memecahkan kedua masalah:

• Anda dapat melatih jaringan dari pasangan (I, T) tanpa harus menentukan di mana posisi karakter terjadi menggunakan hilangnya CTC
• Anda tidak perlu memposting proses, karena decoder CTC mengubah output NN menjadi teks akhir

Bagaimana ini dicapai?

• memperkenalkan karakter khusus (CTC-blank, dilambangkan sebagai "-" dalam teks ini) untuk menunjukkan bahwa tidak ada karakter yang terlihat pada langkah waktu tertentu
• memodifikasi teks kebenaran dasar T ke T 'dengan memasukkan CTC-blanks dan dengan mengulangi karakter dengan semua cara yang mungkin
• kita tahu gambarnya, kita tahu teksnya, tetapi kita tidak tahu di mana letak teks itu. Jadi, mari kita coba semua posisi yang memungkinkan dari teks "Hai ----", "-Hi ---", "--Hi--", ...
• kami juga tidak tahu berapa banyak ruang yang ditempati setiap karakter dalam gambar. Jadi mari kita juga mencoba semua keberpihakan yang memungkinkan dengan memungkinkan karakter untuk mengulang seperti "HHi ----", "HHHi ---", "HHHHi--", ...
• apakah Anda melihat masalah di sini? Tentu saja, jika kita membiarkan satu karakter mengulang beberapa kali, bagaimana kita menangani karakter duplikat nyata seperti "l" di "Halo"? Yah, selalu selalu masukkan kosong di antara dalam situasi ini, yaitu misalnya "Hel-lo" atau "Heeellll ------- llo"
• menghitung skor untuk setiap kemungkinan T '(yaitu untuk setiap transformasi dan setiap kombinasi dari ini), jumlah atas semua skor yang menghasilkan kerugian untuk pasangan (I, T)
• decoding mudah: pilih karakter dengan skor tertinggi untuk setiap langkah waktu, misalnya "HHHHHH-eeeellll-lll - oo ---", membuang karakter duplikat "H-el-lo", membuang kosong "Halo", dan kami sudah selesai.

Untuk mengilustrasikan ini, lihat gambar berikut. Namun dalam konteks pengenalan ucapan, pengenalan teks sama saja. Decoding menghasilkan teks yang sama untuk kedua speaker, meskipun penyelarasan dan posisi karakter berbeda.

Bacaan lebih lanjut:

• pengantar intuitif: https://medium.com/@harald_scheidl/intuitively-understanding-connectionist-temporal-classification-3797e43a86c ( mirror )
• pengantar yang lebih mendalam: https://distill.pub/2017/ctc ( mirror )
• Implementasi python yang dapat Anda gunakan untuk "bermain-main" dengan decoder CTC untuk mendapatkan pemahaman yang lebih baik tentang cara kerjanya: https://github.com/githubharald/CTCDecoder
• dan, tentu saja, makalah Graves, Alex, Santiago Fernández, Faustino Gomez, dan Jürgen Schmidhuber. + Msgstr " Klasifikasi temporal koneksionis: memberi label data sekuens tidak teregmentasi dengan jaringan saraf berulang ." Dalam Prosiding konferensi internasional ke-23 tentang Pembelajaran mesin, hlm. 369-376. ACM, 2006.