Pertanyaan yang diberi tag unicode

Saya akan bertanya apa yang mungkin merupakan pertanyaan yang cukup kontroversial: "Haruskah salah satu pengkodean paling populer, UTF-16, dianggap berbahaya?" Mengapa saya menanyakan pertanyaan ini? Berapa banyak programmer yang menyadari fakta bahwa UTF-16 sebenarnya adalah penyandian panjang...

Jika invasi alien terjadi dan kami dipaksa untuk mendukung bahasa mereka di semua sistem komputer kami yang ada, apakah UTF-8 dirancang sedemikian rupa untuk memungkinkan sejumlah besar karakter mereka? (Tentu saja, kita tidak tahu apakah alien benar-benar memiliki bahasa, jika atau bagaimana...

Saya baru-baru ini mencoba menerapkan algoritma peringkat, AllegSkill, ke Python 3. Seperti apa matematika itu: Tidak benar-benar. Inilah yang saya tulis: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) + γ**2)**.5 Saya...

Saya pikir Unicode dirancang untuk mengatasi seluruh masalah memiliki banyak pengkodean yang berbeda karena ruang alamat kecil (8 bit) di sebagian besar upaya sebelumnya (ASCII, dll.). Lalu mengapa ada begitu banyak pengkodean Unicode? Bahkan beberapa versi dari yang (pada dasarnya) sama, seperti...

Perangkat lunak lini bisnis kami memungkinkan pengguna untuk menyimpan data tertentu sebagai CSV . Karena ada banyak format berbeda (semuanya disebut "CSV") yang digunakan di alam, kami ingin memutuskan seperti apa bentuk "format default" itu. Mengenai pemisah jalur / bidang dan melarikan diri,...

Ketentuan Penggunaan Unicode menyatakan bahwa perangkat lunak apa pun yang menggunakan file data mereka (atau modifikasi dari mereka) harus membawa referensi lisensi Unicode. Menurut saya, sebagian besar pustaka Unicode memiliki fungsi untuk memeriksa apakah sebuah karakter adalah digit, huruf,...

Saya sedang belajar T-SQL. Dari contoh yang saya lihat, untuk memasukkan teks ke dalam varchar()sel, saya dapat menulis hanya string yang akan disisipkan, tetapi untuk nvarchar()sel, setiap contoh awalan string dengan huruf N. Saya mencoba kueri berikut pada tabel yang memiliki nvarchar()baris,...

Kencing hewan peliharaan saya sedang melihat begitu banyak proyek perangkat lunak yang memiliki banyak kode untuk dukungan set karakter. Jangan salah paham, saya semua mendukung kompatibilitas, dan saya senang editor teks membiarkan Anda membuka dan menyimpan file dalam beberapa set karakter. Yang...

Saya akan membayangkan alasannya cepat, array seperti akses ke karakter di indeks, tetapi beberapa karakter tidak akan masuk ke dalam 16 bit, jadi itu tidak akan berhasil ... Jadi jika Anda harus menangani kasus khusus, mengapa tidak menggunakan UTF-8

Di tempat kerja saya menemukan banyak file teks Jepang di Shift-JIS dan penyandian lainnya. Ini menyebabkan banyak masalah mojibake (karakter yang tidak dapat dibaca) untuk semua pengguna komputer. Unicode dimaksudkan untuk menyelesaikan masalah semacam ini dengan mendefinisikan satu set karakter...

Unicode mungkin memiliki 50 ruang \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000A \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u00020 \ u0085 \ u0085 \ u0085 \ u0085 u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000 dan 6 jeda...

Semua orang tahu, bahwa PHP memiliki masalah dengan Unicode. Versi 6 secara efektif ditinggalkan, karena kesulitan implementasi Unicode. Tapi saya ingin tahu apakah ada yang tahu apa alasan sebenarnya ? Masalah arsitektur / desain, masalah kinerja, masalah komunitas (saya yakin tidak), sesuatu yang...

Saya hanya menonton presentasi Jon Skeet (dengan Tony the Pony) dari Dev-Days. Meskipun "menulis fungsi string terbalik" adalah coding wawancara 101 - Saya tidak yakin itu benar-benar mungkin untuk menulis fungsi string terbalik umum, tentu saja bukan yang bekerja di semua lokalisasi dan semua...

Apakah UTF-16 memiliki lebar tetap atau lebar variabel? Saya mendapat hasil berbeda dari sumber berbeda: Dari http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 menyimpan karakter Unicode dalam potongan enam belas-bit. Dari http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16...

Saya pribadi menemukan membaca kode yang penuh dengan pengidentifikasi Unicode membingungkan. Menurut pendapat saya, ini juga mencegah agar kode tidak mudah dipelihara. Belum lagi semua upaya yang diperlukan untuk penulis dari berbagai penerjemah untuk mengimplementasikan dukungan tersebut. Saya...

Saya mendesain format file dan saya ingin melakukannya dengan benar. Karena ini adalah format biner, byte pertama (atau byte) dari file tidak boleh membentuk karakter tekstual yang valid (seperti pada header file PNG 1 ). Ini memungkinkan alat yang tidak mengenali format untuk tetap melihat bahwa...

Saya telah mencari implementasi String trie yang efisien. Sebagian besar saya telah menemukan kode seperti ini: Implementasi referensial di Jawa (per wikipedia) Saya tidak menyukai implementasi ini karena sebagian besar dua alasan: Mereka hanya mendukung 256 karakter ASCII. Saya perlu membahas...

Sesuatu yang telah lama membingungkan saya adalah bahwa begitu banyak perangkat lunak menggunakan istilah "charset" dan "encoding" sebagai sinonim. Ketika orang merujuk ke "encoding" unicode, mereka selalu berarti seperangkat aturan untuk mewakili karakter unicode sebagai urutan byte - seperti...

Katakanlah bahasa asli Anda adalah bahasa Ibrani, dan Anda bekerja dalam bahasa pemrograman seperti Python 3, yang memungkinkan Anda memasukkan bahasa Ibrani ke dalam kode sumber. Bagus untukmu! Anda punya dict: d = {'a': 1} dan Anda ingin menggantinya adengan beberapa bahasa Ibrani. Jadi Anda...

Saya telah mengerjakan adaptor iterator UTF-8. Yang saya maksud adalah adaptor yang mengubah iterator ke charatau unsigned charurutan menjadi iterator ke char32_turutan. Pekerjaan saya di sini terinspirasi oleh iterator yang saya temukan online ini . Namun, ketika saya melihat melalui standar...