UTF-8: Umum? Tempat sampah? Unicode?

Saya mencoba mencari tahu susunan apa yang harus saya gunakan untuk berbagai jenis data. 100% dari konten yang akan saya simpan dikirimkan oleh pengguna.

Pemahaman saya adalah bahwa saya harus menggunakan UTF-8 General CI (Case-Insensitive) daripada UTF-8 Binary. Namun, saya tidak dapat menemukan perbedaan yang jelas antara UTF-8 General CI dan UTF-8 Unicode CI.

1. Haruskah saya menyimpan konten yang dikirimkan pengguna dalam kolom UTF-8 Umum atau UTF-8 Unicode CI?
2. Tipe data apa yang akan diterapkan oleh UTF-8 Binary?

Secara umum, utf8_general_ci lebih cepat dari utf8_unicode_ci , tetapi kurang tepat.

Inilah perbedaannya:

Untuk setiap set karakter Unicode, operasi yang dilakukan menggunakan collation _general_ci lebih cepat daripada yang untuk collation _unicode_ci . Sebagai contoh, perbandingan untuk collation utf8_general_ci lebih cepat, tetapi sedikit kurang benar, dibandingkan dengan perbandingan utf8_unicode_ci. Alasannya adalah utf8_unicode_ci mendukung pemetaan seperti ekspansi; yaitu, ketika satu karakter membandingkan sama dengan kombinasi karakter lain. Misalnya, dalam bahasa Jerman dan beberapa bahasa lainnya "ß" sama dengan "ss". utf8_unicode_ci juga mendukung karakter kontraksi dan diabaikan. utf8_general_ci adalah kumpulan warisan yang tidak mendukung ekspansi, kontraksi, atau karakter yang dapat diabaikan. Itu hanya dapat membuat perbandingan satu-ke-satu antara karakter.

Dikutip dari: http://dev.mysql.com/doc/refman/5.0/id/charset-unicode-sets.html

Untuk penjelasan lebih rinci, silakan baca posting berikut dari forum MySQL: http://forums.mysql.com/read.php?103,187048,188748

Adapun utf8_bin: Baik utf8_general_ci dan utf8_unicode_ci melakukan perbandingan case-insensitive. Dalam konstrast , utf8_bin adalah case-sensitive (di antara perbedaan lainnya), karena membandingkan nilai biner dari karakter.

Anda juga harus menyadari fakta, bahwa dengan utf8_general_ci saat menggunakan bidang varchar sebagai indeks utama atau unik memasukkan 2 nilai seperti 'a' dan 'á' akan memberikan kesalahan kunci duplikat.

• utf8_binmembandingkan bit secara membabi buta. Tidak ada case lipat, tidak ada aksen stripping.
• utf8_general_cimembandingkan satu byte dengan satu byte. Itu kasus lipat dan aksen stripping, tapi tidak ada perbandingan 2 karakter: ijtidak sama ijdalam susunan ini.
• utf8_*_ciadalah seperangkat aturan khusus bahasa, tetapi sebaliknya suka unicode_ci. Beberapa kasus khusus: Ç, Č, ch,ll
• utf8_unicode_cimengikuti standar Unicode lama untuk perbandingan. ij= ij, tapi ae! =æ
• utf8_unicode_520_cimengikuti standar Unicode yang lebih baru. ae=æ

Lihat bagan collation untuk perincian tentang apa yang sama dengan apa di berbagai collations utf8.

utf8, seperti yang didefinisikan oleh MySQL terbatas pada kode utf8 1- hingga 3 byte. Ini meninggalkan Emoji dan beberapa orang Cina. Jadi Anda harus benar-benar beralih ke utf8mb4jika Anda ingin pergi jauh ke luar Eropa.

Poin di atas berlaku untuk utf8mb4 , setelah perubahan ejaan yang sesuai. Maju, utf8mb4dan utf8mb4_unicode_520_cilebih disukai.

• utf16 dan utf32 adalah varian di utf8; hampir tidak ada gunanya bagi mereka.
• ucs2 lebih dekat ke "Unicode" daripada "utf8"; hampir tidak ada gunanya untuk itu.

Sungguh, saya menguji nilai tabungan seperti 'é' dan 'e' di kolom dengan unik indeks dan mereka menyebabkan kesalahan duplikat pada 'utf8_unicode_ci' dan 'utf8_general_ci'. Anda dapat menyimpannya hanya di kolom susun 'utf8_bin'.

Dan dokumen mysql (di http://dev.mysql.com/doc/refman/5.7/en/charset-applications.html ) menyarankan ke dalam contoh-contohnya set susunan 'utf8_general_ci'.

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci

Jawaban yang diterima sudah usang.

Jika Anda menggunakan MySQL 5.5.3+, gunakan utf8mb4_unicode_cialih-alih utf8_unicode_ciuntuk memastikan karakter yang diketik oleh pengguna Anda tidak akan memberi Anda kesalahan.

utf8mb4mendukung emoji misalnya, sedangkan utf8mungkin memberi Anda ratusan bug terkait penyandian seperti:

Incorrect string value: ‘\xF0\x9F\x98\x81…’ for column ‘data’ at row 1