Bagaimana cara menemukan karakter non-ASCII di MySQL?

Saya bekerja dengan database MySQL yang beberapa datanya diimpor dari Excel . Data berisi karakter non- ASCII (tanda pisah em, dll.) Serta carriage return atau baris feed yang tersembunyi. Apakah ada cara untuk menemukan record ini menggunakan MySQL?

Itu tergantung persis apa yang Anda definisikan sebagai "ASCII", tetapi saya menyarankan untuk mencoba varian kueri seperti ini:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9]';

Kueri tersebut akan mengembalikan semua baris di mana columnToCheck berisi karakter non-alfanumerik. Jika Anda memiliki karakter lain yang dapat diterima, tambahkan ke kelas karakter dalam ekspresi reguler. Misalnya, jika titik, koma, dan tanda hubung OK, ubah kueri menjadi:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9.,-]';

Halaman paling relevan dari dokumentasi MySQL mungkin adalah 12.5.2 Regular Expressions .

MySQL menyediakan manajemen rangkaian karakter komprehensif yang dapat membantu mengatasi masalah semacam ini.

SELECT whatever
  FROM tableName 
 WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII)

The CONVERT(col USING charset)Fungsi mengubah karakter unconvertable menjadi karakter pengganti. Kemudian, teks yang dikonversi dan teks yang belum dikonversi akan menjadi tidak sama.

Lihat ini untuk diskusi lebih lanjut. https://dev.mysql.com/doc/refman/8.0/en/charset-repertoire.html

Anda dapat menggunakan nama set karakter apa pun yang Anda inginkan sebagai pengganti ASCII. Misalnya, jika Anda ingin mengetahui karakter mana yang tidak ditampilkan dengan benar di halaman kode 1257 (Lituavi, Latvia, Estonia) gunakanCONVERT(columnToCheck USING cp1257)

Anda dapat menentukan ASCII sebagai semua karakter yang memiliki nilai desimal 0 - 127 (0x00 - 0x7F) dan menemukan kolom dengan karakter non-ASCII menggunakan kueri berikut

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$';

Ini adalah pertanyaan paling komprehensif yang dapat saya temukan.

Ini mungkin yang Anda cari:

select * from TABLE where COLUMN regexp '[^ -~]';

Ini harus mengembalikan semua baris di mana COLUMN berisi karakter non-ASCII (atau karakter ASCII yang tidak dapat dicetak seperti baris baru).

Satu karakter yang hilang dari contoh semua orang di atas adalah karakter terminasi (\ 0). Ini tidak terlihat oleh keluaran konsol MySQL dan tidak dapat ditemukan oleh salah satu kueri yang disebutkan sebelumnya. Kueri untuk menemukannya adalah:

select * from TABLE where COLUMN like '%\0%';

Berdasarkan jawaban yang benar, tetapi dengan mempertimbangkan karakter kontrol ASCII juga, solusi yang berhasil untuk saya adalah ini:

SELECT * FROM `table` WHERE NOT `field` REGEXP  "[\\x00-\\xFF]|^$";

Itu melakukan hal yang sama: mencari pelanggaran rentang ASCII di kolom, tetapi memungkinkan Anda mencari karakter kontrol juga, karena menggunakan notasi heksadesimal untuk poin kode. Karena tidak ada perbandingan atau konversi (tidak seperti jawaban @ Ollie), ini seharusnya jauh lebih cepat juga. (Terutama jika MySQL melakukan penghentian awal pada kueri regex, yang memang seharusnya dilakukan.)

Ini juga menghindari kembali bidang yang panjangnya nol. Jika Anda menginginkan versi yang sedikit lebih panjang yang mungkin berkinerja lebih baik, Anda dapat menggunakan ini sebagai gantinya:

SELECT * FROM `table` WHERE `field` <> "" AND NOT `field` REGEXP  "[\\x00-\\xFF]";

Itu melakukan pemeriksaan terpisah untuk panjang untuk menghindari hasil panjang-nol, tanpa mempertimbangkannya untuk regex pass. Bergantung pada jumlah entri panjang-nol yang Anda miliki, ini bisa jauh lebih cepat.

Perhatikan bahwa jika kumpulan karakter default Anda adalah sesuatu yang aneh di mana 0x00-0xFF tidak dipetakan ke nilai yang sama seperti ASCII (apakah ada kumpulan karakter seperti itu di mana saja?), Ini akan mengembalikan positif palsu. Jika tidak, selamat menikmati!

Coba gunakan kueri ini untuk mencari rekaman karakter khusus

SELECT *
FROM tableName
WHERE fieldName REGEXP '[^a-zA-Z0-9@:. \'\-`,\&]'

Jawaban @zende adalah satu-satunya jawaban yang menutupi kolom dengan campuran karakter ascii dan non ascii, tetapi juga memiliki hex yang bermasalah. Saya menggunakan ini:

SELECT * FROM `table` WHERE NOT `column` REGEXP '^[ -~]+$' AND `column` !=''

Di Oracle kita bisa gunakan di bawah ini.

SELECT * FROM TABLE_A WHERE ASCIISTR(COLUMN_A) <> COLUMN_A;

untuk pertanyaan ini kita juga bisa menggunakan metode ini:

Pertanyaan dari sql zoo:
Temukan semua detail hadiah yang dimenangkan oleh PETER GRÜNBERG

Karakter non-ASCII

ans: pilih * dari nobel dimana pemenangnya menyukai'P% GR% _% berg ';