Regex Javascript Konkret untuk Karakter Beraksen (Diakritik)

Saya telah melihat Stack Overflow ( mengganti karakter .. eh , bagaimana JavaScript tidak mengikuti standar Unicode tentang RegExp , dll.) Dan belum benar-benar menemukan jawaban konkret untuk pertanyaan:

How can JavaScript match for accented characters (those with diacritical marks)?

Saya memaksa sebuah bidang di UI agar sesuai dengan format: last_name, first_name (terakhir [koma spasi] pertama) , dan saya ingin memberikan dukungan untuk diakritik, tetapi jelas dalam JavaScript itu sedikit lebih sulit daripada bahasa / platform lain.

Ini adalah versi asli saya, sampai saya ingin menambahkan dukungan diakritik:

/^[a-zA-Z]+,\s[a-zA-Z]+$/

Saat ini saya sedang memperdebatkan satu dari tiga metode untuk menambah dukungan, yang semuanya telah saya uji dan bekerja (setidaknya sampai batas tertentu, saya tidak benar-benar tahu apa "tingkat" dari pendekatan kedua). Di sini mereka:

Secara eksplisit mendaftar semua karakter beraksen yang ingin saya terima valid (lumpuh dan terlalu rumit):

var accentedCharacters = "àèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ";
// Build the full regex
var regex = "^[a-zA-Z" + accentedCharacters + "]+,\\s[a-zA-Z" + accentedCharacters + "]+$";
// Create a RegExp from the string version
regexCompiled = new RegExp(regex);
// regexCompiled = /^[a-zA-ZàèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ]+,\s[a-zA-ZàèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ]+$/

• Ini dengan benar mencocokkan nama belakang / depan dengan salah satu karakter beraksen yang didukung di accentedCharacters.

Pendekatan saya yang lain adalah menggunakan .kelas karakter, untuk memiliki ekspresi yang lebih sederhana:

var regex = /^.+,\s.+$/;

• Ini akan cocok untuk apa saja, setidaknya dalam bentuk: something, something. Saya kira tidak apa-apa ...

Pendekatan terakhir, yang baru saja saya temukan mungkin lebih sederhana ...

/^[a-zA-Z\u00C0-\u017F]+,\s[a-zA-Z\u00C0-\u017F]+$/

• Ini cocok dengan berbagai karakter unicode - diuji dan bekerja, meskipun saya tidak mencoba sesuatu yang gila, hanya hal-hal normal yang saya lihat di departemen bahasa kami untuk nama anggota fakultas.

Inilah kekhawatiran saya:

1. Solusi pertama terlalu terbatas, dan ceroboh dan berbelit-belit pada saat itu. Itu perlu diubah jika saya lupa satu atau dua karakter, dan itu tidak terlalu praktis.
2. Solusi kedua lebih baik, ringkas, tetapi mungkin lebih cocok daripada yang seharusnya. Saya tidak bisa menemukan dokumentasi nyata pada persis apa yang .cocok, hanya generalisasi "karakter apapun kecuali karakter baris baru" (dari meja di MDN ).

3. Solusi ketiga tampaknya menjadi yang paling tepat, tetapi apakah ada gotcha? Saya tidak terlalu akrab dengan Unicode, setidaknya dalam prakteknya, tetapi melihat tabel kode / kelanjutan dari tabel itu , \u00C0-\u017Ftampaknya cukup solid, setidaknya untuk input yang saya harapkan.

   • Fakultas tidak akan mengirimkan formulir dengan nama mereka dalam bahasa asli mereka (misalnya, Arab, Cina, Jepang, dll.) Jadi saya tidak perlu khawatir tentang karakter yang tidak sesuai dengan karakter Latin

Jadi pertanyaan sebenarnya : Manakah dari tiga pendekatan ini yang paling cocok untuk tugas itu? Atau adakah solusi yang lebih baik?

Cara lebih mudah untuk menerima semua aksen adalah ini:

[A-zÀ-ú] // accepts lowercase and uppercase characters
[A-zÀ-ÿ] // as above but including letters with an umlaut (includes [ ] ^ \ × ÷)
[A-Za-zÀ-ÿ] // as above but not including [ ] ^ \
[A-Za-zÀ-ÖØ-öø-ÿ] // as above but not including [ ] ^ \ × ÷

Lihat https://unicode-table.com/en/ untuk karakter yang tercantum dalam urutan angka.

Rentang aksen Latin \u00C0-\u017Ftidak cukup untuk basis data nama saya, jadi saya memperpanjang regex ke

[a-zA-Z\u00C0-\u024F]
[a-zA-Z\u00C0-\u024F\u1E00-\u1EFF] // includes even more Latin chars

Saya menambahkan blok kode ini ( \u00C0-\u024Ftermasuk tiga blok yang berdekatan sekaligus):

• \u00C0-\u00FF Suplemen Latin-1
• \u0100-\u017F Latin Extended-A
• \u0180-\u024F Latin Extended-B
• \u1E00-\u1EFF Latin Diperpanjang Tambahan

Perhatikan bahwa \u00C0-\u00FFsebenarnya hanya bagian dari Suplemen Latin-1 . Rentang itu melompati sinyal kontrol yang tidak patut dan semua simbol kecuali untuk multiply × yang ditempatkan dengan canggung \u00D7dan bagi ÷ \u00F7.

[a-zA-Z\u00C0-\u00D6\u00D8-\u00F6\u00F8-\u024F] // exclude ×÷

Jika Anda membutuhkan lebih banyak poin kode, Anda dapat menemukan rentang lebih banyak di Daftar karakter Unicode Wikipedia . Misalnya, Anda juga bisa menambahkan Latin Extended-C , D , dan E , tetapi saya meninggalkannya karena hanya sejarawan yang tampaknya tertarik pada mereka sekarang, dan set D dan E bahkan tidak merender dengan benar di browser saya.

Regex asli berhenti pada \u017Ftersumbat pada nama "Șenol". Menurut FontSpace's Unicode Analyzer , karakter pertama adalah \u0218, LATIN MODAL SURAT S DENGAN COMMA DI BAWAH. (Ya, itu biasanya dieja dengan cedilla-S \u015E, "Şenol." Tapi aku tidak terbang ke Turki untuk pergi memberitahunya, "Kau salah mengeja namamu!")

Manakah dari tiga pendekatan ini yang paling cocok untuk tugas itu?

Tergantung pada tugas :-) Untuk mencocokkan dengan tepat semua karakter Latin dan versi beraksennya, rentang Unicode mungkin memberikan solusi terbaik. Mereka mungkin diperluas ke semua karakter non-spasi, yang bisa dilakukan menggunakan \Skelas karakter.

Saya memaksa bidang dalam UI agar sesuai dengan format: last_name, first_name(terakhir [koma spasi] terlebih dahulu)

Masalah paling mendasar yang saya lihat di sini bukanlah diakritik, tetapi spasi putih. Ada beberapa nama yang terdiri dari beberapa kata, misalnya untuk judul. Jadi, Anda harus menggunakan yang paling umum, yang memungkinkan segalanya kecuali koma yang membedakan pertama dari nama belakang:

/[^,]+,\s[^,]+/

Tetapi solusi kedua Anda dengan .kelas karakter sama baiknya, Anda hanya perlu peduli dengan beberapa komata.

The XRegExp perpustakaan memiliki plugin bernama Unicode yang membantu menyelesaikan tugas-tugas seperti ini.

<script src="xregexp.js"></script>
<script src="addons/unicode/unicode-base.js"></script>
<script>
  var unicodeWord = XRegExp("^\\p{L}+$");

  unicodeWord.test("Русский"); // true
  unicodeWord.test("日本語"); // true
  unicodeWord.test("العربية"); // true
</script>

Itu disebutkan dalam komentar untuk pertanyaan, tetapi mudah untuk dilewatkan. Saya perhatikan hanya setelah saya mengirimkan jawaban ini.

Bagaimana dengan ini?

/^[a-zA-ZÀ-ÖØ-öø-ÿ]+$/

Bagaimana dengan ini?

^([a-zA-Z]|[à-ú]|[À-Ú])+$

Ini akan cocok dengan setiap kata dengan karakter beraksen atau tidak.

dari wiki ini: https://en.wikipedia.org/wiki/List_of_Unicode_characters#Basic_Latin

untuk huruf latin, saya gunakan

/^[A-zÀ-ÖØ-öø-ÿ]+$/ 

itu menghindari tanda hubung dan spesial karakter

/^[\pL\pM\p{Zs}.-]+$/u

Penjelasan:

• \pL - Cocok dengan segala jenis huruf dari bahasa apa pun
• \pM - Atches karakter yang dimaksudkan untuk dikombinasikan dengan karakter lain (misalnya aksen, umlaut, kotak terlampir, dll)
• \p{Zs} - Cocok dengan karakter spasi putih yang tidak terlihat, tetapi tidak memakan ruang
• u - Pola dan string subjek diperlakukan sebagai UTF-8

Tidak seperti regex yang diusulkan lainnya (seperti [A-Za-zÀ-ÖØ-öø-ÿ]), ini akan bekerja dengan semua karakter khusus bahasa, misalnya Ššdicocokkan dengan aturan ini, tetapi tidak dicocokkan oleh orang lain di halaman ini.

Sayangnya, aslinya JavaScript tidak mendukung kelas-kelas ini. Namun, Anda dapat menggunakan xregexp, mis

const XRegExp = require('xregexp');

const isInputRealHumanName = (input: string): boolean => {
  return XRegExp('^[\\pL\\pM-]+ [\\pL\\pM-]+$', 'u').test(input);
};

Anda dapat menghapus diakritik dari huruf dengan menggunakan:

var str = "résumé"`
str.normalize('NFD').replace(/[\u0300-\u036f]/g, '')` // returns resume

Ini akan menghapus semua tanda diakritik, dan kemudian melakukan regex Anda di atasnya

Referensi:

https://thread.engineering/2018-08-29-searching-and-sorting-text-with-diacritical-marks-in-javascript/