Apa cara terbaik untuk menghilangkan aksen dalam string unicode Python?

Saya memiliki string Unicode dengan Python, dan saya ingin menghapus semua aksen (diakritik).

Saya temukan di Web cara yang elegan untuk melakukan ini di Jawa:

1. mengonversi string Unicode ke bentuk normalnya yang panjang (dengan karakter terpisah untuk huruf dan diakritik)
2. hapus semua karakter yang jenis Unicode-nya "diakritik".

Apakah saya perlu menginstal perpustakaan seperti pyICU atau apakah ini mungkin hanya dengan perpustakaan standar python? Dan bagaimana dengan python 3?

Catatan penting: Saya ingin menghindari kode dengan pemetaan eksplisit dari karakter beraksen ke mitra non-aksen mereka.

Unidecode adalah jawaban yang benar untuk ini. Ini mentransliterasi setiap string unicode ke representasi terdekat yang mungkin dalam teks ascii.

Contoh:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Bagaimana dengan ini:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Ini juga berfungsi pada huruf yunani:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

The kategori karakter "Mn" singkatan Nonspacing_Mark, yang mirip dengan unicodedata.combining dalam jawaban MiniQuark (saya tidak memikirkan unicodedata.combining, tetapi mungkin adalah solusi yang lebih baik, karena lebih eksplisit).

Dan perlu diingat, manipulasi ini dapat secara signifikan mengubah makna teks. Aksen, Umlaut, dll. Bukan "hiasan".

Saya baru saja menemukan jawaban ini di Web:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

Ini berfungsi dengan baik (untuk Perancis, misalnya), tapi saya pikir langkah kedua (menghapus aksen) dapat ditangani lebih baik daripada menjatuhkan karakter non-ASCII, karena ini akan gagal untuk beberapa bahasa (Yunani, misalnya). Solusi terbaik mungkin akan secara eksplisit menghapus karakter unicode yang ditandai sebagai diakritik.

Sunting : ini berguna:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)akan mengembalikan true jika karakter cdapat dikombinasikan dengan karakter sebelumnya, terutama jika itu diakritik.

Sunting 2 : remove_accentsmengharapkan string unicode , bukan string byte. Jika Anda memiliki string byte, maka Anda harus mendekodekannya menjadi string unicode seperti ini:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Sebenarnya saya bekerja pada proyek yang kompatibel dengan python 2.6, 2.7 dan 3.4 dan saya harus membuat ID dari entri pengguna gratis.

Terima kasih kepada Anda, saya telah membuat fungsi ini bekerja sangat baik.

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

hasil:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

Ini tidak hanya menangani aksen, tetapi juga "guratan" (seperti pada ø dll.):

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

Ini adalah cara paling elegan yang dapat saya pikirkan (dan telah disebutkan oleh alexis dalam komentar di halaman ini), walaupun saya pikir itu tidak terlalu elegan. Sebenarnya, ini lebih merupakan peretasan, seperti yang ditunjukkan dalam komentar, karena nama Unicode - benar-benar hanya nama, mereka tidak memberikan jaminan untuk konsisten atau apa pun.

Masih ada surat khusus yang tidak ditangani oleh ini, seperti surat yang dibalik dan terbalik, karena nama unicode mereka tidak mengandung 'WITH'. Tergantung pada apa yang ingin Anda lakukan. Saya kadang-kadang membutuhkan aksen stripping untuk mencapai urutan kamus.

CATATAN EDIT:

Memasukkan saran dari komentar (menangani kesalahan pencarian, kode Python-3).

Menanggapi jawaban @ MiniQuark:

Saya mencoba membaca dalam file csv yang setengah-Perancis (mengandung aksen) dan juga beberapa string yang akhirnya akan menjadi bilangan bulat dan mengapung. Sebagai ujian, saya membuat test.txtfile yang terlihat seperti ini:

Montréal, über, 12.89, Mère, Françoise, noël, 889

Saya harus memasukkan baris 2dan 3membuatnya bekerja (yang saya temukan di tiket python), serta memasukkan komentar @ Jabba:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Hasil:

Montreal
uber
12.89
Mere
Francoise
noel
889

(Catatan: Saya menggunakan Mac OS X 10.8.4 dan menggunakan Python 2.7.3)

gensim.utils.deaccent (teks) dari Gensim - pemodelan topik untuk manusia :

'Sef chomutovskych komunistu dostal postou bily prasek'

Solusi lain adalah unidecode .

Perhatikan bahwa solusi yang disarankan dengan unicodedata biasanya menghilangkan aksen hanya dalam beberapa karakter (misalnya berubah 'ł'menjadi '', bukan menjadi 'l').

Beberapa bahasa telah menggabungkan diakritik sebagai huruf bahasa dan aksen diakritik untuk menentukan aksen.

Saya pikir lebih aman untuk menentukan secara eksplisit diactrics apa yang ingin Anda hapus:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))