Bagaimana cara memeriksa apakah suatu kata adalah kata bahasa Inggris dengan Python?

Saya ingin memeriksa program Python jika ada kata dalam kamus bahasa Inggris.

Saya percaya antarmuka wordnet nltk mungkin cara untuk pergi tapi saya tidak tahu bagaimana menggunakannya untuk tugas yang sederhana.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

Di masa depan, saya mungkin ingin memeriksa apakah bentuk kata tunggal dalam kamus (misalnya, properti -> properti -> kata bahasa Inggris). Bagaimana saya mencapai itu?

Untuk (lebih) lebih banyak kekuatan dan fleksibilitas, gunakan perpustakaan pemeriksa ejaan khusus seperti PyEnchant. Ada tutorial , atau Anda bisa langsung masuk:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantdilengkapi dengan beberapa kamus (en_GB, en_US, de_DE, fr_FR), tetapi dapat menggunakan salah satu dari yang OpenOffice jika Anda ingin lebih banyak bahasa.

Tampaknya ada perpustakaan pluralisasi yang disebut inflect, tetapi saya tidak tahu apakah itu bagus.

Ini tidak akan bekerja dengan baik dengan WordNet, karena WordNet tidak mengandung semua kata bahasa Inggris. Kemungkinan lain berdasarkan NLTK tanpa enchant adalah kata-kata NLTK corpus

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Menggunakan NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Anda harus merujuk ke artikel ini jika Anda mengalami kesulitan menginstal wordnet atau ingin mencoba pendekatan lain.

Menggunakan set untuk menyimpan daftar kata karena mencari mereka akan lebih cepat:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Untuk menjawab bagian kedua dari pertanyaan, bentuk jamak sudah ada dalam daftar kata yang bagus, tetapi jika Anda ingin secara khusus mengecualikan mereka dari daftar karena beberapa alasan, Anda memang bisa menulis fungsi untuk mengatasinya. Tapi aturan pluralisasi bahasa Inggris cukup rumit sehingga saya hanya perlu memasukkan bentuk jamak dalam daftar kata.

Ke mana menemukan daftar kata bahasa Inggris, saya menemukan beberapa hanya dengan Googling "daftar kata bahasa Inggris". Ini salah satunya: http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt Anda dapat menggunakan Google untuk Bahasa Inggris atau Bahasa Inggris Amerika jika Anda menginginkan secara khusus salah satu dialek tersebut.

Untuk solusi berbasis NLTK yang lebih cepat, Anda dapat memotong sekumpulan kata untuk menghindari pencarian linear.

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

Saya menemukan bahwa ada 3 solusi berbasis paket untuk menyelesaikan masalah. Mereka adalah pyenchant, wordnet dan corpus (self-defined atau dari ntlk). Pyenchant tidak dapat diinstal dengan mudah di win64 dengan py3 . Wordnet tidak berfungsi dengan baik karena itu corpus tidak lengkap. Jadi bagi saya, saya memilih solusi yang dijawab oleh @Sadik , dan gunakan 'set (words.words ())' untuk mempercepat.

Pertama:

pip3 install nltk
python3

import nltk
nltk.download('words')

Kemudian:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

Dengan pyEnchant.checker Pemeriksa Ejaan:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

Untuk pendekatan web semantik, Anda bisa menjalankan kueri sparql terhadap WordNet dalam format RDF . Pada dasarnya cukup gunakan modul urllib untuk mengeluarkan permintaan GET dan mengembalikan hasil dalam format JSON, parsing menggunakan modul python 'json'. Jika bukan kata bahasa Inggris, Anda tidak akan mendapatkan hasil.

Sebagai ide lain, Anda dapat meminta API Wiktionary .

Untuk Semua Pengguna Linux / Unix

Jika OS Anda menggunakan kernel Linux, ada cara sederhana untuk mendapatkan semua kata dari kamus bahasa Inggris / Amerika. Di direktori /usr/share/dictAnda memiliki wordsfile. Ada juga yang lebih spesifik american-englishdan british-englishfile. Ini mengandung semua kata dalam bahasa spesifik itu. Anda dapat mengakses ini di setiap bahasa pemrograman yang mengapa saya pikir Anda mungkin ingin tahu tentang ini.

Sekarang, untuk pengguna khusus python, kode python di bawah ini harus menetapkan kata daftar untuk memiliki nilai setiap kata:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

Semoga ini membantu!!!