Bagaimana cara menghilangkan tanda baca menggunakan NLTK tokenizer?

Saya baru mulai menggunakan NLTK dan saya tidak begitu mengerti bagaimana cara mendapatkan daftar kata dari teks. Jika saya menggunakan nltk.word_tokenize(), saya mendapatkan daftar kata dan tanda baca. Saya hanya membutuhkan kata-kata saja. Bagaimana cara menghilangkan tanda baca? Juga word_tokenizetidak berfungsi dengan beberapa kalimat: titik ditambahkan ke kata terakhir.

Lihat opsi tokenisasi lain yang disediakan nltk di sini . Misalnya, Anda dapat menentukan tokenizer yang memilih urutan karakter alfanumerik sebagai token dan menghapus yang lainnya:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Keluaran:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Anda tidak benar-benar membutuhkan NLTK untuk menghapus tanda baca. Anda dapat menghapusnya dengan python sederhana. Untuk string:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

Atau untuk unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

dan kemudian gunakan string ini di tokenizer Anda.

Modul string PS memiliki beberapa set elemen lain yang dapat dihapus (seperti digit).

Kode di bawah ini akan menghapus semua tanda baca serta karakter non abjad. Disalin dari buku mereka.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

keluaran

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Seperti yang terlihat di komentar dimulai dengan sent_tokenize (), karena word_tokenize () hanya berfungsi pada satu kalimat. Anda dapat memfilter tanda baca dengan filter (). Dan jika Anda memiliki string unicode, pastikan itu adalah objek unicode (bukan 'str' yang dikodekan dengan beberapa pengkodean seperti 'utf-8').

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Saya baru saja menggunakan kode berikut, yang menghapus semua tanda baca:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Saya pikir Anda memerlukan semacam pencocokan ekspresi reguler (kode berikut ada di Python 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Keluaran:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Seharusnya berfungsi dengan baik dalam banyak kasus karena ini menghapus tanda baca sambil mempertahankan token seperti "n't", yang tidak dapat diperoleh dari tokenizers regex seperti wordpunct_tokenize.

Dengan tulus bertanya, apa itu kata? Jika asumsi Anda adalah bahwa sebuah kata hanya terdiri dari karakter abjad, Anda salah karena kata-kata seperti can'takan dihancurkan menjadi beberapa bagian (seperti candan t) jika Anda menghapus tanda baca sebelum tokenisasi , yang sangat mungkin mempengaruhi program Anda secara negatif.

Karenanya, solusinya adalah dengan melakukan tokenisasi dan kemudian menghapus token tanda baca .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... dan kemudian jika Anda mau, Anda dapat mengganti token tertentu seperti 'mdengan am.

Saya menggunakan kode ini untuk menghapus tanda baca:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

Dan jika Anda ingin memeriksa apakah token adalah kata bahasa Inggris yang valid atau tidak, Anda mungkin memerlukan PyEnchant

Tutorial:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Hapus tanda baca (Ini akan menghapus. Serta bagian dari penanganan tanda baca menggunakan kode di bawah ini)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Contoh Masukan / Keluaran:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

Hanya menambahkan solusi dengan @rmalouf, ini tidak akan menyertakan angka apa pun karena \ w + sama dengan [a-zA-Z0-9_]

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Anda dapat melakukannya dalam satu baris tanpa nltk (python 3.x).

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))