Bagaimana cara membagi teks menjadi kalimat?

Saya memiliki file teks. Saya perlu mendapatkan daftar kalimat.

Bagaimana ini bisa diterapkan? Ada banyak kehalusan, seperti titik yang digunakan dalam singkatan.

Ekspresi reguler saya yang lama bekerja dengan buruk:

re.compile('(\. |^|!|\?)([A-Z][^;↑\.<>@\^&/\[\]]*(\.|!|\?) )',re.M)

Perangkat Bahasa Alami ( nltk.org ) memiliki apa yang Anda butuhkan. Posting grup ini menunjukkan bahwa:

import nltk.data

tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
fp = open("test.txt")
data = fp.read()
print '\n-----\n'.join(tokenizer.tokenize(data))

(Saya belum mencobanya!)

Fungsi ini dapat membagi seluruh teks Huckleberry Finn menjadi beberapa kalimat dalam waktu sekitar 0,1 detik dan menangani banyak kasus tepi yang lebih menyakitkan yang membuat penguraian kalimat menjadi tidak sepele, misalnya " Tuan John Johnson Jr. lahir di AS tetapi memperoleh gelar Ph. D. di Israel sebelum bergabung dengan Nike Inc. sebagai insinyur. Dia juga bekerja di craigslist.org sebagai analis bisnis. "

# -*- coding: utf-8 -*-
import re
alphabets= "([A-Za-z])"
prefixes = "(Mr|St|Mrs|Ms|Dr)[.]"
suffixes = "(Inc|Ltd|Jr|Sr|Co)"
starters = "(Mr|Mrs|Ms|Dr|He\s|She\s|It\s|They\s|Their\s|Our\s|We\s|But\s|However\s|That\s|This\s|Wherever)"
acronyms = "([A-Z][.][A-Z][.](?:[A-Z][.])?)"
websites = "[.](com|net|org|io|gov)"

def split_into_sentences(text):
    text = " " + text + "  "
    text = text.replace("\n"," ")
    text = re.sub(prefixes,"\\1<prd>",text)
    text = re.sub(websites,"<prd>\\1",text)
    if "Ph.D" in text: text = text.replace("Ph.D.","Ph<prd>D<prd>")
    text = re.sub("\s" + alphabets + "[.] "," \\1<prd> ",text)
    text = re.sub(acronyms+" "+starters,"\\1<stop> \\2",text)
    text = re.sub(alphabets + "[.]" + alphabets + "[.]" + alphabets + "[.]","\\1<prd>\\2<prd>\\3<prd>",text)
    text = re.sub(alphabets + "[.]" + alphabets + "[.]","\\1<prd>\\2<prd>",text)
    text = re.sub(" "+suffixes+"[.] "+starters," \\1<stop> \\2",text)
    text = re.sub(" "+suffixes+"[.]"," \\1<prd>",text)
    text = re.sub(" " + alphabets + "[.]"," \\1<prd>",text)
    if "”" in text: text = text.replace(".”","”.")
    if "\"" in text: text = text.replace(".\"","\".")
    if "!" in text: text = text.replace("!\"","\"!")
    if "?" in text: text = text.replace("?\"","\"?")
    text = text.replace(".",".<stop>")
    text = text.replace("?","?<stop>")
    text = text.replace("!","!<stop>")
    text = text.replace("<prd>",".")
    sentences = text.split("<stop>")
    sentences = sentences[:-1]
    sentences = [s.strip() for s in sentences]
    return sentences

Alih-alih menggunakan regex untuk memisahkan teks menjadi kalimat, Anda juga dapat menggunakan pustaka nltk.

>>> from nltk import tokenize
>>> p = "Good morning Dr. Adams. The patient is waiting for you in room number 3."

>>> tokenize.sent_tokenize(p)
['Good morning Dr. Adams.', 'The patient is waiting for you in room number 3.']

ref: https://stackoverflow.com/a/9474645/2877052

Anda dapat mencoba menggunakan Spacy, bukan regex. Saya menggunakannya dan itu berhasil.

import spacy
nlp = spacy.load('en')

text = '''Your text here'''
tokens = nlp(text)

for sent in tokens.sents:
    print(sent.string.strip())

Berikut adalah pendekatan jalan tengah yang tidak bergantung pada perpustakaan eksternal. Saya menggunakan pemahaman daftar untuk mengecualikan tumpang tindih antara singkatan dan terminator serta untuk mengecualikan tumpang tindih antara variasi penghentian, misalnya: '.' vs. '. "'

abbreviations = {'dr.': 'doctor', 'mr.': 'mister', 'bro.': 'brother', 'bro': 'brother', 'mrs.': 'mistress', 'ms.': 'miss', 'jr.': 'junior', 'sr.': 'senior',
                 'i.e.': 'for example', 'e.g.': 'for example', 'vs.': 'versus'}
terminators = ['.', '!', '?']
wrappers = ['"', "'", ')', ']', '}']


def find_sentences(paragraph):
   end = True
   sentences = []
   while end > -1:
       end = find_sentence_end(paragraph)
       if end > -1:
           sentences.append(paragraph[end:].strip())
           paragraph = paragraph[:end]
   sentences.append(paragraph)
   sentences.reverse()
   return sentences


def find_sentence_end(paragraph):
    [possible_endings, contraction_locations] = [[], []]
    contractions = abbreviations.keys()
    sentence_terminators = terminators + [terminator + wrapper for wrapper in wrappers for terminator in terminators]
    for sentence_terminator in sentence_terminators:
        t_indices = list(find_all(paragraph, sentence_terminator))
        possible_endings.extend(([] if not len(t_indices) else [[i, len(sentence_terminator)] for i in t_indices]))
    for contraction in contractions:
        c_indices = list(find_all(paragraph, contraction))
        contraction_locations.extend(([] if not len(c_indices) else [i + len(contraction) for i in c_indices]))
    possible_endings = [pe for pe in possible_endings if pe[0] + pe[1] not in contraction_locations]
    if len(paragraph) in [pe[0] + pe[1] for pe in possible_endings]:
        max_end_start = max([pe[0] for pe in possible_endings])
        possible_endings = [pe for pe in possible_endings if pe[0] != max_end_start]
    possible_endings = [pe[0] + pe[1] for pe in possible_endings if sum(pe) > len(paragraph) or (sum(pe) < len(paragraph) and paragraph[sum(pe)] == ' ')]
    end = (-1 if not len(possible_endings) else max(possible_endings))
    return end


def find_all(a_str, sub):
    start = 0
    while True:
        start = a_str.find(sub, start)
        if start == -1:
            return
        yield start
        start += len(sub)

Saya menggunakan fungsi find_all Karl dari entri ini: Temukan semua kemunculan substring dengan Python

Untuk kasus sederhana (di mana kalimat diakhiri secara normal), ini seharusnya berfungsi:

import re
text = ''.join(open('somefile.txt').readlines())
sentences = re.split(r' *[\.\?!][\'"\)\]]* *', text)

Regex adalah *\. +, yang mencocokkan titik yang dikelilingi oleh 0 atau lebih spasi di kiri dan 1 atau lebih di kanan (untuk mencegah sesuatu seperti titik di re.split dihitung sebagai perubahan dalam kalimat).

Jelas, bukan solusi yang paling kuat, tetapi itu akan baik-baik saja dalam banyak kasus. Satu-satunya kasus yang tidak tercakup adalah singkatan (mungkin dijalankan melalui daftar kalimat dan periksa apakah setiap string sentencesdiawali dengan huruf kapital?)

Anda juga dapat menggunakan fungsi tokenisasi kalimat di NLTK:

from nltk.tokenize import sent_tokenize
sentence = "As the most quoted English writer Shakespeare has more than his share of famous quotes.  Some Shakespare famous quotes are known for their beauty, some for their everyday truths and some for their wisdom. We often talk about Shakespeare’s quotes as things the wise Bard is saying to us but, we should remember that some of his wisest words are spoken by his biggest fools. For example, both ‘neither a borrower nor a lender be,’ and ‘to thine own self be true’ are from the foolish, garrulous and quite disreputable Polonius in Hamlet."

sent_tokenize(sentence)

@Bayu_joo

Hai! Anda dapat membuat tokenizer baru untuk bahasa Rusia (dan beberapa bahasa lainnya) menggunakan fungsi ini:

def russianTokenizer(text):
    result = text
    result = result.replace('.', ' . ')
    result = result.replace(' .  .  . ', ' ... ')
    result = result.replace(',', ' , ')
    result = result.replace(':', ' : ')
    result = result.replace(';', ' ; ')
    result = result.replace('!', ' ! ')
    result = result.replace('?', ' ? ')
    result = result.replace('\"', ' \" ')
    result = result.replace('\'', ' \' ')
    result = result.replace('(', ' ( ')
    result = result.replace(')', ' ) ') 
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.strip()
    result = result.split(' ')
    return result

dan kemudian menyebutnya dengan cara ini:

text = 'вы выполняете поиск, используя Google SSL;'
tokens = russianTokenizer(text)

Semoga beruntung, Marilena.

Tidak diragukan lagi bahwa NLTK adalah yang paling cocok untuk tujuan tersebut. Tetapi memulai dengan NLTK cukup menyakitkan (Tapi begitu Anda menginstalnya - Anda langsung menuai hasilnya)

Jadi, inilah kode berbasis ulang sederhana yang tersedia di http://pythonicprose.blogspot.com/2009/09/python-split-paragraph-into-sentences.html

# split up a paragraph into sentences
# using regular expressions


def splitParagraphIntoSentences(paragraph):
    ''' break a paragraph into sentences
        and return a list '''
    import re
    # to split by multile characters

    #   regular expressions are easiest (and fastest)
    sentenceEnders = re.compile('[.!?]')
    sentenceList = sentenceEnders.split(paragraph)
    return sentenceList


if __name__ == '__main__':
    p = """This is a sentence.  This is an excited sentence! And do you think this is a question?"""

    sentences = splitParagraphIntoSentences(p)
    for s in sentences:
        print s.strip()

#output:
#   This is a sentence
#   This is an excited sentence

#   And do you think this is a question 

Saya harus membaca file subtitle dan membaginya menjadi beberapa kalimat. Setelah pra-pemrosesan (seperti menghapus informasi waktu dll dalam file .srt), variabel fullFile berisi teks lengkap dari file subtitle. Cara kasar di bawah ini dengan rapi membaginya menjadi beberapa kalimat. Mungkin saya beruntung bahwa kalimat selalu diakhiri (dengan benar) dengan spasi. Coba ini dulu dan jika ada pengecualian, tambahkan lebih banyak check and balances.

# Very approximate way to split the text into sentences - Break after ? . and !
fullFile = re.sub("(\!|\?|\.) ","\\1<BRK>",fullFile)
sentences = fullFile.split("<BRK>");
sentFile = open("./sentences.out", "w+");
for line in sentences:
    sentFile.write (line);
    sentFile.write ("\n");
sentFile.close;

Oh! baik. Sekarang saya menyadari bahwa karena konten saya adalah bahasa Spanyol, saya tidak memiliki masalah berurusan dengan "Mr. Smith" dll. Namun, jika seseorang menginginkan pengurai yang cepat dan kotor ...

Saya harap ini akan membantu Anda dalam bahasa latin, cina, teks arab

import re

punctuation = re.compile(r"([^\d+])(\.|!|\?|;|\n|。|！|？|；|…|　|!|؟|؛)+")
lines = []

with open('myData.txt','r',encoding="utf-8") as myFile:
    lines = punctuation.sub(r"\1\2<pad>", myFile.read())
    lines = [line.strip() for line in lines.split("<pad>") if line.strip()]

Sedang mengerjakan tugas serupa dan menemukan kueri ini, dengan mengikuti beberapa tautan dan mengerjakan beberapa latihan untuk nltk, kode di bawah ini bekerja untuk saya seperti sulap.

from nltk.tokenize import sent_tokenize 
  
text = "Hello everyone. Welcome to GeeksforGeeks. You are studying NLP article"
sent_tokenize(text) 

keluaran:

['Hello everyone.',
 'Welcome to GeeksforGeeks.',
 'You are studying NLP article']

Sumber: https://www.geeksforgeeks.org/nlp-how-tokenizing-text-sentence-words-works/