Bagaimana cara memaksa Logstash untuk mem-reparse file?

Saya menginstal Logstash untuk mengurai file apache. Saya butuh waktu cukup lama untuk mendapatkan pengaturan yang benar dan saya selalu mencoba pada log nyata. Saya melihat (seperti yang dikatakan dalam dokumentasi) bahwa logstash "mengingat" di mana ia berada dalam sebuah file. Sekarang pengaturan saya baik-baik saja dan saya ingin Logstash "lupa". Ini tampaknya lebih sulit dari saya. Saya sudah melakukan hal berikut:

• bekas: start_position => "beginning"

• menghapus folder "data" lengkap dari elastissearch (dan menghentikannya dulu)

• melihat file mana yang dibuka oleh logstash dengan lsof -p PIDdan menghapus semua yang menjanjikan (dalam kasus saya /tmp/jffi*.tmp)

Masih Logstash tidak melupakan dan hanya mengurai file "segar" di folder tempat log berada

Ada ide?

Secara default, logstash menulis posisi terakhir pada logfile yang biasanya berada di $HOME/.sincedb. Logstash dapat dibodohi dengan meyakini bahwa Logstash tidak pernah mengurai logfile dengan menetapkan /dev/nullsebagai sincedb_path.

Di sini bagian dari File Input dokumentasi .

Tempat untuk menulis database sejak (melacak posisi saat ini dari file log yang dipantau). Secara default, nilai variabel lingkungan "$ SINCEDB_PATH" atau "$ HOME / .sincedb".

Contoh Config

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

File plugin menyimpan riwayat "tailing" dalam file sincedb, default: di bawah $ HOME / .sincedb *, lihat http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

File sejak db berisi tampilan baris seperti:

[inode] [major device number] [minor device number] [byte offset]

Jadi, jika Anda ingin mengurai kembali file lengkap, Anda perlu:

• hapus file sindedb
• ATAU hanya hapus baris yang sesuai di file sincedb, periksa nomor inode sebelum file Anda ( ls -i yourFile | awk '{print $1}')
• Dan mulai ulang Logstash

Dengan kuncinya start_position => "beginning", Logstash akan menganalisis semua file.

Contoh file sincedb:

• name :: .sincedb_7a7413a84171aa550d5318c17fd756e9nama berisi sincedb_ dan MD5 (Digest :: MD5.hexdigest) dari semua direktori di jalur kunci ( http://logstash.net/docs/1.3.3/inputs/file#path ). Lihat kode file plugin: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash akan menyimpan catatan tersebut $HOME/.sincedb_*. Anda dapat menghapus semua .sincedbdan restart logstash, Logstash akan mengembalikan file tersebut.

Menggabungkan semua jawaban, tebak ini adalah cara terbaik untuk mengurai file. Saya melakukan hal yang sama untuk pengujian saya.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

Untuk pengujian cepat ignore_older, Anda juga touch /tmp/access_logdapat mengubah stempel waktu file.

Jika Anda menggunakan logstash-forwarder, periksa .logstash-forwarderfile rumah Anda :

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

Setelah menghapusnya, $HOME/.sincedb_*itu masih tidak menelan data untuk saya.

Setelah mencoba banyak hal, saya menghapus semua kecuali .conffile utama dari /etc/logstash/conf.ddan memulai kembali Logstash, dan semuanya berfungsi. Saya hanya bisa berasumsi ada sesuatu di salah satu .conffile yang logstash diam-diam tergantung.

Sebenarnya melakukan reparsing setiap kali sangat mahal jika file tersebut memiliki data yang besar. Jadi Anda perlu berhati-hati sebelum melakukan ini. Jika kita ingin memaksanya mengulang lagi maka atur parameter di dalam blok input

sincedb_path => "/dev/null" 

Opsi ini tidak akan menyimpan file .sincedb dan logstash akan mengulang setiap kali. Tetapi jika Anda ingin mengulang sesekali tidak setiap kali maka yang dapat Anda lakukan adalah menghapus secara manual jalur .sinceDb yang dibuat saat mem-parsing file. Umumnya file ini ada di direktori home sebagai file tersembunyi jika Anda bukan pengguna root, sebaliknya di direktori root. Anda juga dapat menyetel sincedb_path ke beberapa lokasi lain untuk melacak file ini dengan mudah.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Jika Anda ingin menghindari mengotak-atik opsi logstash, saya telah menemukan bahwa mengganti nama atau menghapus file log yang ada dan membuat file baru dari konten file lama akan menipu logstash untuk mengindeks ulang.

Saya menemukannya di direktori home saya tetapi setelah menghapusnya, logstash menolak untuk memilih kembali file log yang ada. Cara saya membuatnya bekerja adalah menambahkan

sincedb_path => "/opt/elk/sincedb/"  

ke plugin file saya. Saya pikir untuk mengatur ulang setiap kali, cukup ubah jalur sincedb_path

jika Anda menggunakan tar.gz install filebeat, Anda dapat menghapus file ini $FilebeatPath/data/registry/filebeat/data.json, dan menjalankan kembali filebeat

Coba dengan menghapus /var/lib/logstashfolder di ENV Anda

logstash versi 5 direktori baru masuk

<path.data>/plugins/inputs/file

definisi path.data ada di logstash.yml