ELK Stack (Logstash, Elasticsearch dan Kibana) dengan server syslog jarak jauh bersamaan?

8

Saya sedang membangun layanan penganalisa log untuk mulai memantau terutama Firewall pfSense kami, XenServer Hypervisors, server FreeBSD / Linux dan server Windows.

Ada banyak dokumentasi di internet tentang tumpukan ELK dan cara membuatnya bekerja dengan baik. Tetapi saya ingin menggunakannya dengan cara yang berbeda, tetapi saya tidak tahu apakah ini solusi yang baik atau hanya buang-buang waktu / ruang disk.

Saya sudah memiliki mesin FreeBSD 10.2 yang bertindak sebagai server syslog jarak jauh, dan ide saya adalah dengan hanya berkonsentrasi semua log pada mesin ini dan mereka server syslog meneruskan log dengan logstash-forwarderke server ELK.

Jelas bagi saya bahwa pendekatan ini akan meningkatkan persyaratan disk untuk pengaturan ini, tetapi di sisi lain saya hanya akan memiliki satu mesin dengan logstash-forwarderdaemon yang diinstal, yang tampaknya baik untuk saya.

Tetapi berbicara tentang masalah. The logstashparser pertandingan [host]dengan hostname dari server mengirimkan pesan log, dan dalam pendekatan ini hanya ada pada "server" acara pada ELK, remote server syslog.

Saya sadar bahwa saya dapat menyesuaikan pengaturan pada logstashfile konfigurasi tetapi saya tidak tahu (dan saya tidak memiliki pengalaman untuk mengetahui) apakah ini hanya pengaturan sederhana pada parser itu jika akan membahayakan seluruh ELK pengalaman.

Pada akhirnya saya hanya ingin beberapa saran tentang arsitektur logging saya dan apakah itu akan berhasil, atau jika saya harus pergi tanpa opsi lain.

Terima kasih sebelumnya,

Vinícius Ferrão
sumber
Saya yakin apa yang ingin Anda lakukan adalah mungkin, tetapi perincian tentang format apa yang Anda masuk di server syslog pusat, laju logging, dll akan bagus. Selain itu, mengajukan pertanyaan spesifik akan memberi Anda respons yang jauh lebih baik daripada sekadar mengatakan "Saya bingung, tolong bantu".
GregL
Sudahkah Anda mempertimbangkan graylog? Anda dapat menggunakan input syslog graylog untuk memasukkan syslog ke elasticsearch. Dari sana Anda dapat menggunakan Kibana dan graylog memiliki syslog / pfsense extractor yang tersedia.
davey
Logstash juga memiliki input syslog ...
GregL

Jawaban:

3

Iya. Dimungkinkan untuk mengubah hostbidang dalam output logstash dengan rubyfilter tanpa banyak kesulitan.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Di sini saya mengasumsikan dalam log server syslog, bidang host adalah bidang keempat di mana ruang putih adalah pemisah.

7171u
sumber