Alternatif untuk Splunk?

Saya cukup terkesan dengan Splunk , terutama versi 4. Grafik cantik, peringatan (khusus Perusahaan), dan pencarian cepat, akurat,. Ini produk hebat.

Namun, biaya terlalu tinggi untuk dipertimbangkan untuk penggunaan produksi penuh untuk perusahaan kami. Yang benar-benar kita butuhkan adalah untuk dapat mengindeks log yang berbeda di tempat sentral, dan melakukan pencarian yang masuk akal. Memiliki peringatan berdasarkan pencarian yang disimpan juga sangat bagus. Kami tidak benar-benar melampaui itu.

Bahkan, penggunaan terbesar kami adalah dalam menyebarkan aplikasi baru. Semuanya masuk melalui log4net ke Event log di Windows atau file teks di Linux. Splunk membuatnya cukup mudah untuk mencari di seluruh bagian untuk memastikan semua bagian aplikasi berfungsi dengan baik - itu menghemat waktu kita dibandingkan memburu sumber-sumber pembalakan individu.

Apa alternatif yang ada di pasar ini? Saya memiliki perasaan tenggelam harga Splunk sangat tinggi karena mereka memiliki produk terbaik sejauh ini, dan mereka tahu itu. Kami ingin server berjalan di Windows.

Saya akan terbuka untuk model split, menggunakan satu produk untuk log umum (kumpulkan melalui syslog / Snare), dan produk khusus untuk aplikasi khusus kami (seperti Dashboard Log4Net ).

Apakah menggunakan server syslog sederhana seperti Kiwi, yang dikirim ke SQL Server (mungkin dengan teks lengkap diaktifkan) berfungsi?

Saya berharap biayanya harus di bawah 5 angka, USD. (Dan ya, saya tahu, kami murah. Kami startup dengan sedikit uang, dan BizSpark mengurus semua lisensi MS kami.)

Sunting: Saya harus menambahkan, kami memiliki sekitar 10 server fisik, 20 VM, dan beberapa firewall dan switch. 90% adalah Windows.

Catatan: Ini semua tentang Linux dan perangkat lunak bebas , karena itulah yang paling sering saya gunakan, tetapi Anda harus baik-baik saja dengan klien syslog di Windows untuk mengirim log ke server syslog Linux.

Masuk ke server SQL: Dengan hanya ~ 30 mesin, Anda harus baik-baik saja dengan hampir semua syslog-tersentralisasi dan SQL backend. Saya menggunakan syslog-ng dan MySQL di Linux untuk hal ini.

Frontend cantik untuk grafik adalah masalah utama - Tampaknya ada banyak front-end yang diretas yang akan mengambil item dari log dan menunjukkan berapa banyak hit, peringatan dll tetapi saya tidak menemukan sesuatu yang terintegrasi dan bersih. Memang ini adalah hal utama yang Anda cari ... (Jika saya menemukan sesuatu yang bagus maka saya akan memperbarui bagian ini!)

Peringatan : Saya menggunakan SEC pada server Linux untuk menemukan hal-hal buruk yang terjadi di log dan mengingatkan saya melalui berbagai metode. Ini sangat fleksibel dan tidak seleklik Splunk. Ada tutorial yang bagus di sini yang memandu banyak fitur yang mungkin.

Saya juga menggunakan Nagios untuk grafik berbagai statistik dan beberapa peringatan yang tidak saya dapatkan dari log (seperti ketika layanan turun dll). Ini dapat dengan mudah disesuaikan untuk menambahkan grafik apa pun yang Anda suka. Saya telah menambahkan grafik item seperti jumlah hit yang dibuat ke server http, dengan meminta agen menggunakan plugin check_logfiles untuk menghitung jumlah hit dalam log (ini menyimpan posisi yang didapatnya untuk setiap periode pemeriksaan).

Secara keseluruhan, ini tergantung pada berapa banyak waktu Anda untuk mengaturnya , karena ada banyak opsi yang dapat Anda gunakan tetapi mereka tidak terintegrasi dengan Splunk dan mungkin akan membutuhkan lebih banyak upaya untuk melakukan apa yang Anda inginkan. Grafik Nagios mudah untuk diatur tetapi tidak memberikan data historis dari sebelum Anda menambahkan grafik, sedangkan dengan Splunk (dan mungkin ujung depan lainnya) Anda dapat melihat kembali pada log lalu dan grafik hal-hal yang baru saja Anda buat memikirkan untuk melihat dari mereka.

Perhatikan juga bahwa format dan pengindeksan basis data SQL akan memiliki efek besar pada kecepatan kueri, jadi ide Anda untuk pengindeksan teks lengkap akan membuat peningkatan kecepatan pencarian yang luar biasa. Saya tidak yakin apakah MySQL atau PostgreSQL akan melakukan hal serupa.

Sunting : MySQL akan melakukan pengindeksan teks lengkap, tetapi hanya pada tabel MyISAM sebelum MySQL 5.6. Dalam 5.6 Dukungan ditambahkan untuk InnoDB .

Sunting : Postgresql dapat melakukan pencarian teks lengkap tentunya: http://www.postgresql.org/docs/9.0/static/textsearch.html

Lebih ditujukan pada * nix daripada windows, tetapi octopussy mendukung windows, dan tampaknya mengarah pada hal yang sama dengan splunk.

Saya sedang mencoba sejumlah solusi pemantauan - tetapi saya terutama ingin memonitor windows. Sebagian besar sistem diarahkan untuk pemantauan SNMP yang berhasil menarik sejumlah besar info tanpa agen.

Ini adalah beberapa sistem yang saya coba sejauh ini:

Nagios - Sumber terbuka. Seekor babi untuk dikonfigurasikan tetapi berperingkat tinggi dan tampaknya sangat fleksibel. Tampaknya pada dasarnya perekam counter dan tidak memungkinkan untuk eksekusi skrip jarak jauh sehingga tidak dapat digunakan untuk mengatasi masalah konfigurasi, ala pusat sistem MS atau Kaseya. Tanpa agen tetapi pada dasarnya tidak berguna tanpa alat NSclient diinstal pada setiap klien.

Cacti - Alat grafik yang cantik dan mudah berdasarkan menarik statistik snmp. Tanpa agen.

OpsView - Berbasiskan pada Nagios tetapi lebih mudah untuk dikonfigurasikan dan memiliki ujung depan yang lebih baik.

HypericHQ - Mudah untuk bangun dan berjalan di bawah Windows. Versi dasar gratis dan tidak banyak. Ada perusahaan HypericHQ komersial. Agen harus dipasang pada setiap klien.

Zabbix - Alat pemantauan bagus lainnya. Ini lebih mudah digunakan daripada nagios. Memiliki agen yang dapat Anda instal di windows dan mesin klien. Saya hanya mengeksplorasi yang satu ini sejauh ini.

Zenoss - Sumber terbuka. Saya sangat terkesan dengan betapa profesionalnya Zenoss. Ini adalah monitor berbasis SNMP dan memiliki banyak ekstensi untuk memungkinkan pemantauan HP proliants, layanan windows, ms sql server, mysql. Semua ekstensi bekerja melalui SNMP sehingga tidak perlu diinstal pada mesin klien. Saya belum menjelajahi semuanya dan tampaknya ada banyak fungsi yang belum saya manfaatkan. Berbasis Zope, jadi kecuali Anda ingin menginstal Zope, saya sarankan mengunduh VM yang sudah disiapkan sebelumnya - kerjanya seperti mimpi langsung dari kotak.

Di bagian komersial, Anda bisa melihat beberapa alat:

Kaseya - harganya sekitar 6rb per tahun untuk 250 simpul, jika saya ingat dengan benar, tetapi merupakan alat yang hebat dan memiliki komunitas pengguna yang sangat aktif. Ini ditujukan untuk pasar msp dan memungkinkan pemantauan beberapa sistem perusahaan. Itu dapat digunakan secara internal tanpa masalah.

GFI Hounddog - lebih sederhana dari Kaseya tetapi sangat murah saat ini. Sangat menarik untuk dilihat.

Ada sejumlah solusi di luar sana yang dijual sebagai sistem MSP tetapi yang pada dasarnya adalah monitor + admin jarak jauh digabungkan.

Ian

Untuk syslogging terpusat dengan banyak fitur hebat, saya sangat merekomendasikan rsyslog . Ini adalah server syslog open source yang dapat dengan senang hati beroperasi sebagai pengganti drop-in untuk syslogd reguler yang Anda kenal dan sukai. Sekarang adalah daemon syslog pilihan untuk Ubuntu dan saya pikir Red Hat & Fedora mungkin akan turun jalan juga. Saya telah menemukan banyak lebih mudah untuk bangun dan menjalankan dan melakukan apa yang Anda inginkan yaitu syslog-ng.

Saat ini di toko kami, kami memiliki dua server pusat rsyslog (satu di setiap situs) yang menerima log untuk ratusan server. Saya mendapat peringatan email otomatis setiap kali sesuatu di syslog memicu peringatan atau lebih tinggi (dengan beberapa penyesuaian tentu saja, beberapa aplikasi agak sedikit mengkhawatirkan). Saya mungkin bisa melakukan lebih banyak kecerdasan seperti membuatnya mengirim barang ke nagios atau semacamnya, tetapi itu cukup untuk memenuhi kebutuhan kita saat ini.

Ini semua masuk ke database mysql juga (ada juga dukungan untuk Oracle atau postgresql jika itu cara Anda menggulung).

Ada juga frontend web dan agen windows untuk mengirim log Eventlog ke server rsyslog juga. Frontend web jelas tidak selicin splunk tetapi menyelesaikan pekerjaan dengan $ 0.

Lihatlah http://www.codeplex.com/polymon

Sumber terbuka, menggunakan SQL Server di backend dan memiliki UI mewah

Saya setuju bahwa Splunk luar biasa. Untuk lingkungan Linux yang kecil dan dominan, Anda mungkin ingin melihat sesuatu seperti epylog .

Kami menggunakannya di salah satu tempat saya dulu bekerja, dan itu bagus untuk apa yang kami inginkan.

Tidak yakin seberapa baik itu menangani pesan syslog Windows yang dikirim ke kolektor syslog Linux, tetapi mungkin patut dicoba.

Hanya menautkan ke jawaban saya di tempat lain:

Splunk luar biasa mahal: Apa alternatifnya?

Edit (proyek baru):

The LogStash dan Graylog2 proyek terlihat sangat menarik

Berikut adalah beberapa Video: satu dua .

Sesuatu seperti GFI EventsManager dapat melakukan trik untuk sekitar $ 4k.

• Analisis log peristiwa termasuk Perangkap SNMP, log Peristiwa Windows, log W3C dan Syslog
• Peringatan real-time, termasuk perangkap SNMPv2 yang mengingatkan
• Lihat laporan tentang informasi keamanan utama yang terjadi sekarang
• Pencatatan acara terpusat
• Hapus "noise" atau peristiwa sepele yang membuat rasio besar dari semua peristiwa keamanan
• Pemantauan dan peringatan 24-7 x 365 hari waktu nyata
• Secara grafik memonitor status GFI EventsManager dan jaringan Anda melalui monitor status bawaan
• Dukungan untuk lingkungan virtual

Jika Anda mencari pengganti SysLog, Anda mungkin juga ingin mempertimbangkan pengganti syslog / rsyslog komersial seperti LogLogic, http://loglogic.com . Kami (tempat saya bekerja) memiliki perangkat log lengkap, penyimpanan, dan pelaporan. Pada dasarnya, ini adalah kemampuan untuk mengumpulkan 100.000 pesan per detik, mengurangi dan mengindeksnya sehingga pencarian dapat dilakukan.

Anda dapat mencoba logscape dari liquidlabs - sangat mirip dengan splunk tetapi memiliki beberapa fitur yang berbeda juga .... http://www.liquidlabs-cloud.com/products/logscape.html

Saya melakukan hal SQL backend pada pekerjaan sebelumnya (itu adalah omong-omong MySQL), lengkap dengan skrip, antarmuka Drupal dengan skrip PHP kustom, bekerja.

Sejujurnya, butuh terlalu banyak jam kerja dan masih belum Splunk.

Saat ini, saya sedang menguji Splunk. Ya, ini tidak gratis, tetapi melihat gambaran besarnya mungkin sebenarnya lebih murah.

Sudahkah Anda mencoba php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Saya memposting utas penipuan: Splunk luar biasa mahal: Apa alternatifnya?

xpolog dan semua solusi komersial serius adalah BIG $ (bahkan jika kurang dari splunk, kebanyakan dengan mudah 5 digit!)

Sooooo, apa yang akhirnya kami lakukan (karena splunk terlalu banyak $):

1) Kami ingin syslog sederhana ke pipa sql db

2) Kami mencoba syslog kiwi. Ini bekerja dengan baik selama seminggu, berhenti bekerja, dan dukungan kiwi tidak dapat memperbaikinya. Jadi kami menjatuhkan kiwi

3) Kami mencoba winyslog. Anjing tua aplikasi, kami tidak ingin mempelajarinya.

4) Kami menggunakan aplikasi .net gratis ini: http://www.aonaware.com/syslog.htm

Voila. Kami memiliki pesan syslog di db kami.

Kami sangat bahagia. $ 0 dihabiskan, beberapa jam, tetapi tidak terlalu banyak.

Kami menggunakan Splunk di sini, dan saya agak kaget dengan harga yang mereka katakan kepada Anda. Rincian dasar yang diberikan kepada kami adalah sekitar $ 1rb AS per 1GB data. Ini mahal, tetapi sangat kuat dan sangat cepat untuk dikembangkan. Bergantung pada sumber data Anda dan apa yang ingin Anda lakukan dengannya, beberapa skrip python dan perl dapat memberi Anda banyak data serupa. Perbedaan besar adalah waktu, dan belajar untuk benar-benar menggunakan bahasa untuk pemrosesan teks. Anda juga tidak akan bisa mendapatkan informasi IP realtime (hal-hal seperti syslog), meskipun Anda dapat memperbaikinya dengan mendapatkan syslogger dan mengeluarkan informasi ke file teks. Maaf saya tidak bisa mengarahkan Anda ke solusi spesifik; untuk apa kita tidak bisa menggunakan splunk untuk skrip python, perl, dan bash.

ELSA - Pencarian dan Arsip Log Perusahaan

Fitur utama:

• Pencarian teks lengkap pada kata apa saja dalam pesan atau bidang yang diuraikan.
• Kelompokkan berdasarkan bidang apa pun dan buat laporan berdasarkan hasil.
• Jadwalkan pencarian.
• Lansiran tentang klik pencarian pada log baru.
• Simpan pencarian, hasil pencarian tersimpan email.
• Buat tiket insiden berdasarkan hasil pencarian (dengan plugin).
• Sistem plugin lengkap untuk hasil.
• Ekspor hasil sebagai permalink atau dalam Excel, PDF, CSV, dan HTML.
• Integrasi LDAP penuh untuk izin.
• Statistik untuk kueri menurut pengguna dan ukuran dan jumlah log.
• Arsitektur terdistribusi penuh, dapat menangani n node dengan semua permintaan dieksekusi secara paralel.
• Arsip terkompresi dengan rasio lebih baik dari 10: 1.

Detail kinerja:

Untuk menentukan sistem, menurut urutan kepentingan: ukuran disk, RAM, kecepatan disk, jumlah CPU. Faktor kinerja utama adalah daemon pengindeks dan pencarian Sphinx, jadi lihat sphinxsearch.com untuk dokumen. Statistik saya yang diberikan diambil dari sistem besar (16 CPU, 144 GB RAM, 12 TB HD), tetapi Anda akan mendapatkan kinerja yang sama pada sistem dengan 4 CPU, 8 GB RAM, dan semua ukuran HD sebagai skala skala linier. Sistem ini pertama kali dijalankan pada blade IBM dengan 4 GB RAM dan drive SAN yang lambat dan dilakukan pada tingkat yang sama, tetapi 4 GB memotongnya sedikit dekat.

Detail kinerja dan daftar fitur utama, ditambah deskripsi arsitektur: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Kode: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Detail mengenai proyek: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Jika Anda mencari alternatif yang jauh lebih terjangkau untuk Splunk - coba LogZilla ( http://www.logzilla.pro ). Ini berskala juga atau lebih baik daripada Splunk (Anda dapat mencari lebih dari 300m log dalam waktu sekitar 1-2 detik) dan mudah 1/10 dari biaya. Mereka memiliki demo yang berjalan di http://demo.logzilla.pro