Apakah greylisting masih merupakan metode yang efisien untuk mencegah spam?

50

Saya telah menggunakan greylisting di server saya selama bertahun-tahun, tetapi saya tidak tahu seberapa efektifnya saat ini.

Apakah masih bagus untuk memerangi spam di tahun 2012?

Atau apakah MTA spammer khas mampu mengirim ulang email yang di-greyl sekarang?

neu242
sumber
2
@Michael: Untuk memerangi spam. Baca pertanyaannya :)
neu242
1
Kita bisa berurusan dengan pro dan kontra dari greylisting di pertanyaan lain :)
neu242
1
Saya mengubah judulnya sedikit. Apakah sekarang terlihat lebih baik?
neu242
2
@MichaelHampton Uh, tempat tujuan ... tindakan pencegahan spam apa yang Anda gunakan yang tidak membuat CEO mengeluh? Atau mungkin, jika lebih tepat, CEO seperti apa yang Anda miliki yang tidak manja, cengeng $ # ^ & * @ yang akan menemukan sesuatu untuk dikeluhkan dalam hal apa pun?
HopelessN00b
1
@ HopelessN00b CEO kita tidak seperti itu. Saya tidak akan menilai kepribadian atau perilaku seseorang hanya berdasarkan pada profesi mereka.
darvids0n

Jawaban:

6

Pembaruan dari 2018:

Saya selalu penggemar greylisting. Untuk alasan-alasan ini:

  • Itu tidak hanya menandai spam, tetapi memblokirnya.
  • Adalah sah untuk digunakan sebagai penyedia layanan di Jerman (tidak seperti menghapus email spam setelah penerimaan)
  • Sederhana dan efektif.
  • Itu menambah beban ke spammer dan bukan ke server surat yang Anda terima. Jadi meskipun spammer mungkin berhasil melalui greylisting Anda, Anda memaksa mesin mereka untuk bekerja lebih keras dan dengan demikian mereka dapat mengirim lebih sedikit spam secara total.
  • Itu hampir tidak memblokir surat yang sah, tidak seperti RBL berbasis IP dll.
  • Ini menimbulkan penundaan, tetapi Anda dapat memasukkan daftar putih klien (pengirim server) dari kontak yang sering dan penerima daftar putih yang benar-benar membutuhkan email dengan penundaan minimum. Ingatlah bahwa menggunakan filter spam seperti Spamassasin secara langsung pada semua email Anda (tanpa greylisting) juga dapat menyebabkan penundaan email yang sah: Beberapa spammer mengirim begitu banyak email ke server Anda sehingga filter spam kelebihan beban. Dengan demikian, itu akan mengirim kegagalan sementara (misalnya 451) ke server pengirim surat masuk lebih lanjut. Hal ini menyebabkan efek yang sama dengan daftar hijau, yaitu surat tertunda, dengan pengecualian bahwa daftar putih tidak semudah itu. Tentu saja, Anda dapat menggunakan filter spam cloud yang berskala pada kekuatan apa pun yang dimiliki oleh spammer, tetapi itu mungkin lebih mahal.
  • Perawatan terbatas atau tidak diperlukan. Tidak ada daftar hitam yang perlu diperbarui dan diubah seiring waktu. Tidak ada aturan berbasis pola yang perlu diperbarui.

Tapi sayangnya, dalam statistik saya, saya melihat bahwa di tahun ini, greylisting menjadi kurang efektif. Jumlah pesan yang tertunda sangat mendekati jumlah pesan yang di-greylist lebih cepat, yang berarti jumlah spam yang diblokir berkurang.

Pada tahun lalu (365 hari), 55% dari pesan yang di-greylade akhirnya berhasil melalui greylisting, yaitu 45% diblokir.

statistik surat pos tahun

statistik surat pos tahun

Perhatikan bahwa bagan ini termasuk jangka waktu di mana pesan yang di-greylized tidak dihitung karena kesalahan konfigurasi mailgraph, hanya yang tertunda. Ini berarti perhitungan ini sedikit melebih-lebihkan pesan tertunda, bahkan lebih banyak email diblokir.

Pada bulan lalu, 64% tertunda dan hanya 36% diblokir.

statistik pos bulan

statistik pos bulan

Dalam minggu terakhir, 75% tertunda dan hanya 25% diblokir.

statistik pos minggu

statistik pos minggu

Selain itu, melihat jumlah total pesan yang diblokir: Bulan ini, greylisting memblokir 4 411 pesan, tetapi Amavisd (spamassasin) memblokir 22.763 pesan. Ini berarti hanya 16% dari spam yang diblokir oleh greylisting, dan sisanya oleh amavisd.

Selain itu, semakin banyak penyedia pengiriman awan mengirim dari beberapa ratus alamat IP. Mereka mencoba setiap upaya transmisi dari IP lain. Dengan demikian, greylisting dapat memblokir email ini selama berhari-hari. Karena itu, Anda perlu memasukkan semua penyedia email "baik" ke daftar putih. Ini memperkenalkan upaya pemeliharaan baru.

Saya selalu menjadi penggemar greylisting, tetapi sayangnya, saya melihat ini menjadi semakin tidak efektif, dan saya pikir saya akan segera menonaktifkannya, karena mulai hanya menunda 14% dari email saya yang tidak perlu tanpa memblokir banyak spam .

Statistik yang menyesatkan

Jumlah surat yang diblokir dalam statistik saya (dan Anda) mungkin juga sebagian besar menyesatkan. Mari kita ambil satu email yang datang dari penyedia cloud mail besar (seperti Microsoft * .outbound.protection.outlook.com) yang belum masuk daftar putih. Upaya pertama gagal. Upaya transmisi kedua dan ketiga datang dari dua server lain (IP), sehingga gagal lagi, karena triplet tidak cocok. Sekarang upaya keempat datang dari server pertama lagi dan berhasil. Ini akan dihitung sebagai satu transmisi yang tertunda dan empat pesan berwarna. Perhitungan saya di atas akan menunjukkan bahwa 1/4 = 25% pesan greylisted tertunda dan 3/4 = 75% diblokir. Namun faktanya, tidak ada satu pesan pun yang diblokir. Sekarang kami membuat daftar putih server dari penyedia surat ini, sehingga mereka tidak akan di-greylisted lagi. Apa yang akan terjadi adalah jumlah pesan yang di-greyl akan turun lebih banyak dari jumlah pesan yang tertunda. Ini berarti bahwa jumlah pesan yang diblokir yang kami hitung akan turun. Tetapi tidak benar bahwa lebih sedikit pesan yang diblokir.

Bahkan, apa yang saya lakukan sejak Februari 2017, adalah menambahkan semakin banyak penyedia cloud mail ke daftar putih untuk mengatasi masalah penundaan yang lama karena greylisting. Ini mungkin menjelaskan (sebagian?), Mengapa jumlah surat yang diblokir yang saya hitung akan turun dengan cepat. Jadi mungkin, saya hanya berpikir sepanjang waktu bahwa greylisting memblokir banyak spam, tetapi jumlah spam yang diblokir jauh lebih sedikit sepanjang waktu, itu hanya dihitung secara tidak benar. Jadi berhati-hatilah saat menafsirkan statistik Anda.

Christopher K.
sumber
1
Itu sangat menarik - terima kasih telah memposting penelitian!
Jenny D berkata Reinstate Monica
+1 dari saya - waktu untuk memeriksa kembali data saya. Saya setuju bahwa orang-orang menjengkelkan berdarah ini yang melambungkan surat di sekitar server internal mereka, sehingga setiap upaya datang dari server yang berbeda, akan condong data. Saya tidak yakin saya membeli bagian terakhir Anda, yang kelihatannya berargumen bahwa semua atau sebagian besar manfaat dari greylisting disebabkan oleh penghitungan email masuk yang berlebihan.
MadHatter mendukung Monica
Statistik untuk server surat pribadi saya untuk tahun lalu (per Juli 2019) menunjukkan bahwa hanya 15% dari pesan yang ditunda dan 85% diblokir. Saya melihat pengirim yang diblokir dan mereka memang terlihat seperti spammer. Namun, saya tidak melakukan greylisting semuanya, tetapi hanya pengirim yang masuk daftar hitam oleh RBLs (zen.spamhaus.org, spam.dnsbl.sorbs.net dan psbl.surriel.com). Greylisting yang terkonfigurasi dengan baik tampaknya masih efisien.
michau
1
@ michau Tentu email mencurigakan greylisting lebih efisien daripada greylisting segalanya. Rspamd adalah filter spam baru yang menarik dan cukup baik. Ini membuat daftar email yang mencapai skor spam rendah. Jadi seperti Anda, ini juga akan mengirim email ke greylist dari pengirim yang terdaftar di RBL (asalkan email tidak mendapat skor yang cukup tinggi untuk ditolak). Tetapi ini juga akan menjadi daftar email yang cocok dengan beberapa aturan spam tetapi tidak mendapatkan skor yang cukup tinggi untuk ditolak.
Christopher K.
55

Saya terakhir melihat ini secara kuantitatif pada bulan Juli tahun ini (2012). Pada bulan Juli, server surat saya menerima sekitar 46.000 upaya untuk mengirim surat; dari mereka, sekitar 1.750 dikembalikan dan diizinkan melalui greylisting (dan lulus domain pengirim yang valid, SPF dan beberapa tes berbasis non-konten lainnya). Dari jumlah tersebut, sekitar 1.500 lainnya difilter oleh pemfilteran berbasis konten saya ..

Dengan asumsi bahwa 44.250 email itu adalah spam (karena mereka tidak bisa lulus greylisting, saya pikir itu asumsi yang adil), jika bukan karena greylisting, penyaringan berbasis konten saya harus berurusan dengan 46.000 mail, bukannya 1.750.

Peningkatan beban 25 kali lipat pada pemfilteran berbasis konten saya akan mengharuskan saya memiliki CPU yang lebih besar dan lebih banyak memori. Itu pada gilirannya akan meningkatkan biaya hosting bulanan saya, karena konsumsi daya ekstra (dan, mungkin, ukuran server).

Singkatnya, terakhir kali saya hitung, ya, greylisting masih masuk akal, sebagai bagian dari sistem penyaringan spam yang lengkap . Saya telah mengaktifkannya untuk klien dalam beberapa minggu terakhir, dan semuanya sangat senang dengan penurunan beban pada sistem penyaringan berbasis konten mereka juga.

Sunting : Saya perhatikan bahwa saya belum menjawab pertanyaan tentang apakah itu menjadi kurang efektif seiring waktu. Ketika saya menyalakannya, pada akhir 2006, perkiraan saya pada waktu itu adalah bahwa ia menyaring sekitar 95% dari spam. 1.750 dengan proporsi 46.000 adalah sekitar 4%, jadi data saya menunjukkan bahwa itu tidak menjadi kurang efektif selama periode waktu itu.

MadHatter mendukung Monica
sumber
2
Jenis jawaban yang saya cari. Terima kasih!
neu242
3
Saya pikir sangat masuk akal untuk melihat ini secara kuantitatif dalam situasi khusus Anda. Saya baru saja memeriksa, dan server email saya melihat angka yang sangat berbeda: total untuk Agustus dan September, 460214 5xx ditolak, 12331 4xx ditolak dan 22665 diterima. Dengan demikian, 4,6% diterima dan hanya 2,6% dari spam (paling-paling) diblokir oleh greylisting. Penolakan 5xx didominasi oleh 8,4% pengguna tidak dikenal dan> 90% RBL. (Dan saya bahkan tidak menjalankan RBL yang sangat agresif. Mayoritas yang sangat besar dari blok RBL adalah XBL .) Kemudian, lalu lintas yang tertangkap oleh RBL tidak pernah berhasil melakukan greylisting.
CVn
7
Menarik, tetapi saya tidak bisa membuat perbandingan langsung karena saya tidak akan, pada prinsipnya, menggunakan RBL sebagai tes garis terang untuk tanda terima; Saya hanya menggunakannya sebagai kontributor skor spamassassin. Saya sudah terlalu sering menggunakan RBL, untuk alasan yang sepenuhnya palsu, untuk mempercayakan pengoperasian surat saya sendiri ke alasan orang lain. Namun, jika kita berasumsi bahwa semua penolakan XBL itu berasal dari botnet api-dan-lupakan, maka jika Anda di-greylist dulu seperti saya, Anda akan melihat persentase yang sebanding dengan saya.
MadHatter mendukung Monica
1
Ya, saya telah sangat mempertimbangkan untuk mengubahnya menjadi hanya penyumbang skor spam dan bergantung pada greylisting, untuk alasan yang Anda sebutkan. Namun, itu tidak meniadakan poin yang saya buat, bahwa server yang berbeda mungkin melihat pola lalu lintas yang sangat berbeda dan satu-satunya cara untuk benar-benar mengetahui apakah greylisting efektif adalah dengan melihatnya dari sudut pandang pengaturan khusus Anda.
CVn
1
Saya akan tidak setuju lagi, tapi saya sangat setuju dengan Anda. Untuk semua pengguna, cara terbaik untuk mengetahui apakah ini teknik yang efektif dalam aliran email Anda adalah dengan mencobanya dalam aliran dan ukuran email Anda - Michael berbicara dengan bijak!
MadHatter mendukung Monica
8

robot spam biasanya masih tidak melakukan antrian pesan, tetapi beberapa dari mereka hanya mengirim spam dua kali ke setiap penerima dengan penundaan beberapa menit untuk mengalahkan greylisting. juga, saat ini, spam dari robot spam bukan masalah sebenarnya lagi, spam dari akun yahoo yang dikompromikan dll jauh lebih sulit untuk ditangkap.

Dari sudut pandang itu, greylisting tidak seefektif dulu. Dalam kombinasi dengan teknik anti-spam lainnya masih bisa membantu, misalnya jika domain Anda sering berada di "batch pertama" dari kampanye spam, greylisting dapat membantu menunda pesan cukup lama untuk daftar domain / ip blacklist untuk menyusul, jadi jika spam akan menyelinap melalui filter Anda pada upaya koneksi pertama, mungkin terdeteksi pada upaya kedua.

Gryphius
sumber
Sebagian besar upaya pengiriman Spam yang saya terima berasal dari Spambot. Saya menggunakan teknik lain untuk mencegah Spambot dan kebanyakan menyerah sebelum mereka dapat di-greylisted. Di server saya Greylisting masih memblokir sekitar setengah pengirim, ia memproses. Saya memang pengirim yang dikecualikan yang kemungkinan besar akan lulus greylisting.
BillThor
5

Sebagai masalah tangensial, saya tidak suka berada dalam posisi telah menggunakan teknik seperti greylisting tanpa dapat mengukur efektivitasnya. Pada Debian, dengan postfix sebagai MTA dan postgrey sebagai mesin kebijakan greylisting, Anda bisa apt-get install mailgraphmendapatkan grafik sederhana dari surat yang diterima dan ditolak. Mailgraph agak kuno dan sepenuhnya mandiri, tetapi berfungsi, dan data atau tekniknya dapat dengan mudah diintegrasikan ke dalam sistem pemantauan modern yang lebih kompleks.

Paul Gear
sumber
3

Dapatkan filter surat berbasis reputasi. Greylisting agak kuno dan bukan solusi yang komprehensif. Ada beberapa solusi (dari perspektif spammer), dan waktu pengiriman surat yang tidak dapat diprediksi untuk pengguna Anda ...

Entah menyaring pemfilteran ke layanan cloud atau membeli alat yang memiliki akses ke daftar tersebut dan memiliki metode lain untuk memvalidasi spam. Rekomendasi saya biasanya Barracuda untuk alat mereka atau untuk solusi penyaringan cloud mereka . Kedua opsi memiliki skala ekonomis dan heuristik matang yang memberikan solusi keseluruhan yang lebih bersih.

Melihat salah satu laporan Barracuda Spam Filter klien saya untuk September 2012, dari 98.457 pesan, 1.623 terputus bahkan sebelum mengenai server email karena penerima yang buruk ... 34.488 diblokir sebagai SPAM . Hanya 96 pesan yang dipertanyakan yang berhasil dilaluinya. Yang dinilai sebagai SPAM adalah kombinasi antara reputasi, skor, niat, tiga RBL, filter Bayesian , dan aturan kebiasaan. Semua dalam satu unit ... Semua diproses sebelum mengenai server surat yang relatif kecil.

masukkan deskripsi gambar di sini

Lihat juga: Memerangi Spam - Apa yang dapat saya lakukan sebagai: Administrator Email, Pemilik Domain, atau Pengguna?

putih
sumber
2
Menarik, tetapi Anda tidak menjawab pertanyaan saya tentang greylisting. Dan statistik Anda tanpa nomor greylisting tidak sangat relevan di sini :)
neu242
@ neu242 Intinya adalah 1). Greylisting memiliki kekurangan yang diketahui, 2). tidak dapat dianggap sebagai solusi keseluruhan dan 3). ada cara yang lebih baik untuk mendeteksi spam karena prosesnya telah berkembang selama beberapa tahun terakhir.
ewwhite
4
Greylisting tentu saja hanya bagian dari toolkit pencegahan spam saya. Pengaturan saya sangat mirip dengan @ MadHatter. Tetapi karena saya bertanya secara spesifik tentang greylisting, saya mengurutkan jawaban spesifik greylist yang diharapkan.
neu242
1
@ewwhite: sebenarnya, saya tidak mengerti bagaimana itu tidak terlalu jelas. Untuk referensi Anda: Saya memang memeriksa riwayat pertanyaan. Tidak melihat perubahan yang memengaruhi ini dengan cara apa pun.
Jürgen A. Erhard
2
@ JürgenA.Erhard Kamu agak terlambat untuk ini. Dan posting Anda tidak sopan. Solusi penyaringan spam profesional apa pun yang diterapkan hari ini tidak boleh hanya mengandalkan greylisting. Jika Anda memiliki masalah lain, lihat pertanyaan spam Kanal Server Fault di sini .
ewwhite