Haruskah saya memblokir bot dari situs saya dan mengapa?

Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa?

Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke situs saya? Banyak dari mereka adalah SEO.

Saya harus mengatakan saya melihat lebih sedikit lalu lintas karena bot telah tiba dalam jumlah besar.

Tidak akan terlalu sulit untuk memblokir ini karena mereka semua mengakui dalam Agen Pengguna mereka bahwa mereka adalah bot.

Anda dapat memblokir bot tetapi itu tergantung pada apa yang Anda inginkan untuk situs web Anda.

Anda dapat memblokir bot mesin pencari jika Anda tidak ingin melihat situs web Anda diindeks di mesin pencari tertentu.
Contoh: Yandex adalah mesin pencari Rusia. Anda dapat memblokir botnya jika bisnis Anda tidak menargetkan Rusia.

Anda dapat memblokir bot SEO jika Anda tidak ingin menggunakan solusi analisis web mereka.
Contoh: Ahrefs adalah solusi analisis web. Anda dapat memblokir botnya jika Anda tidak menggunakan solusi analisis web ini.

Alasan untuk memblokir bot:

• lebih sedikit robot yang pergi ke situs web Anda dan lebih banyak bandwidth dikaitkan dengan pengunjung nyata
• aman terhadap malware malware
• ukuran log

Alasan untuk tidak memblokir bot:

• bot seperti bot mesin pencari dapat meningkatkan traffic Anda dengan mengindeks situs web Anda.

Anda dapat mempelajari lebih lanjut tentang bot dengan membaca FAQ robotstxt.org .

Jika Anda ingin menentukan beberapa robot untuk diblokir, Anda dapat mengambil inspirasi dari situs web robots.txt ini .

Hati-hati, beberapa bot dapat mengabaikan robots.txt , informasi lebih lanjut di sini .

Kesimpulan : Anda dapat mencari di fungsi robot internet untuk menentukan apakah memblokirnya bisa bermanfaat.

Ketika mencoba memblokir bot dapat membantu membebaskan sumber daya dan membersihkan log Anda, penting untuk dicatat bahwa robots.txt dan bahkan menggunakan tag meta pada halaman noindex sebenarnya tidak menghentikan bot mengunjungi situs Anda. Mereka masih dapat menjelajah situs Anda sesekali untuk melihat apakah yang ditolak dari robot telah dihapus. Banyak bot bahkan tidak menggunakan agen pengguna dan akan menggunakan agen pengguna standar. Bot yang saya maksudkan adalah bot pemanen SEO yang memindai backlink dan bukan yang umum yang Anda temukan dari mesin pencari.

Alih-alih memblokir bot Anda harus mempertimbangkan faktor bot ini ketika menghitung pengunjung Anda, setelah beberapa saat aktif memantau situs Anda, Anda membangun angka kasar yang bot. Kebanyakan orang peduli dengan kunjungan unik dan ini mengesampingkan bot karena mereka selalu kembali. Di zaman sekarang ini ada banyak server, shared hosting yang dapat menangani bot ini, jadi selain halaman yang tidak ingin Anda indeks, saya tidak melihat alasan mengapa memblokir jenis bot ini. Tentu saja Anda memiliki bot berbahaya juga, tetapi ini tentu saja tidak akan menggunakan agen pengguna;).

Secara pribadi saya percaya memblokir robot adalah buang-buang waktu karena mereka tidak menggunakan banyak sumber daya sama sekali, robot SEO dapat membantu karena mereka mendaftar situs Anda pada halaman PR0 yang tentu saja meningkatkan PageRank Anda dan ada otomatis sehingga Anda tidak akan dihukum oleh mereka.

Masalah log

Anda harus menggunakan penampil log yang tepat yang memungkinkan Anda untuk menyaring permintaan tertentu, ini membuatnya lebih mudah saat meninjau log Anda. Pemirsa yang baik dapat menyaring banyak hal seperti kunjungan normal, 404-an, dan sebagainya.