Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...
Saya memiliki situs web yang kebanyakan saya tidak ingin diindeks oleh mesin pencari, tetapi saya ingin mempertahankannya untuk selamanya di archive.org. Jadi saya robots.txtmulai dengan ini: User-agent: * Disallow: / Hari ini, menurut archive.org saya harus menambahkan yang berikut di saya...
Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan...
Saya menggunakan WordPress dan /sample-post/URL untuk posting saya dan /yyyy/mm/untuk arsip. Google telah mengindeks situs sepenuhnya. Karena arsip saat ini menampilkan posting lengkap, saya berpikir bahwa saya tidak boleh membiarkan Google mengindeks halaman arsip karena mengandung posting penuh...
Saya mengalami masalah bot EXTREME di beberapa situs web saya dalam akun hosting saya. Bot menggunakan lebih dari 98% sumber daya CPU saya dan 99% dari bandwidth saya untuk seluruh akun hosting saya. Bot ini menghasilkan lebih dari 1 GB lalu lintas per jam untuk situs saya. Lalu lintas manusia...
Jadi, di semua situs kami yang tidak berhadapan dengan pencarian, kami telah menerapkan file robots.txt (per Bagaimana cara mengecualikan situs web dari hasil pencarian Google real-time?, Atau pertanyaan serupa lainnya). Namun, jika istilah pencarian cukup spesifik, domain itu sendiri dapat...
Telah menemukan pengumuman dari Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Ini menyatakan: Untuk rendering dan pengindeksan yang optimal, pedoman baru kami menetapkan bahwa Anda harus mengizinkan Googlebot mengakses file JavaScript, CSS, dan...
Jika saya memblokir direktori / foo di robots.txt, tetapi sitemap xml saya berisi URL dengan / foo, akankah URL di sitemap diambil oleh Google dan mesin pencari lainnya? Dengan kata lain, apakah sitemap truf robots.txt? Saya kira begitu, tetapi saya tidak
Saya menjalankan crawler Web skala besar. Kami berusaha sangat keras untuk mengoperasikan perayap dalam standar komunitas yang diterima, dan itu termasuk menghormati robots.txt. Kami mendapat sedikit keluhan tentang perayap, tetapi ketika kami melakukannya sebagian besar tentang penanganan kami...
Ketika saya mengetik site:example.com(jelas menggunakan domain saya), saya mendapatkan beberapa kesalahan tautan yang muncul di daftar. Biasanya, mereka berbentuk:/some/fixed/path/admin/unblockUser/11 Saya berpikir untuk menambahkan baris berikut ke robots.txtfile saya : Disallow:...
Situs yang saya kerjakan memindahkan subdomain ke subdomain lain melalui pengalihan 301. Namun ketika memeriksa robots.txt dari subdomain lama, ia memiliki robots.txt yang melarang perayap web mesin pencari untuk merayapnya. Apakah ini langkah yang tepat? Saya percaya tidak karena perayap tidak...
Pertanyaan sederhana: Haruskah saya memastikan untuk menggunakan akhir baris Unix untuk robots.txt saya, atau apakah itu tidak masalah?