Situs web saya menghitung tampilan pengunjung pada halaman tertentu. Saya perhatikan bahwa Google dan Bot lainnya "mengklik" ke situs saya seperti orang gila dan beberapa halaman mendapatkan jumlah tampilan yang tidak realistis (dibandingkan dengan yang diproduksi oleh manusia). Saya meminta...
Saya perhatikan bahwa Alat Webmaster Google melaporkan banyak sumber daya yang diblokir di situs web saya. Saat ini semua "sumber daya yang diblokir" adalah .css, .js, dan gambar (.jpg, .png) yang saya layani dari Cloudfront CDN. Saya telah menghabiskan banyak waktu pengujian dan mencoba mencari...
Kami memiliki halaman locater toko di situs pelanggan kami. Pengguna akhir memasukkan kode pos dan radius pencarian dan kami menampilkan hasilnya di Google Map. Baru-baru ini kami mulai memperhatikan bahwa situs tersebut mencapai batas pencarian peta gratis (kira-kira 25.000 per 24 jam) tanpa...
Saya menjalankan crawler web kecil dan harus memutuskan agen pengguna apa yang akan digunakan untuk itu. Daftar agen perayap serta Wikipedia menyarankan format berikut: examplebot/1.2 (+http://www.example.com/bot.html) Namun beberapa bot menghilangkan tanda plus di depan URL. Dan saya ingin...
Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...
Saya memiliki situs web yang kebanyakan saya tidak ingin diindeks oleh mesin pencari, tetapi saya ingin mempertahankannya untuk selamanya di archive.org. Jadi saya robots.txtmulai dengan ini: User-agent: * Disallow: / Hari ini, menurut archive.org saya harus menambahkan yang berikut di saya...
Saya punya beberapa file pribadi dalam direktori di folder sekolah saya. Anda dapat melihat bahwa file ada dengan membuka myschool.edu/myusername/myfolder, tetapi mencoba mengakses file itu sendiri melalui myschool.edu/myusername/myfolder/myfile.html mengembalikan kesalahan 403. Namun Google entah...
Saya menggunakan file robots.txt berikut untuk sebuah situs: Target adalah untuk memungkinkan googlebot dan bingbot untuk mengakses situs kecuali halaman /bedven/bedrijf/*dan memblokir semua bot lain dari merayapi situs. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay:...
Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan...
Saya telah melihat beberapa kesalahan 404 ketika ads.txt diminta pada beberapa situs yang saya kelola. Saya kira jawabannya mungkin identik dengan pertanyaan tentang file robots.txt kosong atau tidak ada file sama sekali (hanya mencegah beberapa 404 kesalahan). Namun saya mengalami kesulitan untuk...
Jadi sekarang Google telah menghentikan skema perayapan AJAX . Mereka mengatakan tidak perlu repot mengimplementasikannya di situs web baru, karena itu tidak lagi diperlukan karena Googlebot sekarang tidak memiliki masalah menonton konten dinamis. Haruskah kita segera mempercayai pernyataan ini,...
Saya memiliki situs yang, karena alasan pengaturan, mungkin tidak diindeks atau dicari secara otomatis. Ini berarti bahwa kita harus menjauhkan semua robot dan mencegah mereka dari spidering situs. Jelas kami sudah memiliki file robots.txt yang melarangnya sejak awal. Namun, mengamati file...
Saya telah menggunakan Ask.comsebagai salah satu mesin pencari untuk melakukan ping sitemap saya. Ketika saya pergi untuk melakukan ping sitemap saya hari ini agar sitemap saya diindeks ulang, situs web ( http://submissions.ask.com/ping ) mengatakan sudah tidak ada lagi? Saya melakukan pencarian...
Saya telah memigrasi situs ke domain baru. Situs itu sendiri cukup mudah (menggunakan Jekyll), dan semuanya telah berjalan dengan baik - kecuali migrasi utas Disqus. Saya sudah sebagian berhasil - beberapa utas telah berhasil bermigrasi, tetapi tidak semua. Saya sudah mencoba panduan migrasi...
Jika saya membuat halaman statis di domain (http://www.domain.com/page.html), dapatkah crawler masih melihatnya jika tidak ada tautan ke mana pun di
Saya ingin menolak archive.ismemiliki akses ke situs web saya. (Saya tidak ingin situs web ini men-cache milik saya tanpa persetujuan saya). Apakah Anda tahu itu
Istri saya bekerja di sebuah sekolah menengah di Jerman. Baru-baru ini saya memperhatikan bahwa sangat sulit untuk menemukan beranda sekolah itu menggunakan Google. Saya melihat kode sumber halaman dan saya yakin saya telah menemukan alasannya: Ada dua <meta name="robots">tag; satu...