Saya baru saja memperbarui file robots.txt saya di situs baru; Google Webmaster Tools melaporkan itu membaca robots.txt saya 10 menit sebelum pembaruan terakhir saya. Apakah ada cara saya dapat mendorong Google untuk membaca kembali robots.txt saya sesegera mungkin? UPDATE: Di Bawah Konfigurasi...
Untuk: Tingkatkan keamanan situs web saya Kurangi persyaratan bandwidth Cegah pengambilan alamat
Saya mencoba untuk mengatur robots.txtsemua host virtual di bawah server nginx http. Saya bisa melakukannya di Apache dengan meletakkan yang berikut ini di utama httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Saya mencoba...
Kami memiliki pengaturan server web pengembangan XAMPP Apache dengan host virtual dan ingin menghentikan ular yang merayapi semua situs kami. Ini mudah dilakukan dengan file robots.txt. Namun, kami lebih suka tidak menyertakan disallow robots.txt di setiap vhost dan kemudian harus menghapusnya...