Di mana robots.txt disimpan untuk instalasi WordPress Multisite?

9

Alat Webmaster Google dapat melihatnya, tetapi saya tidak dapat menemukannya. Adakah ide tentang bagaimana itu dihasilkan atau di mana itu adalah struktur file? Saya tidak melihat file di root saya. Situs web saya ada di http://mikewills.me dan URL file robots.txt adalah http://mikewills.me/robots.txt .

Pada akhirnya, Google tidak mengindeks situs saya dan saya mencoba mencari cara mengedit robots.txt sehingga pengindeksan diizinkan. Saya telah mengubah opsi privasi untuk memungkinkan pengindeksan, tetapi itu belum memperbarui robots.txt.

multisite Mike Wills
sumber
Tautan situs? robots.txt tidak mungkin ada hubungannya dengan WP ...
Rarst

Jawaban:

11

Ini dihasilkan secara dinamis oleh fungsi do_robots(), yang memiliki action ( do_robotstxt) dan filter ( robots_txt). Jika Anda membuat robots.txtfile di root WordPress Anda, itu akan (mungkin) disajikan ketika /robots.txtdiminta, jika tidak pemrosesan akan kembali ke WordPress.

File Anda saat ini terlihat seperti ini:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Dua pengaturan pertama sesuai untuk blog yang dapat diindeks. Jadi, Anda mungkin sedang menunggu Google pada saat ini. Mungkin Anda perlu meminta pertimbangan ulang situs Anda .

Annika Backstrom
sumber
Terima kasih untuk informasi. Saya berada di bawah asumsi ini. Saya takut melihat Disallow. Jadi tidak apa-apa?
Mike Wills
2
@ Mike: Ya, ini OK. Apa yang Anda katakan sekarang adalah: "Hai robot yang User-agentkecocokannya *(jadi semua robot), daftar halaman yang tidak dapat Anda akses adalah [empty]." Yang berarti mereka dapat mengakses semua halaman.
Jan Fabry
Menambahkan robots.txt ke root tampaknya tidak berfungsi, itu masih melayani yang dihasilkan WordPress. Apakah tidak ada cara untuk menambah atau memodifikasi robots.txt tanpa memasang plug-in?
Nick
3

robots.txt dibuat secara dinamis. Tidak ada file robots.txt. Instal plugin robot.txt akan menyelesaikan masalah Anda. Semoga ini membantu

pengguna1167
sumber