Di robots.txt, bisakah saya menulis URL relatif berikut untuk file sitemap?
sitemap: /sitemap.ashx
Atau apakah saya harus menggunakan URL lengkap (absolut) untuk file sitemap, seperti:
sitemap: http://subdomain.domain.com/sitemap.ashx
Kenapa saya bertanya-tanya:
- Saya memiliki layanan blog baru, www.domain.com, yang memungkinkan pengguna untuk blog di accountname.domain.com.
- Saya menggunakan wildcard, jadi semua subdomain (akun) menunjuk ke: "blog.domain.com".
Di blog.domain.com saya meletakkan robots.txt untuk membiarkan mesin pencari menemukan sitemap. Tetapi, karena wildcard, semua akun pengguna berbagi file robots.txt yang sama. Itulah sebabnya saya tidak dapat menggunakan alternatif kedua. Dan untuk saat ini saya tidak dapat menggunakan url menulis ulang untuk file txt. (Saya kira versi IIS nanti dapat menangani ini?)
sumber
robots.txt
tanpahttp
danhttps
, Anda hanya boleh menyediakan satu peta situs (dengan varian kanonik) .Perayap Google tidak cukup pintar, mereka tidak dapat merayapi URL relatif, itu sebabnya selalu disarankan untuk menggunakan URL absolut untuk perayapan dan indeks yang lebih baik.
Karena itu, Anda tidak dapat menggunakan variasi ini
Sintaks yang disarankan adalah
catatan:
sumber
Pertanyaan teknis & logis yang bagus, temanku. Tidak ada dalam file robots.txt Anda tidak bisa pergi dengan URL relatif dari sitemap; Anda harus pergi dengan URL lengkap sitemap.
Lebih baik menggunakan "sitemap: https://www.example.com/sitemap_index.xml "
Di URL di atas setelah titik dua memberi ruang. Saya juga suka mendukung Deepak.
sumber