Pertanyaan yang diberi tag robots.txt

Di robots.txt, bisakah saya menulis URL relatif berikut untuk file sitemap? sitemap: /sitemap.ashx Atau apakah saya harus menggunakan URL lengkap (absolut) untuk file sitemap, seperti: sitemap: http://subdomain.domain.com/sitemap.ashx Kenapa saya bertanya-tanya: Saya memiliki layanan blog...

Saya robots.txtdi Alat Webmaster Google menunjukkan nilai berikut: User-agent: * Allow: / Apa artinya? Saya tidak memiliki cukup pengetahuan tentang itu, jadi mencari bantuan Anda. Saya ingin mengizinkan semua robot merayapi situs web saya, apakah ini konfigurasi yang

Apakah ada solusi cerdas untuk menyimpan file statis di direktori root aplikasi Flask. robots.txt dan sitemap.xml diharapkan ada di /, jadi ide saya adalah membuat rute untuk mereka: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response =