Bagaimana cara melarang seluruh direktori dengan robots.txt?

19

Saya memiliki dua situs yang saat ini saya kerjakan yaitu keranjang belanja dan pembelanja lain. Keduanya di bawah nama domain yang sama jadi misalnya

http://example.com/first_url 
http://example.com/second_url

Kedua URL ini memiliki banyak halaman di bawahnya 

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Bagaimana saya melarang URL utama /first_urldan /second_urljuga semua subhalaman dan sub direktori? Saya sedang memikirkan sesuatu seperti ini tetapi saya tidak tahu apakah ini berhasil atau tidak dan apakah itu sintaks yang benar

Disallow: /first_url/*/
Disallow: /second_url/*/
seo robots.txt Stephen Ostermiller
sumber
1
Saya pikir sintaks Anda benar tetapi tidak yakin tentang ekstra /

Jawaban:

-1

Anda dapat menggunakan ini sebagai default Anda robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Bintang akan memungkinkan segala sesuatu di bawah kategori itu untuk dianulir. Anda bahkan dapat melarang satu hal tertentu di bawah kategori itu dengan mengetikkan url tertentu.

SAF
sumber
4
Ini tidak berbeda dengan jawaban yang diterima selain Anda melewatkan garis miring awal. Larang aturan di robots.txt seharusnya dimulai dengan garis miring. Begitulah semua contoh dalam dokumentasi
Stephen Ostermiller