Pertanyaan yang diberi tag internet-archive

Kontrol atas Internet Archive selain hanya "Disallow /"?

Adakah mekanisme untuk mengendalikan apa yang arsip Internet Archive di situs? Saya tahu untuk melarang semua halaman yang bisa saya tambahkan : User-agent: ia_archiver Disallow: / Dapatkah saya memberi tahu bot bahwa saya ingin mereka merayapi situs saya sebulan sekali, atau setahun...

Bagaimana cara (dis) mengizinkan bot archive.org? Apakah semuanya berubah, jika demikian kapan?

Saya memiliki situs web yang kebanyakan saya tidak ingin diindeks oleh mesin pencari, tetapi saya ingin mempertahankannya untuk selamanya di archive.org. Jadi saya robots.txtmulai dengan ini: User-agent: * Disallow: / Hari ini, menurut archive.org saya harus menambahkan yang berikut di saya...