Sembunyikan Subdomain dari Hasil SEO Google / Mesin Pencari?

11

Saya memiliki subdomain yang saya tidak ingin terdaftar dalam hasil mesin pencari apa pun. Katakanlah saya punya:

  • http://www.example.com
  • http://child.example.com

Bagaimana saya bisa menyembunyikan semua URL child.example.comdomain yang saat ini ditampilkan di hasil mesin pencari?

search-engines url robots.txt search noindex 夏 期 劇場
sumber

Jawaban:

14

Di root direktori situs web subdomain, tambahkan file bernama robots.txt yang mengandung:

User-agent: *
Disallow: /

Ini akan memberi tahu perayap web untuk tidak mengindeks situs sama sekali. Mereka tidak harus mematuhi, tetapi yang utama akan melakukannya.

Paul
sumber
Hai, saya percaya ini adalah yang terbaik. Dan satu hal lagi beri tahu saya, jika saya melakukan itu, berapa lama waktu yang diperlukan untuk mempengaruhi Hasil Web? (mis. Pencarian Google) Apakah saya perlu waktu atau akan tiba-tiba?
夏 期 劇場
2
Ini akan diakui saat pengindeks berikutnya merayapi situs. Ini bisa berupa apa saja dari menit ke minggu, tergantung pada seberapa penting situs Anda dipertimbangkan. Anda dapat memindahkan berbagai hal dengan lebih cepat dengan menambahkan situs ke webmaster di Google dan Bing dan membawanya ke membaca ulang robots.txt - Anda juga dapat menghapus halaman dari indeks di sana.
Paul
1
Jika Anda ingin mempercepat prosesnya, Anda dapat mengirim permintaan penghapusan di google.com/webmasters/tools/removals untuk Google dan mengirimkan URL di bing.com/toolbox/submit-site-url untuk Bing (ya, itulah yang disarankan metode untuk menghapus halaman).
Kat
Anda juga harus menambahkan noindexke indeks dan halaman lain pada sub-domain
Anagio
Bagaimana saya lakukan ketika ada folder root umum dan nama subdomain dinamis? stackoverflow.com/questions/21229235/…
Gopi
6

Menggunakan file robots.txt di subdomain Anda akan membantu (dan Google akan mematuhinya), tetapi langkah lain yang dapat Anda lakukan adalah menentukan dengan akun Google Webmaster bahwa Anda tidak ingin subdomain ini diindeks. Anda juga dapat menggunakan tag meta pada semua halaman di subdomain:

    <meta name="robots" content="noindex">

Jika ini merupakan situs yang hanya Anda gunakan untuk pengujian internal, membatasi visibilitas ke set alamat IP yang ditentukan dalam file host virtual Anda akan lebih jauh menyembunyikan situs.

Kenzo
sumber
Di semua halaman ????? oh tidak ..
夏 期 劇場
@ 4lvin Dilakukan secara dinamis dari sisi server. Anda hanya perlu kode satu kali. Tolong jangan bilang Anda mengkode halaman HTML individual.
Kenzo
LoL, sebenarnya "ya". Karena ini adalah sistem layanan web yang sangat lama / lama. (itu sebabnya perlu diturunkan) Banyak halaman yang terisolasi di dalam. : D
夏 期 劇場
@ 4lvin Aduh ... semoga berhasil dengan itu!
Kenzo
1
Alih-alih menyematkan metatag noindex di setiap halaman, Anda dapat mengembalikan X-Robots-Tagheader respons HTTP dari server Anda untuk subdomain yang ditentukan - ini hanya perlu Anda lakukan sekali.
MrWhite
2

Solusi dari Kenzo dan Paul bagus, Anda dapat menempatkan meta tag noindex di halaman web Anda dan menambahkan robots.txt untuk melarang robot.

Namun menurut saya, solusi terbaik adalah menggunakan otentikasi kata sandi pada sub domain Anda. Ini adalah satu-satunya solusi yang Anda yakin robot dapat mengakses dan mengindeks situs web Anda. Jika Anda menggunakan Apache, Anda dapat mengimplementasikan htpasswd .

Zistoloen
sumber
2

... saat ini ditampilkan dalam hasil SEO?

Jawaban lain lebih lanjut tentang mencegah pengindeksan domain (sub) secara proaktif (yang terutama Anda tanyakan dalam pertanyaan) daripada secara aktif menghapus halaman Anda dari hasil pencarian, yang mungkin lebih seperti apa yang Anda cari, dilihat dari pertanyaan Anda yang lain .

Anda masih perlu memblokir situs Anda di robots.txt dan menyajikan tag noindex meta (atau X-Robots-Tagtajuk respons HTTP), sebagaimana dinyatakan dalam jawaban lain, tetapi Anda juga perlu memblokir akses ke halaman Anda, mengembalikan kode status 404 atau 410.

Anda dapat membaca lebih lanjut tentang ini di halaman bantuan Alat Webmaster Google:
Persyaratan untuk menghapus konten

Setelah semua ini ada di tempat maka Anda dapat menggunakan alat Hapus URL di Alat Webmaster Google. Namun, ini hanya berlaku untuk masing-masing URL, bukan keseluruhan situs, tetapi ini awal. (Google menyatakan bahwa menggunakan robots.txt, noindex dan melayani 404 adalah persyaratan untuk menggunakan alat penghapusan GWT.)

Namun, jika Anda masih ingin pengguna biasa dapat mengakses situs dengan mengetik URL, maka itu masalah - karena konten Anda tidak lagi tersedia. Anda dapat memasukkan kata sandi, seperti yang disarankan Zistoloen, namun ini akan mengembalikan 403 (Terlarang) secara default yang Anda harus timpa untuk mengembalikan 404/410. Anda dapat menyelubungi konten Anda, mengembalikan 410 ke Googlebot dan mengizinkan semua orang untuk masuk - tetapi bagaimana dengan orang-orang yang mengklik hasil di SERPs?

Tetapi jika Anda ingin Google menghapus konten Anda dalam waktu secepat mungkin maka Anda harus menghapusnya dari internet "Google".

TuanWhite
sumber