Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya.
[Yahoo's Spider] telah membanjiri kami dengan 70-200 permintaan / detik sejak sekitar 5:30 EST. Saya belum pernah melihat yang seperti ini, bahkan dari perayap "percobaan" mereka yang kejam yang telah menyalahgunakan kami di masa lalu. Larangan Robots.txt tidak cukup: Saya harus memblokirnya dengan IP di level load-balancer. Karena mereka telah menyalahgunakan Stack Overflow di masa lalu, saya pikir Anda mungkin ingin tahu.
Sepertinya pencarian web Yahoo adalah "Didukung oleh Bing!" sekarang. Ini bagus, karena kami tidak pernah punya masalah dengan laba-laba Bing (alias MSNBOT).
Jadi, apakah pencarian Yahoo sama dengan pencarian Bing sekarang, atau haruskah kita melihat kemungkinan membuka blokir mereka jika mereka, entah bagaimana, terhadap segala rintangan, berhenti mengisap begitu keras?
sumber
Jawaban:
Saya tidak melihat alasan untuk membuka blokir bot pencarian Yahoo. Ada 2 cara Yahoo bisa menggunakan Mesin Bing. Mereka bisa mengintegrasikannya dengan milik mereka sendiri dan melepaskan crawler hybrid di internet atau mereka bisa saja mengirimkan pertanyaan ke dalam Mesin Bing dan memuntahkan hasil yang mereka dapatkan kembali.
Dari dokumen yang dikaitkan dengan Joel ada dokumen lain di sini . Di dalamnya Yahoo menyatakan "Pada pertengahan Juli, kami mulai menguji pengiriman hasil organik dari Bing ke Yahoo!" Bagi saya itu berarti Yahoo tidak terintegrasi erat dengan Mesin Bing. Mereka hanya memanggil Bing Engine API. Itu juga akan paling masuk akal dari sudut pandang kerja yang dibutuhkan karena Mesin Yahoo akan pergi dalam jangka panjang.
Itu berarti kita seharusnya tidak melihat lagi Yahoo Bot merayapi web setelah 100% hasilnya keluar dari Bing Engine. Oleh karena itu, tidak ada alasan untuk membebaskannya.
sumber
Tampaknya mereka baru saja mulai meluncurkan hasil pencarian Bing di Yahoo! sekitar 25% dari pencarian, dengan tujuan untuk benar-benar beralih pada bulan Agustus / September. Saya berani bertaruh bahwa laba-laba Yahoo bahkan tidak berjalan lagi dan jika ya, itu tidak terlalu relevan.
sumber
Saya mengajukan pertanyaan pencarian dengan Yahoo pada hari Senin - pernyataan tersebut menyertakan catatan berikut tentang transisi ke Bing yang mungkin relevan bagi Anda:
sumber
FYI, Pada hari Senin, 23 Agustus (atau dalam beberapa hari) Yahoo akan secara resmi mulai menyajikan hasil pencarian BING.
sumber