Apa saja alternatifnya sekarang setelah pencarian API Google tidak lagi digunakan? [Tutup]

322

Google Web Search API telah ditinggalkan dan diganti dengan Custom Search API (lihat http://code.google.com/apis/websearch/ ).

Saya ingin mencari seluruh web tetapi sepertinya dengan API baru hanya situs kustom yang dapat dicari.

Apakah ada cara untuk mencari seluruh web secara terprogram? Saya dapat meminta API lama menggunakan JSON dari program Java.

google-api deprecated google-search google-custom-search Dan
sumber
3
OK saya sudah melakukan banyak penelitian tentang yang satu ini dan sepertinya satu-satunya solusi adalah Yahoo Boss
Dan
API pencarian khusus bukan yang dicari kebanyakan orang: - / Coba lihat searchapi.io !
Stan Smulders
Saya telah melakukan POC pada berbagai API pencarian yang menyediakan banyak fitur dan sangat mudah diimplementasikan dalam hitungan menit. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) adalah API yang telah saya implementasikan dan uji juga. Saya dapat memberikan jawaban detail juga tetapi pertanyaan ini sudah ditutup.
Ashish Kumar
2
Solusi terbaik adalah dengan menggunakan layanan pihak ketiga seperti SerpApi
Hartator
masswerk.at/googleBBS
neverMind9

Jawaban:

32

Anda bisa mengirimkannya melalui browser, dan kemudian menguraikan html, itulah yang selalu saya lakukan, bahkan untuk hal-hal seperti Youtube.

Zimm3r
sumber
64
Saya diberitahu bahwa persyaratan layanan Google melarang spidering ...
Steven A. Lowe
52
Dari KL : "Anda secara khusus setuju untuk tidak mengakses (atau mencoba mengakses) Layanan apa pun melalui cara otomatis apa pun (termasuk penggunaan skrip atau perayap web) ..."
ændrük
18
"Melanggar ketentuan layanan dengan penyedia layanan" tidak pernah merupakan saran yang bagus. Memilah-milah halaman web adalah sesuatu yang terputus dari satu hari ke hari berikutnya tanpa peringatan, ini adalah nasihat yang buruk - itulah alasan mengapa ia lebih banyak downvotes daripada diputuskan.
WhyNotHugo
143
Ya itu melanggar persyaratan layanan tetapi secara pribadi saya tidak khawatir tentang itu. Google dapat menangani sedikit pengikisan, setelah semua mereka menghasilkan kekayaan dengan mengikis situs orang lain.
jimbo2087
106
Ayo orang-orang. Jangan terlalu naif. Google tidak dapat memaksakan ToS ke tenggorokan Anda. Untuk melanggar ToS, Anda harus menyetujui terlebih dahulu (secara tertulis, atau dengan mengklik tombol seperti 'Ya, saya menerima persyaratan'). Pikirkan ini: Saya menaruh ToS di halaman web saya bahwa setiap orang yang mengunjungi halaman itu harus memberi saya $ 10.000. Bisakah saya memberlakukan ToS ini pada pengunjung saya? Apakah harus segera saya.
Migrate2Lazarus melihat profil saya
482

Ya, Google Custom Search sekarang telah menggantikan API Pencarian lama, tetapi Anda masih dapat menggunakan Google Custom Search untuk mencari seluruh web , meskipun langkah-langkahnya tidak jelas dari pengaturan Custom Search.

Untuk membuat mesin Google Custom Search yang mencari seluruh web:

  1. Dari beranda Pencarian Kustom Google ( http://www.google.com/cse/ ), klik Buat Mesin Pencarian Kustom.
  2. Ketikkan nama dan deskripsi untuk mesin pencari Anda.
  3. Di bawah Tentukan mesin pencari Anda, di kotak Sites to Search, masukkan setidaknya satu URL yang valid (Untuk saat ini, cukup masukkan www.anyurl.com untuk melewati layar ini. Lebih lanjut tentang ini nanti).
  4. Pilih edisi CSE yang Anda inginkan dan terima Ketentuan Layanan, lalu klik Berikutnya. Pilih opsi tata letak yang Anda inginkan, dan kemudian klik Berikutnya.
  5. Klik salah satu tautan di bawah bagian Langkah selanjutnya untuk menavigasi ke panel Kontrol Anda.
  6. Di menu sebelah kiri, di bawah Panel Kontrol, klik Dasar-dasar.
  7. Di bagian Preferensi Pencarian, pilih Cari seluruh web tetapi tekankan situs yang disertakan.
  8. Klik Simpan Perubahan.
  9. Di menu sebelah kiri, di bawah Panel Kontrol, klik Situs.
  10. Hapus situs yang Anda masukkan selama proses pengaturan awal.

Sekarang mesin pencari khusus Anda akan mencari seluruh web.

Harga

  • Google Custom Search memberi Anda 100 pertanyaan per hari secara gratis.
  • Setelah itu Anda membayar $ 5 per 1000 pertanyaan.
  • Maksimal 10.000 kueri per hari.

Sumber: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Kualitas pencarian jauh lebih rendah daripada pencarian Google normal (tidak ada sinonim, "kecerdasan" dll.)
  • Tampaknya Google bahkan berencana untuk mematikan layanan ini sepenuhnya.
Orang Bangkok
sumber
26
Terima kasih untuk ini. Semoga ini adalah prosedur yang valid dan bukan celah yang menunggu untuk dicolokkan oleh Google!
Mazatec
9
Terima kasih! Ini mungkin satu-satunya jawaban di Internet yang menjawab pertanyaan saya. Sangat membingungkan mengapa Google akan mengakhiri dukungan API langsung untuk layanan inti mereka.
spamguy
7
tetapi bagaimana menggunakannya dengan json?
nawara
61
PERINGATAN: kami melakukan pengembangan menggunakan versi gratis, tetapi untuk meningkatkan ke versi berbayar (untuk melakukan lebih dari 100 pencarian), google memaksa Anda untuk mematikan "pencarian seluruh web tetapi menekankan situs yang disertakan"
Bryan Larsen
5
"Pada tanggal 1 April 2017, Google akan menghentikan penjualan Pencarian Situs Google. Semua pembelian dan pembaruan baru harus dilakukan sebelum tanggal ini. Produk ini akan sepenuhnya ditutup pada 1 April 2018."
Gajus
55

Google Custom Search (seperti yang disarankan dalam jawaban berperingkat teratas) berfungsi dengan baik, tetapi sangat mahal, dibandingkan dengan pesaingnya (di bawah) atau dibandingkan dengan Google API lainnya. Ini memiliki tingkat gratis kecil (100 permintaan / hari) dan harga yang sangat tinggi $ 5 per 1000 permintaan.

Mereka menawarkan opsi untuk meningkatkan ke Pencarian Situs, yang memiliki harga sedikit lebih baik, tetapi itu dimaksudkan untuk mencari satu situs (milik Anda), jadi itu benar-benar sesuatu yang sangat berbeda - bukan peningkatan.

Alternatif utama tampaknya:

API Pencarian Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Yang memiliki tingkat 5000q / bulan gratis, dan harga mulai dari 5 kueri per sen, dan tanpa batas keras.

UPDATE: Pada akhir 2016 API ini dimatikan untuk mitra Azure "Cognitive Services Bing Search API":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Lihat di sini untuk grafik harga, yang dimulai dari US $ 3 / m untuk 1.000 transaksi. Kecuali saya melewatkan sesuatu itu cukup mahal.


UPDATE Pencarian API BOSS Yahoo : Dihentikan pada 31 Maret 2016. http://developer.yahoo.com/boss/search/
Dengan harga mulai sekitar 12 kueri / sen untuk seluruh pencarian web.

Dan beberapa yang belum pernah saya dengar sebelumnya:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[dihentikan - seperti yang ditunjukkan di bawah ini]

Ada sedikit diskusi tentang beberapa hal ini di pos SO ini .
[ditutup karena di luar topik dan sekarang hilang]

Tom
sumber
2
Bing Search API versi 5 sekarang memungkinkan hingga 1.000 transaksi per bulan di semua API Pencarian Bing (Web, Gambar, Video, Pencarian Berita) - microsoft.com/cognitive-services/en-us/pricing . Saya mengumpulkan beberapa sampel - mvark.blogspot.in/2016/06/...
mvark
wholeeweb.com telah menghentikan layanan seperti yang terlihat di sini wholeeweb.com/services
Wessam El Mahdy
pada 15 Des 2016 Bing Web Search API akan bergerak di bawah Cognitive Services oleh Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), yang memerlukan ponsel + verifikasi kartu kredit untuk berlangganan (bahkan yang gratis).
gilad mayani
Dari Bing API: "DataMarket dan Layanan Data sedang dihentikan dan akan berhenti menerima pesanan baru setelah 12/31/2016. Langganan yang ada akan dihentikan dan dibatalkan mulai 3/31/2017. Silakan hubungi penyedia layanan Anda untuk mengetahui opsi jika Anda ingin melanjutkan layanan. "
Dmitri Zaitsev
Terima kasih telah menunjukkan perubahan - Saya telah memperbarui jawaban yang sesuai.
Tom
27

Berikut adalah opsi di bagian bawah Panel Kontrol Pencarian Kustom: "Situs untuk mencari" , Anda dapat memilih "Cari seluruh web tetapi tekankan situs yang disertakan"

Panel Kontrol Pencarian Kustom - Situs untuk pencarian

Yishu Fang
sumber
1
apakah itu masih bekerja untukmu?
Dejell
Yap, masih berfungsi.
5
Google memaksa Anda untuk mematikan opsi itu saat meningkatkan ke pencarian berbayar. Dan gratis memiliki batas 100 pencarian.
Bryan Larsen
1
@Yishu, Mengapa halaman https://support.google.com/customsearch/answer/141877?hl=id menyatakan " Anda tidak dapat mengonfigurasi Google Penelusuran Situs untuk mencari seluruh web "?
Pacerier
@ Peracerier, saya tidak tahu tentang itu. Mungkin kebijakannya sudah berubah?
Yishu Fang
14

Faroo memiliki API Pencarian Web gratis

Mendongkrak
sumber
Hasil jahitan mereka terbatas tetapi merupakan titik awal yang baik.
afro360
@ Jack, Tidak pernah mendengar ini sebelumnya. Dari mana mereka mendapatkan hasil pencarian mereka?
Pacerier
7
Kemungkinan deal breaker untuk Faroo adalah bahwa kunci API Anda terbatas pada alamat IP yang Anda tentukan saat pendaftaran.
Pengecualian tanpa tertangkap
6
Apakah orang-orang ini masih beroperasi? Saya telah meminta kunci API dan tidak mendengar apa pun.
Paul Whelan
5

Saya baru saja menemukan ini dari Penjelajahan Umum.

http://www.commoncrawl.org/

Mungkin jawabannya yang kita semua cari !!

Dan
sumber
3
Ini memiliki indeks terbatas, disegarkan sekitar setahun sekali. Dan itu akhirnya cukup mahal, karena Anda harus mencolokkan ke Amazon S3.
Guillaume Lebourgeois
@GuillaumeLebourgeois, Mahal? Saya pikir itu tidak benar. Itu sebuah organisasi nirlaba. Seluruh 102 TB data gratis untuk diunduh.
Pacerier
Biaya untuk menghubungkan ke AWS di mana Anda dapat mengakses ini. Jika Anda seorang pelajar, Anda berhak mendapatkan tingkat gratis mereka, tetapi masih ada biaya transfer dll; dan jika Anda tidak berada di tingkat gratis, ada biaya operasional.
tripleee
Sepertinya perayapan umum diperbarui setiap bulan sekarang
Jack Tuck
4

Ada catatan di atas dokumen :

Catatan: Google Web Search API telah secara resmi dihentikan sejak 1 November 2010. Ini akan terus berfungsi sesuai kebijakan penghentian kami , tetapi jumlah permintaan yang Anda buat per hari akan terbatas. Karena itu, kami menyarankan Anda untuk pindah ke API Pencarian Kustom baru .

The kebijakan bantahan mengatakan bahwa mereka akan terus berjalan API selama 3 tahun. Jadi, jika Anda sudah memiliki aplikasi yang menggunakan API lama, Anda tidak perlu terburu-buru untuk mengubah sesuatu dulu. Jika Anda sedang menulis aplikasi baru, gunakan API Pencarian Kustom . Lihat jawaban saya di sini untuk cara melakukan ini dengan Python, tetapi idenya sama untuk bahasa apa pun.

moinudin
sumber
8
Dan itu tidak gratis .... "$ 5 per 1000 pertanyaan" ... sangat tidak gratis!
UpTheCreek
1
Jawaban ini sekarang sudah usang karena tiga tahun telah berlalu dan 2014/09/29 telah berlalu.
nanofarad
CustomeSearchAPI tidak ada di semua situs web - ini untuk situs web pengguna
Dejell
1

Anda dapat membuat "di mana saja" mesin pencarian kustom langsung dari beranda Google Custom Search ( http://www.google.com/cse/ ). Anda cukup mengklik 'lanjutan', saat menambahkan mesin baru. Di sana Anda dapat memberikan jenis situs Schema.org. ' Hal ' adalah tipe yang paling umum, yang mencakup semua web.

testlnord
sumber
Saya tidak mengerti. Apakah itu berhasil untuk Anda?
Dejell