Bagaimana cara menghindari tergores?

8

Kami memiliki Database yang dapat ditelusuri (DB), kami membatasi hasilnya hingga 15 per halaman dan hanya 100 hasil yang masih membuat orang mencoba untuk mengikis situs.

Kami melarang situs yang menabraknya dengan cukup cepat. Saya bertanya-tanya apakah ada hal lain yang bisa kita lakukan. Flash membuat hasilnya mungkin?

database scraping Randin
sumber
Pastikan Anda memiliki robots.txt sebuah ... ya aku tahu tidak semua orang kehormatan itu .. tapi beberapa masih melakukan
trent

Jawaban:

6

Anda bisa membuatnya sedikit lebih sulit dengan mengambil catatan melalui AJAX, dan menggunakan ID otentikasi (seperti kunci API) untuk panggilan AJAX.

Tentu saja Anda dapat menyiasatinya dengan membaca ID dan kemudian membuat permintaan AJAX menggunakan itu.

Rendering dengan Flash adalah alternatif seperti yang Anda tunjukkan (meskipun masih belum 100% tidak dapat diuraikan), seperti rendering dalam PDF.

Ivan
sumber
13

Karena jelas ada permintaan untuk basis data Anda, pernahkah Anda berpikir untuk memutarnya dan memberikan apa yang diinginkan para pencakar? Membentuk koneksi bisnis dengan para pencakar dan mendorong penggunaan yang sesuai dengan API?

John McC
sumber
1
Ya saya suka API
Isaac Waller
+1 Anda bahkan dapat membebankan biaya kecil untuk penggunaan API dan membuat beberapa buchs dari pencakar-berubah-klien
Sander Marechal
Ya, kami menyiapkan penghitung waktu dan mencekal jika halaman terlalu cepat, sejauh menjual informasi itu tampaknya tidak mungkin, di masa lalu mereka menggunakan info untuk meletakkannya di situs lain dan mencari pemasukan klik.
Randin
4

Tidak ada solusi teknologi untuk mencegah individu yang termotivasi dari menggores konten Anda yang dapat diakses publik.

Namun, Anda dapat melindungi secara hukum kekayaan intelektual Anda dengan:

  • Memastikan bahwa situs Anda memiliki hak cipta yang ditandai dengan jelas
  • Memposting Persyaratan Layanan di footer yang jelas-jelas melarang pengikisan
  • Pertimbangkan menyematkan tanda air digital ke semua konten situs Anda. Jangan lupa bahwa teks juga bisa diberi watermark!
Portman
sumber
2

Bagaimana dengan mengatur otentikasi (dan mungkin captcha), melacak penggunaan, dan membatasi akses ke sejumlah catatan atau pencarian adalah periode waktu tertentu?

tomjedrz
sumber
1

Anda mungkin akan menemukan bahwa pengikis akan meningkatkan kualitasnya saat Anda menerapkan teknik yang berbeda. Mungkin ada cara untuk menganalisis perilaku pengguna yang mengikis dan menyajikan captcha atau gangguan lainnya? Mungkin Anda dapat membatasi hasil ke jumlah yang lebih kecil untuk jangka waktu tertentu untuk memaksa para pencakar menunggu selama 10 hari. Jika mereka tidak masuk di antara mereka maka anggap mereka scapers?

Apa pun yang Anda lakukan, pastikan untuk menggabungkan teknik Anda untuk memberi mereka umur panjang.

Brian Lyttle
sumber
1

Anda perlu mempertimbangkan bahwa para pencakar mungkin tidak menggunakan halaman dan formulir web Anda, mereka mungkin hanya memanggil situs Anda pada tingkat http.

Saya pikir solusi terbaik adalah dengan membuang catchpa setelah alamat ip meminta lebih dari ambang permintaan tertentu.

Anda harus sangat berhati-hati untuk memastikan bahwa Anda tidak mempengaruhi skalabilitas aplikasi Anda untuk pengguna nyata.

Membatasi jumlah data per halaman seperti yang Anda jelaskan dalam pertanyaan hanya akan meningkatkan jumlah permintaan yang akan dilakukan klien terhadap server Anda.

Bruce McLeod
sumber