Saya telah menemukan bahwa McAfee SiteAdvisor telah melaporkan situs web saya sebagai "mungkin mengalami masalah keamanan" .
Saya tidak terlalu peduli dengan apa pun yang dipikirkan McAfee tentang situs web saya (saya dapat mengamankannya sendiri dan jika tidak, McAfee jelas bukan perusahaan yang akan saya minta bantuan, terima kasih banyak). Apa yang menggangguku adalah mereka rupanya merangkak situs web saya tanpa seizin saya.
Untuk memperjelas: Hampir tidak ada konten di situs web saya, hanya beberapa placeholder dan beberapa file untuk penggunaan pribadi saya. Tidak ada ToS.
Pertanyaan saya adalah: Apakah McAffee memiliki hak untuk mengunduh konten dari / merangkak situs web saya? Bisakah saya melarang mereka melakukannya? Saya merasa harus ada semacam prinsip "Istana saya, aturan saya", namun pada dasarnya saya tidak tahu apa-apa tentang semua masalah hukum.
Pembaruan: Saya mungkin harus menyebutkan penyedia server saya mengirimi saya email tentang temuan SiteAdvisor secara teratur - itulah cara saya mengetahui tentang 'peringkat' mereka dan itulah sebabnya saya kesal.
sumber
Jawaban:
Ada preseden hukum untuk ini. Bidang v. Google Inc., 412 F. Supp. 2d 1106, (US Dist. Ct. Nevada 2006). Google memenangkan penilaian ringkasan berdasarkan beberapa faktor, terutama bahwa penulis tidak menggunakan file robots.txt dalam metatag di situs webnya, yang akan mencegah Google merayapi dan menyimpan halaman-halaman yang tidak ingin diindeks oleh pemilik situs web.
Hukum pdf
Tidak ada hukum AS yang secara khusus menangani file robots.txt; namun kasus pengadilan lain telah menetapkan beberapa preseden yang pada akhirnya dapat menyebabkan file robots.txt dianggap menghindari langkah-langkah elektronik yang disengaja yang diambil untuk melindungi konten. Dalam SARANA KESEHATAN, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, et. al, Healthcare Advocates berpendapat bahwa Harding et al pada dasarnya meretas kemampuan Mesin Wayback untuk mendapatkan akses ke file cache halaman yang memiliki versi lebih baru dengan file robots.txt. Sementara Pengacara Kesehatan kehilangan kasus ini, Pengadilan Negeri mencatat bahwa masalahnya bukan bahwa Harding dkk "mengambil kunci," tetapi mereka mendapatkan akses ke file karena masalah server-load dengan Wayback Machine yang memberikan akses ke file dalam cache seharusnya tidak
Putusan Pengadilan pdf
Ini hanya masalah waktu IMHO sampai seseorang mengambil putusan ini dan ternyata itu pada sisinya: Pengadilan menunjukkan bahwa robots.txt adalah kunci untuk mencegah merangkak dan menghindari itu adalah memilih kunci.
Sayangnya, banyak dari tuntutan hukum ini tidak sesederhana "Saya mencoba memberi tahu perayap Anda bahwa itu tidak diizinkan dan perayap Anda mengabaikan pengaturan / perintah itu." Ada sejumlah masalah lain dalam semua kasus ini yang pada akhirnya mempengaruhi hasil lebih dari masalah inti apakah file robots.txt harus dianggap sebagai metode perlindungan elektronik di bawah hukum DCMA AS.
Yang telah dikatakan, ini adalah hukum AS dan seseorang dari Tiongkok dapat melakukan apa yang mereka inginkan - bukan karena masalah hukum, tetapi karena China tidak akan menegakkan perlindungan merek dagang dan hak cipta AS, jadi semoga berhasil mengejar mereka.
Bukan jawaban singkat, tetapi sebenarnya tidak ada jawaban pendek dan sederhana untuk pertanyaan Anda!
sumber
Ya, mereka berhak melakukannya - Anda telah membuat situs web publik, apa yang membuat Anda berpikir tidak?
Anda juga tentu saja memiliki hak untuk menghentikan mereka. Anda dapat meminta mereka untuk tidak merayapi situs web Anda dengan robots.txt atau secara aktif mencegah mereka mengaksesnya dengan sesuatu seperti fail2ban .
Atau, jangan khawatir tentang hal itu dan lanjutkan dengan hidup Anda. Ini tidak menyakiti apa pun dan jelas berada di sisi jinak Internet probing.
sumber
Apakah perilaku ini etis atau tidak tidak sepenuhnya jelas.
Tindakan merayapi situs publik itu sendiri, tidak etis (kecuali jika Anda melarangnya secara eksplisit menggunakan robots.txt atau langkah-langkah teknologi lainnya, dan mereka menghindarinya).
Apa yang mereka lakukan adalah padanan kasar memanggil Anda, sambil mengumumkan kepada dunia bahwa Anda mungkin tidak aman. Jika itu merusak reputasi Anda dan tidak bisa dibenarkan, itu tidak etis; jika melakukan itu dan satu-satunya resolusi untuk itu melibatkan Anda membayar mereka, itu pemerasan. Tapi, saya tidak berpikir ini yang sedang terjadi.
Saat lain hal ini menjadi tidak etis adalah ketika seseorang menjelajah situs Anda untuk menyesuaikan konten atau data Anda dan kemudian menyatakannya sebagai milik mereka. Tapi, itu juga bukan apa yang sedang terjadi.
Jadi, saya sarankan bahwa perilaku mereka dalam hal ini etis, dan Anda juga bisa mengabaikannya.
Perilaku mereka yang terkait dengan spamming Anda tidak etis jika Anda tidak memiliki hubungan dengan mereka dan tidak meminta email, tetapi saya curiga mereka memiliki berhenti berlangganan yang berfungsi.
sumber
Disallow
arahan dalam file robots.txt sebagai "tindakan melarang teknologi". robots.txt bertindak sebagai permintaan sopan santun, dan sementara bot berperilaku baik akan mematuhinya, tidak ada kewajiban dan tidak ada keamanan nyata yang terlibat. Faktanya, bot yang berperilaku buruk mungkin menerima entri di robots.txt sebagai undangan untuk merayapi jalur tertentu ...Pendekatan teknis untuk memblokir orang atau perusahaan tertentu dari mengakses situs web Anda:
Anda dapat memblokir alamat IP tertentu, atau rentang alamat dari mengakses halaman situs Anda. Ini dalam file .htaccess (jika situs Anda berjalan di Apache Web Server).
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
Mintalah server Anda mencatat alamat IP server tempat ia diakses, dan cari alamat IP tersebut, untuk menemukan yang terkait dengan McAfee. Mungkin mudah diketahui sekarang, jika Anda tidak memiliki pengunjung reguler.
Tentu saja, mereka mungkin mengubah alamat IP di masa depan. Namun, jika Anda mencari alamat IP yang Anda temukan, untuk melihat siapa yang memilikinya, Anda mungkin dapat mempelajari seluruh blok alamat yang dimiliki oleh McAfee, dan memblokir semuanya.
Untuk dasar hukum untuk melakukannya:
"Pemilik situs web dapat secara hukum memblokir beberapa pengguna, aturan pengadilan"
http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules
(Jika situs web Anda adalah situs pribadi, tidak ada yang akan memperjuangkan hak Anda untuk memblokir beberapa pengguna. Tetapi jika situs web untuk bisnis, ada argumen hukum dan moral di kedua sisi dari diskusi itu. Semakin kecil bisnis Anda, semakin mudah bisnis Anda, semakin mudah. itu harus dilindungi secara hukum - dan semakin sedikit pula orang lain yang cukup peduli untuk mengeluh.)
Anda mungkin juga tertarik dengan "Tolak pengunjung menurut pengarah".
http://www.htaccess-guide.com/deny-visitors-by-referrer/
sumber