Bagaimana (il) legal mendapatkan data dari API yang dapat diakses 100% tetapi tidak "terbuka"

Saya menemukan situs web yang menyediakan tabel besar yang dapat difilter dengan data terbaru tentang kota di suatu negara. Situs ini menggunakan pendekatan gulir tak terbatas untuk memuat baris untuk tabel.

Dengan menjelajahi situs menggunakan Alat Pengembang Chrome, saya menemukan itu membuat permintaan AJAX ke beberapa URL internal untuk mendapatkan data. URL ini mencakup banyak parameter kueri yang sesuai dengan filter.

Saya mencoba mengakses URL itu langsung di browser saya dan saya mendapatkan semua data dalam format JSON yang bagus. Saya bahkan dapat bermain-main dengan filter untuk mendapatkan data konkret yang saya butuhkan. URL ini sebenarnya dapat diakses, jadi saya tidak perlu melakukan apa pun hacky , saya hanya memanggil URL yang ada di internet.

Jadi pertanyaan saya adalah: seberapa legal atau ilegal bagi saya untuk menggunakan URL itu untuk mengambil data untuk keperluan saya sendiri?

Catatan : Saya tidak ingin membuat daftar kota yang sama , tetapi saya ingin menggunakan data itu untuk membuat game online kecil, yang berpotensi menghasilkan sedikit uang ...

PENTING Catatan tentang beberapa tanggapan dan komentar

Ini hanya contoh skenario, saya tidak mencari tempat untuk mengambil data tentang kota. Pertimbangkan situs web dengan data tentang kinerja pemain sepakbola yang diperbarui dalam satu musim jika Anda mau.

Adapun negara konkret, sekali lagi, saya tidak berpikir dalam undang-undang tertentu, jika Anda tahu negara di mana jelas (il) legal, itu akan menjadi info berguna.

Biarkan saya jelas. Ada satu hal yang saya tahu cukup baik, yaitu hukum hak cipta. Saya bukan pengacara, namun, pengetahuan tentang hak cipta adalah persyaratan konstan konsultasi saya selama 30 tahun. Sebagai bonus tambahan, saya berkonsultasi terutama dengan telekomunikasi dan sering bekerja dengan data pelanggan dan analisis data dan penyajian data tersebut untuk dijual dan digunakan kembali. Saya setidaknya, memiliki kualifikasi unik untuk menjawab pertanyaan ini di forum ini.

Saya akan menjelaskan ini yang terbaik yang saya bisa dengan: satu, mendefinisikan ayat-ayat eksklusif dengan cara biasa; dua, mendefinisikan pengecualian kasus yang dikutip dan pertimbangan hak cipta terkait lainnya; dan tiga, jelas pada jawabannya.

Izinkan saya mengklarifikasi beberapa hak cipta. Contoh buku telepon adalah nama yang salah. Ketika Anda mendapatkan telepon, Anda telah menandatangani perjanjian kontrak pribadi sebagai warga negara dengan perusahaan swasta dan informasi yang dihasilkan, dipublikasikan atau tidak, adalah data hak milik pribadi dan oleh karena itu isi buku telepon adalah hak milik (perhatikan kata ini) hanya karena itu tidak dapat diperoleh secara umum melalui cara lain kecuali melalui sumber data perusahaan - data pelanggan. Jika data dapat diperoleh melalui cara biasa, seperti berjalan-jalan dan menuliskan nomor rumah dan nama jalan, maka itu adalah data yang tersedia untuk umum dan jelas untuk digunakan. Ini tidak berarti bahwa nomor telepon tidak dapat diperoleh melalui cara biasa. Itu bisa saja.

Untuk memperjelas lebih lanjut. Mengutip dari: http://www.lib.umich.edu/copyright/facts-and-data

Dalam kasus apa pun perlindungan hak cipta untuk karya asli kepenulisan tidak mencakup ide, prosedur, proses, sistem, metode operasi, konsep, prinsip, atau penemuan apa pun, apa pun bentuknya yang diuraikan, dijelaskan, diilustrasikan, atau diwujudkan. dalam pekerjaan seperti itu.

Paragraf ini menyesatkan. Pengecualian ini dijelaskan dalam paragraf ini dilindungi oleh paten dan hukum lainnya. Hak cipta hanya mencakup penciptaan karya.

Itu:

Doktrin "keringat alis"

... mengacu pada aktivitas apa pun seperti pergi dari rumah ke rumah dan mengumpulkan data secara manual. Ini adalah definisi cara biasa. Dimungkinkan untuk mengetuk pintu dan meminta data telepon yang sama. Hanya sebanyak yang Anda bisa mengumpulkan fakta dengan cara biasa adalah data atau bagian dari data milik publik.

Cara biasa menggunakan data telepon adalah dengan: satu, memperoleh data asli melalui cara hukum; dan dua, terapkan doktrin penggunaan yang adil. Ini akan memerlukan mendapatkan salinan buku telepon langsung dari perusahaan yang mungkin gratis atau dengan biaya, dan mengatur fakta-fakta dengan cara yang berbeda untuk menciptakan karya baru. Sudahkah Anda mencoba untuk mendapatkan buku telepon Seattle ketika Anda berada di Chicago? Anda akan menemukan bahwa perusahaan telepon kemungkinan akan membebankan biaya mengejutkan untuk Anda. Namun, jika Anda adalah pelanggan telepon di Seattle dan Anda meminta buku telepon Seattle, biayanya akan jauh lebih sedikit atau bahkan gratis. Saya harus melakukan ini berkali-kali. Ada orang yang pekerjaannya hanya untuk mendapatkan buku telepon dari perusahaan telekomunikasi secara langsung dan membayar biaya jika diperlukan.

Putusan tersebut dikutip dalam kasus Feist Publications v. Rural Telephonedalam tautan di atas (dalam jawaban ini) bergantung pada dua fakta: satu, yaitu bahwa data oleh operator koperasi pedesaan sebagai monopoli lokal harus disediakan untuk publik melalui perjanjian operasional; dan kedua, bahwa penyajian karya tersebut memiliki hak cipta dan bukan fakta yang terkandung di dalam karena fakta # 1. Oleh karena itu, hanya dalam parameter yang sempit kasus ini dapat dianggap sebagai kasus yang mendahului dan harus dibuang. Biasanya, data pelanggan perusahaan swasta tidak diharuskan oleh perjanjian untuk dipublikasikan. Anda harus ingat bahwa koperasi pedesaan didirikan sebagai perwalian / entitas publik untuk barang publik dan dimiliki oleh publik dan / atau anggota koperasi dan karena itu beroperasi di bawah batasan hukum yang memungkinkannya untuk disetujui untuk beroperasi atau ada. Setiap kasing berbeda.

Pada hari-hari awal perusahaan Bell Telephone, perusahaan diharuskan sebagai monopoli untuk membuat data telepon publik kecuali dibatasi oleh pelanggan. Ketika perusahaan Bell dipecah menjadi bayi Bells, Bell Atlantic, Bell South, dan sebagainya, perusahaan-perusahaan ini masih diperlukan sebagai monopoli untuk membuat data telepon publik seperti yang didefinisikan sebelumnya. Tetapi dengan deregulasi dan memang dengan VoIP, seluler, dan opsi lain, monopoli jarang terjadi. Hanya dalam skenario monopoli argumen yang dikutip di atas dapat dibuat.

Terus mengutip tautan di atas (dalam jawaban ini):

Hanya karena data tidak dilindungi oleh hak cipta, tidak berarti tidak ada pertimbangan hukum lain yang mungkin ikut bermain ketika Anda ingin menggunakan dataset orang lain.

Ingatlah ini.

Setiap dataset yang diberikan dan presentasi di sana, terlepas dari asal data, adalah sebuah karya tersendiri. Presentasi publik tentang fakta-fakta, terlepas dari caranya, adalah pekerjaan tersendiri.

Mengingat bahwa Anda tidak memperoleh data melalui cara biasa, meskipun data tersebut dipublikasikan, dan terlepas dari asal mula data tersebut, itu tidak bebas untuk digunakan seperti yang Anda gambarkan dan Anda dapat dituntut secara kriminal dan secara sipil bertanggung jawab atas potensi pelanggaran hak cipta juga karena pelanggaran pidana dan penggunaan komputer dan peralatan komunikasi ilegal yang biasanya tidak diotorisasi dan dapat jatuh di bawah undang-undang RICO.

Apakah legal untuk digunakan? Tidak! Benar-benar tidak! Itu tidak diperoleh melalui cara biasa juga tidak mungkin maksud dari operator situs web untuk mengekspos data kepemilikan. Tidak adanya AUP (kebijakan penggunaan yang dapat diterima) tidak akan membantu Anda. Ada asumsi yang dibuat di bawah hukum tentang "orang yang masuk akal", "standar yang masuk akal", dan "asumsi yang masuk akal" yang melindungi pemilik situs web dalam kasus ini. Tidak masuk akal bahwa orang pintar akan menggunakan "kerentanan dalam desain / pembuatan" situs web untuk mendapatkan data untuk penggunaan lain. Selain itu, jika situs mendapat untung dari aktivitasnya, perlindungan lebih lanjut ikut berperan.

Satu hal yang tampaknya tidak begitu jelas dalam jawaban lain di sini ...

Apakah itu "legal" atau tidak, pertama dan terutama, tergantung pada negara. Jika kita berbicara tentang Amerika Serikat, misalnya, maka menggunakan data itu sendiri tidak ilegal. Namun, saya menyarankan Anda untuk menggunakan data nyata dari Sensus AS. Mereka menawarkan banyak data melalui apa yang mereka sebut produk TIGER. Kumpulan data ini adalah kumpulan data yang sama yang digunakan oleh profesional GIS untuk mengisi peta Bing, peta Google, dll.

Namun, sementara data mungkin tersedia secara bebas, itu tidak berarti bahwa data dari API yang terbuka ini tersedia secara hukum. Anda mengatakan itu dalam bentuk JSON, yang menyarankannya telah 'dipijat' dari format aslinya ke dalam format ini - dan format khusus itu dapat berada di bawah kekayaan intelektual. Bahwa, Saya percaya, akan ilegal untuk digunakan kecuali Anda memiliki lisensi untuk menggunakannya. Seperti orang lain di sini, saya bukan pengacara, tetapi perusahaan itu bahkan tidak perlu menunjukkan kepada Anda dan menyebut Anda seorang peretas. Data hak milik adalah data hak milik, meskipun itu diberikan secara tidak sengaja. Anda harus menghubungi perusahaan dan memberi tahu mereka semua data ini terekspos ke dunia luar, dan meminta izin untuk menggunakannya. Tanpa melakukan itu, dan dengan mengajukan pertanyaan tentang pertukaran tumpukan ini sebagai bukti, akan mudah untuk membangun kasus melawan Anda. Anda pada dasarnya berkata, "Ini tidak terlihat sah, tetapi saya tetap menyukainya dan saya ingin mendapat uang darinya." Sekali lagi, saya bukan pengacara, tapi itu sepertinya bukan cara yang bagus untuk memulai persidangan.

Masalahnya adalah, jika Anda tertarik pada nama kota dan data geografis lainnya, hampir semuanya tersedia secara bebas, terlepas dari negara. Terakhir saya tahu, AS menerbitkan sebagian besar data, tetapi ada data di luar sana untuk hampir setiap negara. Saya ragu untuk mengatakan semuanya hanya karena saya seorang programmer dan membuktikan pernyataan "untuk semua" itu sulit ... jika Anda memilih negara yang sewenang-wenang, kemungkinannya lebih baik daripada baiknya bahwa datanya ada di luar sana. Jika Anda memiliki negara tertentu, kepala ke GIS Stack Exchange . Hal utama yang Anda cari disebut "shapefile", jadi ajukan pertanyaan seperti "Di mana saya bisa mendapatkan shapefile untuk __________?" Ada juga OpenStreetMapyang merupakan peta sumber terbuka. Saya tidak yakin betapa mudahnya untuk mendapatkan data shapefile mereka, tetapi jika Anda bisa mendapatkannya dari mereka (dan saya tidak melihat mengapa Anda tidak bisa, Anda dapat menjalankan peta offline berdasarkan lokal informasi yang disimpan), maka Anda memiliki semua data yang Anda butuhkan dan Anda berada di tempat yang jelas secara hukum. Anda harus menghabiskan waktu memijat data dalam jumlah besar hingga yang Anda inginkan, tetapi shapefile selalu didefinisikan dengan sangat baik dan mudah diurai.

Sementara closetnoc telah membahas masalah data itu sendiri, ada masalah hukum yang lebih besar: Anda tidak berwenang mengakses API yang menawarkan data.

Baseline untuk sebagian besar undang-undang kejahatan komputer melibatkan gagasan "akses tidak sah ke sistem komputer". Anda tidak boleh bingung dengan referensi ini untuk otorisasi dalam arti hukum dengan konsep otorisasi ketika datang ke kontrol akses. Pemilik sistem tidak harus mengamankan sistemnya agar aksesnya menjadi ilegal, sama seperti Anda masih masuk tanpa izin saat memasuki rumah dengan pintu yang tidak terkunci.

Dalam hal ini kurangnya keamanan yang jelas tidak menyiratkan otorisasi untuk menggunakannya. Konsep internet memiliki sedikit preseden sejauh ini dalam hukum kasus tetapi Anda dapat membayangkan penggunaan protokol HTTP 80 untuk menyiratkan otorisasi publik untuk melihat situs web. Sebaliknya, protokol RPC latar belakang (bahkan jika protokol tersebut dapat berjalan pada permintaan HTTP) biasanya tidak dipahami tersedia untuk umum kecuali jika operator menerbitkan layanan seperti itu, memberikan otorisasi untuk digunakan kepada pihak ketiga.

Jadi penggunaan API yang sedang berlangsung untuk mengambil data akan ilegal. Tindakan mengambil dump data dari API untuk membangun dataset Anda sendiri juga akan ilegal. Apakah penggunaan data setelah itu ilegal adalah area abu-abu raksasa, tetapi closetnoc telah membahas sebagian besar kekhawatiran.

Tentu saja jika Anda memodifikasi dump data setelah fakta tidak dapat dikenali, hampir tidak mungkin untuk membuktikan bahwa Anda melakukan kejahatan. Tetapi jika Anda akan banyak kesulitan mengapa tidak sumber data dari sumber yang sah saja?

Mungkin tergantung pada sifat data. Data murni (pikirkan direktori telepon) tidak dapat dilindungi hak cipta . Jadi daftar kota dari API harus merupakan permainan yang adil untuk disalin dan ditampilkan kepada pengguna. Namun, jika API memiliki deskripsi kota, deskripsi tersebut akan berada di bawah undang-undang hak cipta dan Anda tidak akan dapat menggunakannya tanpa melanggar hak cipta.

Jika Anda dapat menyalin data secara legal, saya akan merekomendasikan menyalinnya ke situs Anda sendiri untuk mencegah penggunaan API Anda dimatikan sebelum waktunya.

(IANAL, dan hukum dan norma sangat bervariasi di seluruh dunia, tetapi hal-hal tertentu cenderung tetap konsisten karena perjanjian IP. Jika Anda memiliki masalah profesional di luar spesialisasi Anda, konsultasikan dengan profesional.)

Secara umum, secara hukum, API tidak dianggap "ditujukan untuk konsumsi publik" kecuali jika secara aktif didokumentasikan sebagai API publik, dengan ketentuan layanan yang ditentukan. Fakta bahwa publik dapat mencapai API tidak menjadikannya publik.

Dalam kasus-kasus di mana status data itu sendiri bukan domain publik, dan dalam beberapa kasus di mana itu jelas merupakan domain publik, maksud entitas yang menyediakan API sangat penting. Jika operator situs web yang dimaksudkan API yang akan digunakan untuk memberi makan halaman web dinamis, atau aplikasi mobile (untuk nama dua contoh umum) setiap penggunaan lain adalah "tidak sah" kecuali suatu tempat khusus berwenang. Jika konsumen yang dimaksud adalah potongan kode dinamis di halaman web tertentu, untuk tujuan menempatkan piksel yang dapat dipahami manusia pada tampilan dalam cara yang spesifik, mudah-mudahan menyenangkan dan bermanfaat, setiap penggunaan lainnya tidak sah.

Kemampuan teknis untuk memasuki gedung melalui jendela terbuka tanpa membuka atau menghancurkan apa pun tidak akan melindungi Anda dari penangkapan karena pelanggaran pidana ...

Juga, hampir tidak pernah bijaksana untuk bermain "kemampuan teknis" vs game "niat asli" dengan pengacara kekayaan intelektual. Jika tidak ada yang lain, ingatlah bahwa pengacara yang secara konsisten kehilangan kasus-kasus itu tidak terus mendapatkan bayaran untuk mereka.

Apa yang Anda bicarakan kemungkinan bagus. Anda hyperlink ke informasi kemudian mengubahnya.

Dalam Perfect 10, Inc. v. Amazon.com, Inc., [19] Sirkuit Kesembilan kembali mempertimbangkan apakah penggunaan thumbnail mesin pencari gambar adalah penggunaan yang wajar. Meskipun faktanya agak lebih dekat daripada dalam kasus Arriba Soft, pengadilan tetap menemukan bahwa terdakwa pelaku pelanggaran itu adil karena "sangat transformatif." Pengadilan menjelaskan:

Kami menyimpulkan bahwa sifat transformatif yang signifikan dari mesin pencari Google, terutama mengingat manfaatnya bagi publik, lebih besar daripada penggunaan thumbnail thumbnail dalam menggantikan dan komersial Google. ... Kami juga sadar akan arahan Mahkamah Agung bahwa "semakin transformatif pekerjaan baru, semakin sedikit pentingnya faktor-faktor lain, seperti komersialisme, yang mungkin bertentangan dengan temuan penggunaan yang adil."

Selain itu, pengadilan secara khusus membahas status hak cipta tautan, dalam keputusan banding pertama AS untuk melakukannya:

Google tidak ... menampilkan salinan gambar fotografi ukuran penuh yang dilanggar untuk tujuan Undang-Undang Hak Cipta ketika Google membingkai gambar yang ditautkan in-line yang muncul di layar komputer pengguna. Karena komputer Google tidak menyimpan gambar foto, Google tidak memiliki salinan gambar untuk keperluan Undang-Undang Hak Cipta. Dengan kata lain, Google tidak memiliki "objek material ... di mana sebuah karya diperbaiki ... dan dari mana karya tersebut dapat dirasakan, direproduksi, atau dikomunikasikan" dan dengan demikian tidak dapat mengkomunikasikan salinan.Alih-alih mengkomunikasikan salinan gambar, Google menyediakan instruksi HTML yang mengarahkan browser pengguna ke komputer penerbit situs web yang menyimpan gambar foto ukuran penuh. Memberikan petunjuk HTML ini tidak sama dengan menunjukkan salinan. Pertama, instruksi HTML adalah baris teks, bukan gambar foto. Kedua, instruksi HTML tidak menyebabkan gambar yang dilanggar muncul di layar komputer pengguna. HTML hanya memberikan alamat gambar ke browser pengguna. Browser kemudian berinteraksi dengan komputer yang menyimpan gambar yang dilanggar. Interaksi inilah yang menyebabkan gambar yang dilanggar muncul di layar komputer pengguna. Google dapat memfasilitasi akses pengguna ke gambar yang dilanggar. Namun, bantuan tersebut hanya menimbulkan masalah tanggung jawab kontribusi dan bukan merupakan pelanggaran langsung terhadap hak tampilan pemilik hak cipta. ... Meskipun penautan dan pembingkaian in-line dapat menyebabkan beberapa pengguna komputer percaya bahwa mereka melihat satu halaman web Google, Undang-Undang Hak Cipta, tidak seperti Undang-Undang Merek Dagang, tidak melindungi pemegang hak cipta dari tindakan yang menyebabkan kebingungan konsumen.

Hukum negara bagian AS setelah Arriba Soft and Perfect 10

Arriba Soft case mewakili proposisi bahwa penghubung yang dalam dan reproduksi aktual dalam salinan yang diperkecil (atau persiapan karya turunan yang diperkecil) sama-sama dimaafkan sebagai penggunaan wajar karena penggunaan karya terdakwa tidak benar-benar atau berpotensi mengalihkan perdagangan di pasar dari pekerjaan pertama; dan juga memberikan kepada publik fungsi yang sebelumnya tidak tersedia, sangat berguna dari jenis yang dipromosikan oleh undang-undang hak cipta (menemukan informasi yang diinginkan di Web). Kasus Perfect 10 melibatkan pertimbangan serupa, tetapi lebih banyak penyeimbangan kepentingan terlibat. Tindakan ini dimaafkan karena nilai untuk publik dari fungsi yang tidak tersedia dan bermanfaat melebihi dampak pada Perfect 10 dari penggunaan Google yang mungkin digantikan.

Terlebih lagi, dalam Perfect 10, pengadilan memberikan preseden yang luas dalam mendukung tautan dan pembingkaian, yang diberikan secara lengkap oleh pengadilan di bawah hak cipta. Disimpulkan bahwa "in-line linking dan framing dapat menyebabkan beberapa pengguna komputer percaya bahwa mereka melihat satu halaman web Google, [tetapi] Undang-Undang Hak Cipta ... tidak melindungi pemegang hak cipta dari tindakan yang menyebabkan kebingungan konsumen."

Tekankan milikku. linky

Anda hanya menggunakan hyperlink, Anda tidak membuat salinan, Anda tidak menampilkan salinan, Anda tidak merugikan kepentingan bisnis, dan Anda sangat mengubahnya. Saya katakan Anda memiliki setiap elemen yang dibutuhkan untuk menjadi baik. Tapi, IANAL.

Itu legal selama Anda tidak harus memasukkan kata sandi untuk mendapatkannya, tetapi beberapa perusahaan yang kurang canggih mungkin mengklaim peretasan dan meminta pengacara untuk Anda. Anda harus siap untuk membela diri. Anda akan didapati tidak bersalah, karena mereka mempublikasikan data mereka kepada publik, tetapi mungkin perlu biaya untuk membela diri. Jaksa dan polisi tunduk pada perusahaan. Ini sering terjadi dalam pemberitahuan keamanan, di mana seseorang akan memberi tahu perusahaan tentang lubang keamanan maka perusahaan akan menagih mereka dengan peretasan. Perusahaan juga bebas mengubah API tanpa pemberitahuan, mungkin merusak aplikasi Anda.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Hentikan saya jika Anda pernah mendengar ini sebelumnya: Penggemar teknologi menjadi sedikit terlalu bersemangat dalam memeriksa lubang keamanan, menemukan kerentanan yang signifikan, tampil ke depan dengan informasi, dan ancaman hukum dan pribadi kemudian dibuat.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

Penyusup itu bersembunyi di suatu tempat di kampus MIT, mengunduh ratusan ribu artikel jurnal akademik.