Mengapa saya menggunakan Wget sebagai ganti browser? [Tutup]

Dalam hal apa saya harus memilih menggunakan Wget daripada browser?

Saya mendengar bahwa Richard Stallman menggunakannya sebagai ganti browser untuk beberapa alasan anonimitas. Dan apa yang dilihat server ketika Anda mendapatkan file menggunakan Wget?

Biasanya Anda tidak akan pernah menggunakannya "sebagai ganti browser". Browser merender HTML, membuat tautan dapat diklik (sebagai lawan harus menyalin URL ke perintah wget lain secara manual), dll. Secara harfiah tidak ada gunanya menggunakan wget sebagai manusia. Jika Anda khawatir tentang privasi, ada sejuta cara untuk membersihkan browser (atau Anda dapat menggunakan browser yang kurang fitur, seperti Lynx jika Anda benar-benar ingin mendapatkan barebone tanpa merusak semua kemiripan antarmuka pengguna manusia).

Wget terutama digunakan ketika Anda ingin cara mengunduh file yang cepat, murah, skrip / perintah-baris. Jadi, misalnya, Anda dapat meletakkan wget di skrip untuk mengunduh halaman web yang sering diperbarui dengan data baru, yang merupakan sesuatu yang tidak dapat digunakan oleh browser. Anda dapat menggunakan berbagai opsi wget untuk merangkak dan secara otomatis menyimpan situs web, yang sebagian besar browser tidak dapat lakukan, setidaknya tidak tanpa ekstensi.

Singkatnya, browser adalah aplikasi untuk manusia yang mencari di internet, wget adalah alat untuk mesin dan kekuatan pengguna yang memindahkan data melalui HTTP. Sangat mirip dalam apa yang mereka lakukan (menarik file dari situs web) tetapi sama sekali berbeda dalam penggunaannya.

Mengenai server apa "lihat" ketika Anda mendapatkan sesuatu dengan wget: semua klien HTTP (browser, wget, curl, aplikasi serupa lainnya) mengirimkan apa yang disebut "User Agent", yang hanya string yang menggambarkan browser (atau hari ini, menjelaskan fitur browser apa yang dimilikinya). Ini dapat digunakan untuk menampilkan konten yang berbeda tergantung pada browser pengguna (yaitu Google mencoba untuk tidak mengiklankan Chrome kepada orang yang sudah menggunakan Chrome). Beberapa orang bodoh mencoba memblokir shenanigans pengguna listrik dengan memblokir string agen pengguna wget, tetapi Anda bisa memalsukan string agen pengguna Chrome untuk menyiasatinya. Lebih sering itu hanya digunakan untuk statistik sehingga Anda tahu seberapa populer browser yang berbeda sehingga Anda tahu yang mana yang akan diuji dengan paling teliti.

Jika Anda menggunakan fungsi perayapan wget, server akan melihat banyak permintaan cepat dalam urutan sebagian besar alfabet. Ini adalah hadiah mati bahwa Anda sedang menggores situs mereka. Ini terlihat sangat berbeda dari penjelajahan pengguna. Dengan pengguna manusia yang membuat permintaan di browser, setiap permintaan halaman diikuti oleh semua gambar pada halaman itu, dan kemudian ada beberapa penundaan, dan kemudian ada permintaan untuk halaman acak lain (atau mungkin serangkaian halaman dengan tujuan yang jelas) .

Seperti yang telah disebutkan orang lain, wgetmemiliki manfaat tidak dibundel dengan add-on, cookie, dan cache, yang membuatnya berpotensi lebih stabil dan aman. Tetapi browser dan wgetsebenarnya memiliki kegunaan normal yang sangat berbeda .

wgetadalah utilitas baris perintah yang dimaksudkan untuk mengambil konten, bukan untuk menyajikannya. Ini dapat digunakan untuk mengambil dan mengunduh apa saja melalui FTP, HTTP, dan HTTPS, termasuk semua jenis file (HTML, gambar, binari, dll).

Untuk server, satu-satunya perbedaan yang akan dilihatnya adalah berbeda user agentkecuali jika Anda menggunakan --user-agentargumennya untuk menentukan browser. Jika Anda melakukannya, server tidak akan melihat perbedaan.

1) unduhan yang diprakarsai oleh skrip alih-alih manusia

2) mengunduh seluruh situs (atau fragmen situs) daripada halaman yang terpisah. (Wget dapat secara otomatis mengikuti tautan.)

Wget memiliki beberapa opsi baris perintah untuk mengontrol apa yang dilihat dan dipikirkan server, termasuk penundaan sewenang-wenang antara permintaan untuk mengunduh halaman. Tetapi jika server situs memiliki beberapa kebijakan anti-bot, Anda sering membuang banyak waktu dan lalu lintas sebelum mendapatkan hasil yang dapat diterima.

Saat menggunakan browser, apa pun di dalamnya aktif, termasuk add-on yang tidak diinginkan dan bahkan malware, sedangkan wget adalah perintah sederhana yang mengunduh hal-hal dan sama sekali tidak melakukan hal lain.

Peramban tidak selalu kurang aman tetapi berpotensi demikian.

Server "melihat" permintaan unduhan, seperti biasa.

Browser dapat merekam aktivitas Anda dalam riwayat dan file cache.

wget tidak memiliki penyimpanan memori.

Yang mengatakan browser lebih nyaman dan saya tidak peduli jika angka NSA keluar saya unduh 4.7.2-040702-genericminggu lalu. Saya menggunakan browser saya untuk perbankan online dan paypal yang bisa dibilang lebih penting daripada mayoritas file yang dapat saya unduh dengan wget.

Sebagai pengembang yang menggunakan instalasi Ubuntu jarak jauh, seringkali ada sedikit gunanya dalam menginstal OS GUI. Di lingkungan 'command line' ini, wget adalah alat penting untuk mengunduh file dari web.

Saya bahkan tidak yakin yang mana, jika ada, browser dapat dijalankan dari terminal.