Saya ingin mengunduh HTML (contoh: http://www.brpreiss.com/books/opus6/ ) dan bergabung dengan satu HTML atau format lain yang dapat saya gunakan pada pembaca ebook. Situs dengan buku gratis tidak memiliki paging standar, itu bukan blog atau forum, jadi tidak tahu bagaimana melakukan perayapan dan...
Mengapa @ terkadang dalam halaman web ditulis sebagai [at]? Apakah ada alasan
Pada dasarnya, saya ingin merayapi seluruh situs dengan Wget, tetapi saya membutuhkannya untuk TIDAK PERNAH mengunduh aset lain (mis. Citra, CSS, JS, dll.). Saya hanya ingin file HTML. Pencarian Google sama sekali tidak berguna. Ini perintah yang sudah saya coba: wget --limit-rate=200k...
Bagaimana Anda menginstruksikan wget untuk merayapi situs web secara rekursif dan hanya mengunduh jenis gambar tertentu? Saya mencoba menggunakan ini untuk menjelajah situs dan hanya mengunduh gambar Jpeg: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg...
Seperti yang ada saat ini, pertanyaan ini tidak cocok untuk format Tanya Jawab kami. Kami berharap jawaban didukung oleh fakta, referensi, atau keahlian, tetapi pertanyaan ini kemungkinan akan mengundang debat, argumen, polling, atau diskusi panjang. Jika Anda merasa bahwa
Saya mencoba memuat file struktur protein (mis. ini ) untuk ini situs web . Itu hanya memungkinkan kita memuat satu struktur pada satu waktu. Tapi saya punya ratusan file struktur untuk dimuat. Apakah ada cara saya bisa menulis skrip untuk mengaktifkan pengiriman batch? Saya terbuka untuk...
Saya sudah memiliki pertanyaan yang dijawab tentang pengikisan web dengan wget. tetapi ketika saya membaca sedikit lebih banyak, saya menyadari saya mungkin sedang mencari program perayapan web. khususnya bagian tentang perayap web yang bisa mendapatkan data spesifik seperti tautan atau, dalam...
Saya menggunakan API yang memiliki batas permintaan dalam satu jam. Tetapi skrip saya melakukan semuanya sekaligus sehingga saya kehilangan sekitar 1/3 permintaan karena saya mendapatkan 403. Apakah ada cara untuk memeriksa respons wget dan jika saya mendapatkan 403 untuk menunggu 5 menit dan coba...