Saya memiliki situs web, dan saya ingin mengunduh semua halaman / tautan dalam situs web itu. Saya ingin melakukan wget -r
di URL ini. Tidak ada tautan yang masuk "di luar" dari direktori khusus ini, jadi saya tidak khawatir mengunduh seluruh internet.
Ternyata, halaman yang saya inginkan berada di belakang bagian situs web yang dilindungi kata sandi. Walaupun saya bisa menggunakan wget untuk melakukan negosiasi cookie secara manual, akan jauh lebih mudah bagi saya untuk hanya "masuk" dari browser dan menggunakan beberapa plugin firefox untuk mengunduh semuanya secara rekursif.
Apakah ada ekstensi atau sesuatu yang akan membiarkan saya melakukan ini? Banyak ekstensi fokus pada mendapatkan media / gambar dari halaman (heh. Heh.) Tapi saya tertarik pada semua konten - HTML dan segalanya.
Saran?
Terima kasih!
Edit
DownThemAll sepertinya saran yang keren. Bisakah itu melakukan unduhan berulang ? Seperti di, unduh semua tautan di halaman tersebut, lalu unduh semua tautan yang ada di masing-masing halaman itu, dll? Jadi pada dasarnya saya mencerminkan seluruh pohon direktori dengan mengikuti tautan? Agak suka -r
opsi wget
?
sumber
Anda dapat menggunakan
wget -r
dengan cookie dari browser, diekstraksi setelah otorisasi.Firefox memiliki opsi "Salin sebagai cURL" di menu konteks permintaan halaman di tab Jaringan Alat Pengembang Web, hotkey Ctrl + Shift + Q (Anda mungkin perlu memuat ulang halaman setelah membuka alat):
Ganti flag header curl
-H
dengan wget--header
, dan Anda memiliki semua header yang diperlukan, termasuk cookie, untuk melanjutkan sesi browser dengan wget.sumber