Bagaimana saya bisa mengunduh semua halaman dari situs web?

Platform apa pun baik-baik saja.

HTTRACK berfungsi seperti jagoan untuk menyalin konten seluruh situs. Alat ini bahkan dapat mengambil bagian yang diperlukan untuk membuat situs web dengan konten kode aktif berfungsi offline. Saya kagum pada hal-hal yang dapat ditiru secara offline.

Program ini akan melakukan semua yang Anda butuhkan.

Selamat berburu!

Wget adalah alat baris perintah klasik untuk tugas semacam ini. Itu datang dengan sebagian besar sistem Unix / Linux, dan Anda bisa mendapatkannya untuk Windows juga. Pada Mac, Homebrew adalah cara termudah untuk menginstalnya ( brew install wget).

Anda akan melakukan sesuatu seperti:

wget -r --no-parent http://site.com/songs/

Untuk detail lebih lanjut, lihat Wget Manual dan contoh - contohnya , atau misalnya:

• wget: Unduh seluruh situs web dengan mudah

• Wget contoh dan skrip

Gunakan wget:

wget -m -p -E -k www.example.com

Opsi menjelaskan:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

Anda harus melihat ScrapBook , ekstensi Firefox. Ini memiliki mode tangkap yang mendalam .

Internet Download Manager memiliki utilitas Site Grabber dengan banyak opsi - yang memungkinkan Anda mengunduh situs web apa pun yang Anda inginkan, seperti yang Anda inginkan.

1. Anda dapat mengatur batas ukuran halaman / file yang akan diunduh

2. Anda dapat mengatur jumlah situs cabang untuk dikunjungi

3. Anda dapat mengubah cara script / popup / duplikat berperilaku

4. Anda dapat menentukan domain, hanya di bawah domain itu semua halaman / file yang memenuhi pengaturan yang diperlukan akan diunduh

5. Tautan dapat dikonversi ke tautan offline untuk menjelajah

6. Anda memiliki template yang memungkinkan Anda memilih pengaturan di atas untuk Anda

Perangkat lunak ini tidak gratis - lihat apakah itu sesuai dengan kebutuhan Anda, gunakan versi evaluasi.

itsucks - itulah nama programnya!

Saya akan membahas buffering online yang digunakan browser ...

Biasanya sebagian besar peramban menggunakan cache perambanan untuk menyimpan file yang Anda unduh dari situs web sekitar sebentar sehingga Anda tidak perlu mengunduh gambar dan konten statis berulang-ulang. Ini dapat mempercepat beberapa hal dalam beberapa keadaan. Secara umum, sebagian besar cache browser dibatasi untuk ukuran yang tetap dan ketika mencapai batas itu, itu akan menghapus file tertua di cache.

ISP cenderung memiliki server caching yang menyimpan salinan situs web yang biasa diakses seperti ESPN dan CNN. Ini menyelamatkan mereka dari masalah memukul situs-situs ini setiap kali seseorang di jaringan mereka pergi ke sana. Ini dapat menghasilkan penghematan yang signifikan dalam jumlah permintaan yang digandakan ke situs eksternal ke ISP.

Saya suka Offline Explorer .
Ini adalah shareware, tetapi sangat bagus dan mudah digunakan.

WebZip adalah produk yang bagus juga.

Saya belum melakukan ini selama bertahun-tahun, tetapi masih ada beberapa utilitas di luar sana. Anda mungkin ingin mencoba Ular Web . Saya percaya saya menggunakannya bertahun-tahun yang lalu. Saya langsung ingat nama itu ketika saya membaca pertanyaan Anda.

Saya setuju dengan Stecy. Tolong jangan palu situs mereka. Sangat buruk.

Coba Browser BackStreet .

Ini adalah peramban offline yang kuat dan gratis. Program unduhan dan tontonan situs web multi-threading berkecepatan tinggi. Dengan membuat beberapa permintaan server secara bersamaan, BackStreet Browser dapat dengan cepat mengunduh seluruh situs web atau bagian dari sebuah situs termasuk HTML, grafik, Java Applet, suara dan file yang dapat ditentukan pengguna lainnya, dan menyimpan semua file dalam hard drive Anda, baik dalam format asli mereka, atau sebagai file ZIP terkompresi dan lihat offline.

Teleport Pro adalah solusi gratis lain yang akan menyalin semua dan semua file dari apa pun target Anda (juga memiliki versi berbayar yang memungkinkan Anda untuk menarik lebih banyak halaman konten).

DownThemAll adalah add-on Firefox yang akan mengunduh semua konten (file audio atau video, misalnya) untuk halaman web tertentu dalam satu klik. Ini tidak mengunduh seluruh situs, tetapi ini mungkin semacam pertanyaan yang dicari.

Untuk Linux dan OS X: Saya menulis ambil-situs untuk pengarsipan seluruh situs web ke file WARC . File WARC ini dapat diramban atau diekstraksi. grab-site memungkinkan Anda mengontrol URL mana yang dilewati menggunakan ekspresi reguler, dan ini dapat diubah ketika perayapan berjalan. Itu juga dilengkapi dengan seperangkat standar yang luas untuk mengabaikan URL sampah.

Ada dasbor web untuk memantau perayapan, serta opsi tambahan untuk melewatkan konten video atau tanggapan melebihi ukuran tertentu.

Kekuatan wget

Sementara wget sudah disebutkan sumber daya ini dan baris perintah sangat mulus saya pikir itu layak disebutkan: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Lihat kode ini dijelaskan pada menjelaskan kulit

FreeDownloadManager.org yang terhormat memiliki fitur ini juga.

Free Download Manager memilikinya dalam dua bentuk dalam dua bentuk: Site Explorer dan Site Spider :

Site Explorer
Site Explorer memungkinkan Anda melihat struktur folder situs web dan dengan mudah mengunduh file atau folder yang diperlukan.
HTML Spider
Anda dapat mengunduh seluruh halaman web atau bahkan seluruh situs web dengan HTML Spider. Alat ini dapat disesuaikan untuk mengunduh file dengan ekstensi yang ditentukan saja.

Saya menemukan Site Explorer berguna untuk melihat folder mana yang akan dimasukkan / dikecualikan sebelum Anda mencoba untuk mengunduh seluruh situs - terutama ketika ada seluruh forum yang bersembunyi di situs yang tidak ingin Anda unduh misalnya.

unduh HTTracker maka akan mengunduh situs web langkah-langkah yang sangat mudah diikuti.

tautan unduhan: http://www.httrack.com/page/2/

video yang membantu dapat membantu Anda: https://www.youtube.com/watch?v=7IHIGf6lcL4

Firefox dapat melakukannya secara native (setidaknya FF 42 dapat). Cukup gunakan "Simpan Halaman"

Saya percaya google chrome dapat melakukan ini pada perangkat desktop, cukup buka menu browser dan klik save webpage.

Perhatikan juga bahwa layanan seperti pocket mungkin sebenarnya tidak menyimpan situs web, dan karenanya rentan terhadap tautan busuk.

Terakhir, perhatikan bahwa menyalin konten situs web dapat melanggar hak cipta, jika berlaku.