Mencerminkan situs web di belakang formulir masuk

10

Versi pendek:

  • Saya ingin mengambil salinan offline URL yang mencakup gambar HTML + CSS + JS + lengkap dan menyimpannya secara lokal, menjaga struktur dan konten file dari situs asli.
  • Saya mengalami masalah dengan alat yang dapat saya temukan (mis. Ekstensi Firefox "Simpan Lengkap", HTTrack, wget, Teleport Pro) sebagian karena URL berada di belakang formulir login.

Versi yang lebih panjang:

Saat bekerja pada aplikasi saya, saya sering ingin mengambil versi HTML + CSS + JS + gambar offline lengkap untuk dikirim ke desainer tempat saya bekerja, yang membuat modifikasi dan mengirimkannya kembali. Saya kemudian menerapkan perubahan ke aplikasi.

Ini ternyata jauh lebih efisien daripada membuatnya menavigasi kode kita dengan aplikasi live, tetapi ada satu halangan - saya tidak dapat menemukan aplikasi mirroring yang nyaman.

Ekstensi Firefox seperti "Simpan Selesai" sudah memiliki cookie masuk, jadi jangan pedulikan mereka berada di belakang formulir login, tetapi mereka memotong-motong file yang disimpan secara lokal sehingga tidak memungkinkan untuk bekerja dengannya.

Alat mirroring seperti wget atau Teleport Pro tidak mendukung formulir login kami.

HTTrack, bagaimanapun, seharusnya dapat berjalan dalam mode proxy untuk mendeteksi info login, tetapi saya tidak pernah bisa membuatnya berfungsi. Sebagai cadangan, ia dapat menerima cookie yang saya masukkan ke dalam file cookies.txt, tetapi saya selalu membutuhkan waktu berjam-jam untuk melakukan ini dengan andal.

Adakah alat, ekstensi browser, dll. Yang dapat melakukan ini? Sumber terbuka, komersial - apa pun. Jika saya telah menyalahgunakan HTTrack dan itu sebenarnya sepele untuk dilakukan - itu jawaban yang bagus juga.

orip
sumber

Jawaban:

7

Dengan HTTrack Anda dapat menggunakannya menggunakan file cookies.txt saat mengunduh. Saya telah menggunakannya untuk berhasil mencerminkan situs moodle.

TheLQ
sumber
Terima kasih - Saya pernah melakukan itu sebelumnya dengan HTTrack, tetapi karena alasan tertentu saya perlu beberapa kali mencoba membuatnya berfungsi, walaupun saya tidak dapat melihat alasannya. Apakah Anda pernah mendapatkan dukungan autentikasi formulir bawaan untuk berfungsi? Itu tidak pernah berfungsi untuk situs saya. httrack.kauler.com/help/CatchURL_tutorial
orip
2
Apa yang saya lakukan adalah login dengan browser saya dan mengekspor file cookies.txt, menambahkan halaman logout ke daftar hitam, dan membiarkannya berjalan. Butuh saya beberapa kali mencoba karena kebodohan moodle, tapi saya berhasil
TheLQ
5

Saya berhasil melakukan ini dengan WinHTTrack . Anda dapat mengikuti prosedur normal untuk mengambil situs web, dengan dua pengaturan kecil yang diubah:

  1. Di Chrome, buka Dev Tools, lalu masuk ke situs web yang perlu Anda tangkap. Di tab Jaringan, klik pada halaman HTML yang Anda minta untuk menemukan cookie sesi Anda (nama ini akan berbeda tergantung pada kerangka back-end yang digunakan). Tempatkan ini ke dalam HTTrack di bawah "Tambahan HTTP Header".

  2. Pastikan juga string agen pengguna Anda cocok, karena terkadang sesi diblokir jika string agen pengguna diubah.

    Login cookie sesi ke HTTrack

  3. Mulai mengunduh situs. Hasilnya harus sama seperti jika Anda login.

Simon Timur
sumber
3

Sudahkah Anda mencoba Offline Explorer ?

Saya ingat sesuatu seperti itu akan memungkinkan Anda untuk masuk, sehingga menyimpan cookie untuk permintaan akibat dan akan melakukan sisanya. Tidak yakin untuk 100% karena saya sudah lama menggunakannya.

Pablo
sumber
Luar biasa, sepertinya versi Pro mendukung POST ke dalam formulir, saya akan memeriksanya
orip
Butuh beberapa saat untuk mengetahuinya, dan dokumentasinya jarang, tetapi saya menyadari bahwa saya dapat menggunakan browser berbasis IE yang tertanam untuk masuk ke dalam formulir dan kemudian memilih "Tambahkan tautan yang diklik berikutnya sebagai proyek". Fitur "penyimpanan otomatis" juga bagus, meskipun kadang-kadang mengacaukan form saya. Akan eval selama 30 hari, bisa jadi apa yang saya cari.
orip
2

Teleport Pro memungkinkan login dan kata sandi digunakan.

Saat Anda memulai Wisaya Proyek Baru Anda akan sampai pada titik di mana ia memberi Anda opsi itu (saya pikir itu ada di layar opsi ke-3).

Dan bahkan jika Anda melewatkannya, Anda dapat mengakses opsi itu lagi.

Di jendela utama (setelah melalui Project Wizard) klik kanan proyek Anda (ikon folder kecil menampilkan URL yang Anda coba unduh, pada panel kiri) dan pilih opsi terakhir Starting Address Propertiesdan Anda akan disajikan dengan layar opsi tempat Anda dapat menentukan login dan kata sandi pengguna untuk digunakan di situs itu.

Pembantu
sumber
Ini adalah pertanyaan kuno, tetapi pro teleport mendukung auth http , tidak memasukkan data ke dalam bentuk POST.
Nama Palsu