Log lalu lintas peramban HTTP dan HTTPS, dekripsi yang terakhir

Apakah ada cara saya dapat menyimpan semua komunikasi browser HTTP dan HTTPS (termasuk permintaan, respons, header lengkap dan isi) ke file di komputer saya?

Komunikasi HTTPS harus disimpan didekripsi.

Idealnya saya akan mencari sesuatu seperti ekstensi untuk Firefox atau Google Chrome.

Itu harus bekerja di Linux.

HAR adalah Arsip HTTP, dan persis apa yang ingin Anda simpan (termasuk HTTPS yang tidak dienkripsi).

Untungnya ini sekarang adalah fitur dasar dari semua browser utama (itu bukan ketika Anda mengajukan pertanyaan). Tidak perlu lagi ekstensi pihak ketiga.

Di Firefox (v41 +):

• Mulai Alat Pengembang Firefox dalam mode Jaringan (Menu kanan atas> Pengembang> Jaringan, atau ctrl-shift-Q)
• Reproduksi skenario target
• Simpan tangkapan dengan mengklik kanan pada grid dan memilih "Simpan semua sebagai HAR"
• Ekspor hasil tangkapan ke file HAR

Perambah lain:

Di semua versi browser terbaru, Anda dapat menyimpan HAR dengan mudah:

https://toolbox.googleapps.com/apps/har_analyzer/

HTTPFox adalah ekstensi Firefox yang akan melakukan pekerjaan.

=== EDIT ===

Klik kanan panel permintaan dan klik "Salin semua baris". Kemudian Anda dapat menyimpannya ke editor yang Anda sukai - misalnya spreadsheet Openoffice. Silakan lihat gambar yang saya berikan.

Fiddler jelas sesuatu yang harus Anda pertimbangkan meskipun itu bukan perpanjangan tetapi aplikasi terpisah.

Saya menemukan jawaban ini ingin melakukan ini, dan tidak ada jawaban di sini yang cocok untuk saya karena saya perlu membuang badan tanggapan HTTPS, seperti OP. Jadi, bagi mereka yang mendarat di sini seperti saya, inilah yang saya temukan.

Saya akhirnya mendarat di mitmproxy , yang bukan ekstensi Firefox, tetapi tidak mencapai tujuan logging semua lalu lintas Firefox. Ini semua Python, jadi saya menginstalnya dengan pip install mitmproxy- gunakan paket palungan jika Anda mau.

Mulai dengan mitmproxyuntuk pengaturan awal / debugging, dan kemudian digunakan mitmdumpuntuk membuang aliran setelah saya berhasil dan disempurnakan.

Saya hanya mengatur Firefox untuk digunakan 127.0.0.1:8080sebagai server proxy (8080 menjadi port default mitmproxy), dan saya melihat semua lalu lintas Firefox saya datang melalui mitmproxy. Untuk mengaktifkan lalu lintas HTTPS, Anda harus menerima sertifikat yang dibuat mitmproxy - dengan pengaturan proxy, cukup buka "alamat ajaib" dari http://mitm.it di Firefox, klik tombol "Lainnya", centang kotak untuk mempercayai sertifikat, dan tekan OK.

Untuk membuang badan respons yang tidak terenkripsi, saya harus menggunakan skrip inline yang sangat sederhana :

from libmproxy.model import decoded

def response(context, flow):
    with decoded(flow.response):  # automatically decode gzipped responses.
        with open("body.txt","ab") as f:
            f.write(flow.response.content)

Intinya di sini - unduh sebagai save_response.pydan gunakan dengan mitmdump -s save_response.py. Badan tanggapan akan mulai menumpuk body.txt.

mitmproxy juga memiliki sejumlah filter berguna yang dapat Anda tentukan untuk mitmdump untuk mengambil apa yang Anda butuhkan.

httpFox, httpScoop (hanya Mac) dan httpWatch (IE, Firefox, windows saja) adalah semua alat yang saya gunakan untuk melakukan ini. Selain itu Anda juga dapat mencoba Fiddler (seperti yang disarankan sebelumnya) dan juga jika Anda menggunakan Mac Anda dapat mencoba Charles Proxy. Favorit pribadi saya adalah httpWatch (Anda dapat dengan mudah memfilter pada tajuk, konten, url dll), tetapi ini mahal sehingga mungkin bukan pilihan.

Anda mungkin juga ingin melihat proyek HAR (HAR singkatan dari HTTP Archive) dan merupakan pendekatan berbasis standar untuk mencatat transaksi http, header, konten dll. Sejumlah alat yang disebutkan dapat mengekspor file HAR untuk dilihat menggunakan HAR Viewer (yang akan Anda kenal jika Anda telah melihat fitur air terjun di Firebug). Bahkan, Anda bisa menggunakan Firebug untuk menghasilkan file / log ini untuk Anda juga menggunakan NetExport.

FWIW httpScoop adalah metode yang baik untuk debugging / pelacakan lalu lintas HTTP di jaringan nirkabel, saya menulis artikel tentang melakukan ini beberapa waktu yang lalu: http://blog.adtools.co.uk/trace-debug-mobile-application-http- permintaan-menggunakan-macos /

Wireshark dapat digunakan untuk menangkap paket jaringan, termasuk hal-hal di lapisan protokol http, dan menyimpannya ke komputer Anda. Itu juga dapat menangkap informasi https, tetapi saya ragu Anda dapat mengonfigurasinya untuk mendekripsi apa pun.