Bagaimana cara mengekstrak semua tautan eksternal halaman web dan menyimpannya ke file?

Bagaimana cara mengekstrak semua tautan eksternal halaman web dan menyimpannya ke file?

Jika Anda memiliki alat baris perintah yang bagus.

Anda membutuhkan 2 alat, lynx dan awk , coba ini:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

Jika Anda membutuhkan garis penomoran, gunakan perintah nl , coba ini:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

Berikut ini adalah peningkatan pada jawaban lelton: Anda tidak perlu awk sama sekali karena lynx punya beberapa opsi berguna.

lynx -listonly -nonumbers -dump http://www.google.com.br

jika Anda ingin nomor

lynx -listonly -dump http://www.google.com.br

1. Gunakan Beautiful Soup untuk mengambil halaman web yang dimaksud.
2. Gunakan awk untuk menemukan semua URL yang tidak mengarah ke domain Anda

Saya akan merekomendasikan Beautiful Soup melalui teknik menggores layar.

jika baris perintah bukan suatu kekuatan Anda dapat menggunakan ekstensi Copy All Links Firefox.