Bagaimana menemukan semua link / halaman di situs web

Apakah mungkin untuk menemukan semua halaman dan tautan di situs web mana pun? Saya ingin memasukkan URL dan membuat pohon direktori dari semua tautan dari situs itu?

Saya telah melihat HTTrack tetapi itu mengunduh seluruh situs dan saya hanya membutuhkan pohon direktori.

Periksa pemeriksa tautan —itu akan merayapi situs (sambil mematuhi robots.txt) dan menghasilkan laporan. Dari sana, Anda dapat membuat skrip solusi untuk membuat pohon direktori.

Jika Anda memiliki konsol pengembang (JavaScript) di browser Anda, Anda dapat mengetikkan kode ini di:

urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href);

Dipersingkat:

n=$$('a');for(u in n)console.log(n[u].href)

Alternatif lain mungkin

Array.from(document.querySelectorAll("a")).map(x => x.href)

Dengan Anda $$(bahkan lebih pendek

Array.from($$("a")).map(x => x.href)

Jika ini adalah pertanyaan pemrograman, saya sarankan Anda menulis ekspresi reguler Anda sendiri untuk mengurai semua konten yang diambil. Tag target adalah IMG dan A untuk HTML standar. Untuk JAWA,

final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";

ini bersama dengan kelas Pattern dan Matcher harus mendeteksi awal dari tag. Tambahkan tag LINK jika Anda juga menginginkan CSS.

Namun, ini tidak semudah yang mungkin Anda pikirkan sebelumnya. Banyak halaman web tidak berformat baik. Mengekstrak semua tautan secara terprogram yang dapat "dikenali" oleh manusia sangatlah sulit jika Anda perlu memperhitungkan semua ekspresi tidak beraturan.

Semoga berhasil!

function getalllinks($url) {
    $links = array();
    if ($fp = fopen($url, 'r')) {
        $content = '';
        while ($line = fread($fp, 1024)) {
            $content. = $line;
        }
    }
    $textLen = strlen($content);
    if ($textLen > 10) {
        $startPos = 0;
        $valid = true;
        while ($valid) {
            $spos = strpos($content, '<a ', $startPos);
            if ($spos < $startPos) $valid = false;
            $spos = strpos($content, 'href', $spos);
            $spos = strpos($content, '"', $spos) + 1;
            $epos = strpos($content, '"', $spos);
            $startPos = $epos;
            $link = substr($content, $spos, $epos - $spos);
            if (strpos($link, 'http://') !== false) $links[] = $link;
        }
    }
    return $links;
}

coba kode ini ....