Mengikis situs dengan curl / wget menambahkan parameter ke setiap situs

1

Saya perlu mengikis situs web untuk semua situs dan menambahkan Paramater, misalnya

www.theSite.com/allpages?myPara=us

Sekarang yang saya dapatkan adalah wget --recursive untuk mendapatkan semua situs, tapi itu tidak menambahkan parameter dan isinya tidak berguna. Saya perlu melakukan ini di langkah ke-2:

curl http://theSite.com/allpages?myPara=us | grep -c MyString

Jadi intinya saya mencari String tertentu di seluruh situs web yang hanya dapat saya akses melalui HTTP.

lapangan mesh
sumber

Jawaban:

1

Saya berhasil sekarang dengan menggunakan kurung dan ikal seperti ini:

curl http://www.mySite.com/category1/category2/{+cat1,+cat2,+cat3,+cat4,+cat4}?myPara=us | grep -c myString

Tentu saja ini tidak akan membuat saya semua situs, tetapi orang bisa membuat skrip dengan wget, regex, koleksi dan loop.

lapangan mesh
sumber