Cara mendapatkan URL dari file menggunakan skrip shell

Saya punya file yang terdiri dari URL . Saya mencoba mendapatkan URL dari file itu menggunakan skrip shell.

Dalam file tersebut, URL-nya adalah seperti ini:

('URL', 'http://url.com');

Saya mencoba menggunakan yang berikut ini:

cat file.php | grep 'URL' | awk '{ print $2 }'

Ini memberikan output sebagai:

'http://url.com');

Tapi saya hanya perlu mendapatkan url.comvariabel di dalam skrip shell. Bagaimana saya bisa mencapai ini?

Sesuatu seperti ini?

grep 'URL' file.php | rev | cut -d "'" -f 2 | rev

atau

grep 'URL' file.php | cut -d "'" -f 4 | sed s/'http:\/\/'/''/g

Untuk menghapus http: //.

Anda dapat melakukan semuanya dengan sederhana grep:

grep -oP "http://\K[^']+" file.php 

Dari man grep:

   -P, --perl-regexp
          Interpret  PATTERN  as  a  Perl  regular  expression  (PCRE, see
          below).  This is highly experimental and grep  -P  may  warn  of
          unimplemented features.
   -o, --only-matching
          Print  only  the  matched  (non-empty) parts of a matching line,
          with each such part on a separate output line.

Triknya adalah menggunakan \Kyang, dalam Perl regex, artinya discard everything matched to the left of the \K. Jadi, ekspresi reguler mencari string yang dimulai dengan http://(yang kemudian dibuang karena \K) diikuti oleh sebanyak mungkin non- 'karakter. Dikombinasikan dengan -o, ini berarti hanya URL yang akan dicetak.

Anda juga bisa melakukannya di Perl secara langsung:

perl -ne "print if s/.*http:\/\/(.+)\'.*/\$1/" file.php\

Coba ini,

awk -F// '{print $2}' file.php | cut -d "'" -f 1

Meninjau kembali ini, dan mencoba untuk tidak menggunakan apa pun selain Bash shell, solusi satu baris lainnya adalah:

while read url; do url="${url##*/}" && echo "${url%%\'*}"; done < file.in > file.out

Di mana file.in berisi daftar url 'kotor' dan file.out akan berisi daftar URL 'bersih'. Tidak ada dependensi eksternal dan tidak perlu menelurkan proses atau subkulit baru. Penjelasan asli dan skrip yang lebih fleksibel berikut. Ada ringkasan yang bagus dari metode ini di sini , lihat contoh 10-10. Ini adalah substitusi parameter berdasarkan pola di Bash.

Memperluas gagasan:

src="define('URL', 'http://url.com');"
src="${src##*/}"        # remove the longest string before and including /
echo "${src%%\'*}"      # remove the longest string after and including '

Hasil:

url.com

Tidak perlu memanggil program eksternal apa pun. Selanjutnya, skrip bash berikut get_urls.sh,, memungkinkan Anda untuk membaca file secara langsung atau dari stdin:

#!/usr/bin/env bash

# usage: 
#     ./get_urls.sh 'file.in'
#     grep 'URL' 'file.in' | ./get_urls.sh

# assumptions: 
#     there is not more than one url per line of text.
#     the url of interest is a simple one.

# begin get_urls.sh

# get_url 'string'
function get_url(){
  local src="$1"
  src="${src##*/}"        # remove the longest string before and including /
  echo "${src%%\'*}"      # remove the longest string after and including '
}

# read each line.
while read line
do
  echo "$(get_url "$line")"
done < "${1:-/proc/${$}/fd/0}"

# end get_urls.sh

Jika semua baris berisi URL:

awk -F"'|http://" '{print $5}' file.php 

Jika hanya beberapa baris yang berisi URL:

awk -F"'|http://" '/^define/ {print $5}' file.php 

Tergantung pada baris lain Anda mungkin perlu mengubah ^defineregex

Sederhana:

php -r 'include("file.php"); echo URL;'

dan jika Anda perlu menghapus 'http: //', maka:

php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!'

Begitu:

myURL=$(php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!')

Jika Anda memerlukan bagian tertentu dari URL yang Anda perlukan untuk mempersempit terminologi Anda, URL adalah semua yang berikut, terkadang lebih:

URL := protocol://FQDN[/path][?arguments]

FQDN := [hostname.]domain.tld

bagi saya, grepjawaban lain diberikan informasi string kembali setelah tautan.

Ini berhasil bagi saya untuk hanya mengeluarkan url:

egrep -o "(http(s)?://){1}[^'\"]+"