Bagaimana cara saya mengulangi setiap baris file teks dengan Bash ?

Dengan skrip ini:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

Saya mendapatkan output ini di layar:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(Nanti saya ingin melakukan sesuatu yang lebih rumit $pdari sekedar output ke layar.)

Variabel lingkungan SHELL adalah (dari env):

SHELL=/bin/bash

/bin/bash --version keluaran:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version keluaran:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

File peptides.txt berisi:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Salah satu cara untuk melakukannya adalah:

while read p; do
  echo "$p"
done <peptides.txt

Seperti yang ditunjukkan dalam komentar, ini memiliki efek samping memangkas spasi putih terkemuka, menafsirkan urutan backslash, dan melewatkan baris terakhir jika tidak ada linefeed terminasi. Jika ini masalah, Anda dapat melakukan:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

Khususnya, jika badan loop dapat membaca dari input standar , Anda dapat membuka file menggunakan deskriptor file yang berbeda:

while read -u 10 p; do
  ...
done 10<peptides.txt

Di sini, 10 hanyalah angka acak (berbeda dari 0, 1, 2).

cat peptides.txt | while read line 
do
   # do something with $line here
done

dan varian satu-baris:

cat peptides.txt | while read line; do something_with_$line_here; done

Opsi-opsi ini akan melewati baris terakhir file jika tidak ada umpan garis tertinggal.

Anda dapat menghindari ini dengan yang berikut:

cat peptides.txt | while read line || [[ -n $line ]];
do
   # do something with $line here
done

Opsi 1a: Loop sementara: Satu baris sekaligus: Pengalihan input

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

Opsi 1b: Sementara loop: Baris tunggal pada satu waktu:
Buka file, baca dari deskriptor file (dalam hal ini file deskriptor # 4).

#!/bin/bash
filename='peptides.txt'
exec 4<$filename
echo Start
while read -u4 p ; do
    echo $p
done

Ini tidak lebih baik daripada jawaban lain, tetapi merupakan satu lagi cara untuk menyelesaikan pekerjaan dalam file tanpa spasi (lihat komentar). Saya menemukan bahwa saya sering perlu satu baris untuk menggali daftar dalam file teks tanpa langkah tambahan menggunakan file skrip yang terpisah.

for word in $(cat peptides.txt); do echo $word; done

Format ini memungkinkan saya untuk meletakkan semuanya dalam satu baris perintah. Ubah bagian "echo $ word" menjadi apa pun yang Anda inginkan dan Anda dapat mengeluarkan beberapa perintah yang dipisahkan oleh titik koma. Contoh berikut menggunakan konten file sebagai argumen ke dua skrip lain yang mungkin Anda tulis.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

Atau jika Anda bermaksud untuk menggunakan ini seperti editor aliran (pelajari sed) Anda dapat membuang output ke file lain sebagai berikut.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

Saya telah menggunakan ini seperti yang ditulis di atas karena saya telah menggunakan file teks di mana saya membuatnya dengan satu kata per baris. (Lihat komentar) Jika Anda memiliki spasi yang tidak ingin Anda pisahkan kata-kata / kalimat Anda, itu akan menjadi sedikit lebih buruk, tetapi perintah yang sama masih berfungsi sebagai berikut:

OLDIFS=$IFS; IFS=$'\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

Ini hanya memberitahu shell untuk membagi pada baris baru saja, bukan spasi, lalu mengembalikan lingkungan kembali ke apa yang sebelumnya. Pada titik ini, Anda mungkin ingin mempertimbangkan untuk memasukkan semuanya ke dalam skrip shell daripada meremasnya menjadi satu baris.

Semoga berhasil!

Beberapa hal lagi yang tidak dicakup oleh jawaban lain:

Membaca dari file yang dibatasi

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

Membaca dari output perintah lain, menggunakan proses substitusi

while read -r line; do
  # process the line
done < <(command ...)

Pendekatan ini lebih baik daripada command ... | while read -r line; do ...karena loop sementara di sini berjalan di shell saat ini daripada subkulit seperti dalam kasus yang terakhir. Lihat posting terkait Variabel yang diubah dalam loop sementara tidak diingat .

Membaca dari input terbatas nol, misalnya find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

Terkait baca: BashFAQ / 020 - Bagaimana saya bisa menemukan dan dengan aman menangani nama file yang mengandung baris baru, spasi atau keduanya?

Membaca dari lebih dari satu file sekaligus

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

Berdasarkan jawaban @ chepner di sini :

-uadalah ekstensi bash. Untuk kompatibilitas POSIX, setiap panggilan akan terlihat seperti read -r X <&3.

Membaca seluruh file menjadi sebuah array (versi Bash sebelumnya ke 4)

while read -r line; do
    my_array+=("$line")
done < my_file

Jika file berakhir dengan baris yang tidak lengkap (baris baru hilang di bagian akhir), maka:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

Membaca seluruh file menjadi sebuah array (Bash versi 4x dan yang lebih baru)

readarray -t my_array < my_file

atau

mapfile -t my_array < my_file

Lalu

for line in "${my_array[@]}"; do
  # process the lines
done

• Lebih lanjut tentang shell builtin readdan readarrayperintah - GNU

• Lebih lanjut tentang IFS- Wikipedia

• BashFAQ / 001 - Bagaimana saya bisa membaca file (aliran data, variabel) baris demi baris (dan / atau bidang-demi-bidang)?

Posting terkait:

• Membuat array dari file teks di Bash
• Apa perbedaan antara pendekatan Anda untuk membaca file yang hanya memiliki satu baris?
• Bash saat membaca loop sangat lambat dibandingkan dengan kucing, mengapa?

Gunakan loop sementara, seperti ini:

while IFS= read -r line; do
   echo "$line"
done <file

Catatan:

1. Jika Anda tidak mengatur dengan IFSbenar, Anda akan kehilangan lekukan.

2. Anda hampir selalu harus menggunakan opsi -r dengan membaca.

3. Jangan membaca baris dengan for

Misalkan Anda memiliki file ini:

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

Ada empat elemen yang akan mengubah arti dari output file yang dibaca oleh banyak solusi Bash:

1. Baris kosong 4;
2. Ruang depan atau belakang pada dua garis;
3. Mempertahankan makna garis individual (yaitu, setiap baris adalah catatan);
4. Jalur 6 tidak diakhiri dengan CR.

Jika Anda ingin file teks baris demi baris termasuk baris kosong dan mengakhiri baris tanpa CR, Anda harus menggunakan loop sementara dan Anda harus memiliki tes alternatif untuk baris terakhir.

Berikut adalah metode yang dapat mengubah file (dibandingkan dengan apa yang catkembali):

1) Kehilangan baris terakhir dan spasi terdepan dan tertinggal:

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

(Jika Anda melakukannya while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt, Anda mempertahankan spasi di depan dan di belakang tetapi masih kehilangan baris terakhir jika tidak diakhiri dengan CR)

2) Menggunakan proses substitusi dengan catakan membaca seluruh file dalam satu tegukan dan kehilangan arti dari setiap baris:

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

(Jika Anda menghapus "dari $(cat /tmp/test.txt)Anda membaca file kata demi kata daripada satu tegukan. Juga mungkin bukan apa yang dimaksudkan ...)

Cara paling kuat dan paling sederhana untuk membaca file baris demi baris dan mempertahankan semua spasi adalah:

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

Jika Anda ingin menghapus ruang utama dan perdagangan, hapus IFS=bagian tersebut:

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

(File teks tanpa terminasi \n, sementara cukup umum, dianggap rusak di bawah POSIX. Jika Anda dapat mengandalkan trailing, \nAnda tidak perlu || [[ -n $line ]]dalam whileloop.)

Lebih banyak di BASH FAQ

Jika Anda tidak ingin bacaan Anda rusak oleh karakter baris baru, gunakan -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

Kemudian jalankan skrip dengan nama file sebagai parameter.

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

Berikut ini adalah contoh kehidupan nyata saya bagaimana untuk loop garis dari output program lain, periksa substring, drop tanda kutip ganda dari variabel, gunakan variabel itu di luar loop. Saya kira cukup banyak yang menanyakan pertanyaan ini cepat atau lambat.

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

Deklarasikan variabel di luar loop, atur nilai dan gunakan di luar loop yang harus dilakukan dengan sintaks <<< "$ (...)" . Aplikasi perlu dijalankan dalam konteks konsol saat ini. Kutipan di sekitar perintah menjaga baris arus keluaran baru.

Lingkaran yang cocok untuk substring kemudian membaca nama = pasangan nilai , membagi bagian sisi kanan dari karakter = terakhir , menjatuhkan kutipan pertama, menjatuhkan kutipan terakhir, kami memiliki nilai bersih untuk digunakan di tempat lain.

Ini datang agak terlambat, tetapi dengan pemikiran bahwa itu dapat membantu seseorang, saya menambahkan jawabannya. Juga ini mungkin bukan cara terbaik. headperintah dapat digunakan dengan -nargumen untuk membaca n baris dari awal file dan juga tailperintah dapat digunakan untuk membaca dari bawah. Sekarang, untuk mengambil baris ke-n dari file, kita menuju n baris , menyalurkan data ke ekor hanya 1 baris dari data yang disalurkan.

   TOTAL_LINES=`wc -l $USER_FILE | cut -d " " -f1 `
   echo $TOTAL_LINES       # To validate total lines in the file

   for (( i=1 ; i <= $TOTAL_LINES; i++ ))
   do
      LINE=`head -n$i $USER_FILE | tail -n1`
      echo $LINE
   done

@ Peter: Ini bisa berhasil untuk Anda-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

Ini akan mengembalikan output-

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL