Bagaimana cara membuat file dari terminal berulang satu set kata tanpa batas?

Bagaimana cara membuat file dari terminal berulang satu set kata tanpa batas? Saya membutuhkannya untuk membuat file besar untuk keperluan parsing seperti ukuran 2-4GB. Saat ini saya menyalin garis tempel secara manual ke file yang sama untuk menambah ukuran.

Ada cara mudah untuk mengulangi satu baris berkali-kali:

yes we have no bananas | head -n 10000 > out.txt

akan menghasilkan out.txt yang berisi 10.000 baris semua mengatakan "kami tidak punya pisang".

Untuk membatasi output untuk jumlah yang tepat byte, penggunaan head's -cpilihan bukan -n. Misalnya, ini menghasilkan tepat 10 kB teks:

yes we have no bananas | head -c 10000 > out.txt

Saya tidak bisa merekomendasikan tanpa batas mengulangi teks, tapi Anda bisa membuat file ~ 2GB teks berulang-ulang dengan python seperti begitu ...

python3 -c 'with open("bigfile", "w") as f: f.write(("hello world "*10+"\n")*2*10**7)'

Itu akan mencetak "halo dunia" 10 kali dan membuat baris baru, dan ulangi itu 20.000.000 kali, menulis hasilnya ke file bigfile. Jika semua karakter Anda adalah ASCII, maka masing-masing adalah satu byte, jadi hitung dengan tepat tergantung pada apa yang ingin Anda tulis ...

CPU Anda mungkin dimiliki. Saya kehabisan RAM jika saya mencoba melakukan lebih dari 10.000.000 baris ...

_{Saya menjalankan pemanggang roti}

Perl memiliki xoperator yang hebat:

$ perl -e 'print "foo\n" x 5'
foo
foo
foo
foo
foo

Jadi, sebagai solusi sederhana, Anda bisa menulis baris Anda beberapa juta kali. Misalnya, perintah ini membuat file 3G:

perl -e 'print "This is my line\n" x 200000000' > file

Jika Anda perlu menentukan ukuran pasti (2 GiB dalam hal ini), Anda dapat melakukan:

perl -e 'use bytes; while(length($str)<2<<20){ $str.="This is my line\n"} print "$str\n"' > file

• Masukkan set kata yang akan diulang dalam file misalnya source.txt. Dapatkan ukuran source.txt, dalam byte misalnya dengan:

   stat -c '%s' source.txt
  

• Tentukan ukuran file tujuan misalnya destination.txt, 2 GB atau 4 GB atau apa pun. Konversi ukuran dalam byte.

• Membagi ukuran file tujuan dengan ukuran file sumber. bashtidak dapat melakukan aritmatika floating point, tetapi tidak diperlukan dalam kasus ini.

• Gunakan forkonstruksi untuk mengulang cat source.txtoperasi kali hasil divisi. Ini akan menjadi perkiraan terdekat dari ukuran file tujuan yang bisa Anda peroleh dengan pengulangan. Output dari operasi disimpan dalam destination.txt.

Misalnya, dengan asumsi source.txt30 byte, dan kami ingin membuat file 2 GB, kami perlu:

for ((i=0; i<=((16777216/30)); i++)); do cat source.txt; done >destination.txt

Di sini saya menetapkan batas atas oleh ((16777216/30)) pada saat inisialisasi; Anda bisa mendapatkan hasilnya dan menaruhnya di sini juga.

Operasi akan memakan waktu; semakin besar source.txt, semakin sedikit waktu yang dibutuhkan.

Anda juga bisa menggunakan while-loop.

Contoh: Konten foo.txt(Ini adalah sumber Anda):

foo
bar
foobar

bar.txtkosong (Ini adalah file target Anda). Anda sekarang dapat menemukan loop berikut untuk menulis konten foo.txtbeberapa kali menjadi bar.txt:

while [ $(stat --format "%s" bar.txt) -lt 150 ] 
do 
    cat foo.txt >> bar.txt
done

Penjelasan:

• stat --format "%s" bar.txtmenampilkan ukuran bar.txtdalam byte.
• while [ $(stat --format "%s" bar.txt) -lt 150 ] tindakan berikut akan diulangi sampai ukuran target (dalam hal ini 150 byte) tercapai.
• cat foo.txt >> bar.txttambahkan konten foo.txtkebar.txt

pertama-tama jalankan perintah:

dd if=/dev/urandom of=file.txt bs=2048 count=10

akan membuat file di jalur ukuran bs * menghitung byte acak, dalam kasus kami 2048 * 10 = 20Kb. yang dapat diubah sesuai kebutuhan.

cat - > file.txt

Perintah ini mengalihkan STDIN ke file, jadi Anda harus memasukkan dua baris dan kemudian tekan Ctrl + D. Maka Anda perlu menjalankan perintah berikut:

for i in {1..n}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Di mana n adalah bilangan bulat. Ini akan membuat file dengan 2 ^ (n +1) baris di dalamnya, dengan menduplikasi dua baris asli Anda. Jadi untuk membuat file dengan 16 baris yang akan Anda lakukan:

for i in {1..3}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Berikut ini beberapa angka untuk Anda mulai:

n=15 will give you 65536 lines (if the original two lines were 'hello' and 'world' the file will be 384Kb)
n=20 will give you 2097152 lines (12Mb file with 'hello' and 'world' as the two starting lines)
n=25 will give you 67108864 lines (384Mb file with 'hello' and 'world' as the two starting lines)

FIFO mungkin adalah yang Anda cari. Alih-alih memanggil program Anda dengan file yang diberikan, Anda dapat mengikat hasil dari perintah shell untuk itu melalui proses subtitusi dan program akan melihat hasilnya sebagai file plaintext. Keuntungannya di sini adalah bahwa Anda tidak lagi dibatasi oleh ruang disk Anda, sehingga Anda dapat mencapai ukuran file yang tidak mungkin sebaliknya, asalkan program Anda tidak perlu buffer seluruh file terlebih dahulu dan hanya dapat menguraikannya baris demi baris. Misalnya, menggunakan balasan @hobbs untuk menghasilkan konten:

wc -c <(yes we have no bananas | head -n 5000000000)

Ini meminjamkan saya file 95 gigabytes (menurut wc) tanpa biaya dalam ruang HDD dan hampir tidak ada RAM, hanya cukup untuk buffer apa perintah kembali sebelum dibaca. Ini hampir mendekati "tanpa batas" seperti yang akan Anda dapatkan.