Bagaimana cara menggunakan AWS S3 CLI untuk membuang file ke stdout di BASH?

Saya memulai skrip bash yang akan mengambil jalur di S3 (sebagaimana ditentukan ke perintah ls ) dan membuang konten dari semua objek file ke stdout. Pada dasarnya saya ingin mereplikasi cat /path/to/files/*kecuali S3, misalnya s3cat '/bucket/path/to/files/*'. Kecenderungan pertama saya melihat opsi adalah menggunakan cpperintah ke file sementara dan kemudian catitu.

Adakah yang mencoba ini atau serupa atau apakah sudah ada perintah yang tidak saya temukan?

membuang konten dari semua objek file ke stdout.

Anda dapat melakukannya jika Anda meneruskan -untuk tujuan aws s3 cpperintah. Misalnya $ aws s3 cp s3://mybucket/stream.txt -,.

Apa yang Anda coba lakukan adalah seperti ini? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Jika Anda menggunakan versi AWS CLI yang tidak mendukung penyalinan ke "-" Anda juga dapat menggunakan / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Anda juga mungkin menginginkan --quietbendera untuk mencegah baris ringkasan seperti berikut ini ditambahkan ke keluaran Anda:

unduh: s3: //mybucket/stream.txt ke ../../dev/stdout

Anda dapat mencoba menggunakan s3streamcat , ini mendukung format bzip, gzip dan xz juga.

Pasang dengan

sudo pip install s3streamcat

Pemakaian:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Ah ha!

https://pypi.python.org/pypi/s3cat/1.0.8

Saya menulis lebih banyak karakter untuk memenuhi persyaratan panjang.

Jika Anda ingin melakukannya menggunakan BASH, Anda harus memanggil aplikasi eksternal seperti AWS Command-Line Interface (CLI). Itu tidak memiliki setara CAT, jadi Anda perlu menyalin file secara lokal dan kemudian CAT.

Sebagai alternatif, Anda dapat menggunakan / menulis aplikasi yang secara langsung memanggil AWS SDK, yang tersedia untuk bahasa seperti Python, PHP, Java. Dengan menggunakan SDK, konten file dapat diambil di dalam memori dan kemudian dikirim ke stdout.