Peningkatan kinerja atau alternatif S3fs?

11

Saya sudah mencoba menggunakan s3fs di server EC2 tetapi sangat lambat. Saya menghabiskan 5 jam terakhir mengunggah 100MB file kecil.

Apakah ada yang bisa saya lakukan untuk meningkatkan kinerja atau itu sesuatu yang terkait dengan S3fs? Jika tidak, apa alternatif yang bisa saya gunakan?

amazon-ec2 s3fs MB.
sumber
tentukan file kecil, 1K? 500bytes? 1MB?
thinice
sekitar ~ 200K ...
MB.
Tergantung pada kebutuhan penyimpanan Anda, Anda mungkin hanya ingin menggunakan EBS, kecuali jika Anda membutuhkan akses dari sistem lain secara bersamaan, dalam hal ini menyiapkan nas virtual dengan EBS mungkin masih menjadi pilihan yang lebih baik.
Pelacak1

Jawaban:

7

S3FS mungkin bukan pilihan terbaik untuk sejumlah besar file yang lebih kecil. Overhead dengan S3FS juga cukup tinggi. Saya sarankan menggunakan sesuatu seperti S3Curl

Anda bahkan bisa mendapatkan transfer paralel. Hanya ingat itu tidak akan pernah cepat seperti penyimpanan EBS / lokal.

Jika Anda perlu memilikinya sebagai penyimpanan 'mountable', satu-satunya alternatif untuk S3FS yang saya tahu adalah S3Backer atau s3ql

es tipis
sumber
1
Saya mencari sesuatu yang bisa saya mount sebagai sistem file.
MB.
Ada pemikiran s3ql?
ewwhite
Saya akan mencoba S3Backer dan S3Sql. Terima kasih.
MB.
5 jam sangat lambat untuk ~ 500, 200KB file bahkan dengan S3FS. Sesuatu yang lain mungkin menjadi faktor dalam, saya tidak mengetahui adanya merdu S3FS yang akan membantu
mengencerkan
6

Saya hanya membandingkan riofs dibandingkan dengan s3fs. Kasus pengujian saya adalah skrip bash yang relatif sederhana yang menjalankan pngquant pada setiap .png yang ditemukannya. Pada testbucket dengan ~ 70 gambar di mana ~ 20 di mana png (tersebar di banyak subdirektori, yang kemungkinan memperlambat segalanya) hasilnya adalah:

s3fs: 3m54
riofs: 15.9s

Jadi untuk riof testcase ini ~ 15x lebih cepat! Pengaturannya juga sangat mudah, meskipun dokumennya agak singkat.

Mengenai fakta bahwa skrip masih mengambil 15.9s: itu tidak sangat efisien, juga benar-benar menjalankan pngquant pada png adalah proses intensif cpu.

Milo de Vries
sumber
Sayangnya riofs gagal denganAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.
lrkwz
2

Hanya menambahkan riof ke dalam campuran. Saya tidak bisa melihat patokan untuk saat ini tetapi ada masalah / permintaan yang bisa dilakukan siapa pun.

f01
sumber
2

Saya baru saja merilis v0.0.1 dari https://github.com/kahing/goofys yang sebagian dimotivasi oleh masalah kinerja di s3fs. Speedup pembuatan file adalah 3-6x dan waktu ke byte pertama adalah 58x. Selamat datang!

khc
sumber
2
Pada 2019 - Goofys adalah pilihan yang disarankan. Riotfs belum diperbarui untuk sementara waktu.
timofey.com
1

Saya menggunakan [1] dan itu sangat bagus. Ini banyak perintah dan membuat akses aws dan s3 jauh lebih mudah.

  1. http://timkay.com/aws/
Amit
sumber
1
Selamat Datang di Kesalahan Server! Sementara ini secara teoritis dapat menjawab pertanyaan, akan lebih baik untuk memasukkan bagian-bagian penting dari jawaban di sini, dan menyediakan tautan untuk referensi.
Scott Pack
1

Saya membandingkan s3fs dengan riofs, dan hampir beralih karena kinerjanya yang lebih baik. Masalahnya adalah riofs masih belum diperbarui untuk tanda tangan v4, yang berarti tidak akan bekerja dengan ember s3 Frankfurt atau Cina. Menurut pemiliknya, pembaruan sedang dalam proses. Jika Anda tidak menggunakan Frankfurt atau Cina, riofs adalah pilihan yang lebih baik.

Steve
sumber
Juga tidak berfungsi dari eu-central-1
lrkwz
1

Ini agak tua tetapi dapat membantu yang tiba di sini.

Saya menggunakan aws cli dan kerjanya sangat bagus (3 Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/
mariomol
sumber