Bagaimana cara mengunggah file besar ke S3 pada koneksi yang tidak stabil?

9

Saya memiliki banyak file (antara 500MB dan 7GB) yang perlu saya unggah ke ember S3. Koneksi saya sangat rapuh.

Saya mencoba mengunggah file 500MB melalui s3cmdtetapi waktu habis setelah itu 91% selesai (yang memakan waktu 16 jam)

Saya mencoba dengan CyberDuck, tetapi hal yang sama terjadi. Gagal setelah 20% atau lebih, dan ketika saya mencoba mencoba kembali transfer, itu dimulai dari awal. CyberDuck seharusnya memiliki dukungan multi bagian, tapi saya kira tidak ...

Saya dapat membagi file menjadi file yang lebih kecil seperti ini: Bagaimana cara membagi file .zip menjadi beberapa segmen? , tapi saya lebih suka tidak kecuali itu satu-satunya pilihan saya. Apa program bagus yang bisa saya gunakan yang memungkinkan saya mengunggah file besar ke S3 dengan dukungan resume?

internet-connection upload amazon-s3 pengguna2254
sumber

Jawaban:

6

Saya baru saja mencoba menggunakan s3tools (s3cmd-1.5.0-rc1). Dapatkan petunjuk ini dari FAQ mereka http://s3tools.org/kb/item13.htm . Lihat di bawah.

Apakah s3cmd mendukung unggahan multi-bagian?

Ya, versi terbaru s3cmd mendukung unggahan Amazon S3 multipart.

Upload multi bagian secara otomatis digunakan ketika file yang akan diunggah lebih besar dari 15MB. Dalam hal ini file dipecah menjadi beberapa bagian, dengan masing-masing bagian berukuran 15MB (bagian terakhir bisa lebih kecil). Setiap bagian kemudian diunggah secara terpisah dan kemudian direkonstruksi di tujuan ketika transfer selesai.

Dengan fitur baru ini, jika suatu pengunggahan suatu bagian gagal, ia dapat dimulai kembali tanpa mempengaruhi bagian mana pun yang sudah diunggah.

Ada dua opsi yang terkait dengan unggahan multi-bagian di s3cmd. Mereka:

--disable-multipart

Nonaktifkan unggahan multi bagian untuk semua file

dan

--multipart-chunk-size-mb = SIZE

Ukuran setiap potongan unggahan multi bagian. File yang lebih besar dari SIZE diunggah secara otomatis sebagai multithreaded-multipart, file yang lebih kecil diunggah menggunakan metode tradisional. SIZE dalam Mega-Bytes, ukuran chunk default adalah 15MB, ukuran chunk minimum yang diijinkan adalah 5MB, maksimum 5GB.

Jadi ketika saya mengunggah saya memilih ukuran potongan terkecil. Anda akan melihat di bawah pemisahan dan melanjutkan pengunggahan.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Lalu aku melanjutkan.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
f01
sumber
2

Saya percaya pada Cyberduck di jendela transfer, Anda dapat mengklik kanan dan memilih resume.

Jika itu tidak berhasil, Cloudberry mendukung melanjutkan unggahan

ernie
sumber
Untuk beberapa alasan di Cyberduck, resume saya tidak berfungsi untuk multi-bagian S3. Ada petunjuk?
f01
2

Anda dapat menggunakan FileZilla Pro untuk mentransfer file ke dan dari bucket S3. FileZilla Pro mendukung unggahan multi-bagian dan jika gagal akan melanjutkan transfer.

Sebagai catatan, ia hadir dengan banyak fitur lain: dukungan file besar, transfer massal, filter, perbandingan direktori, pencarian file jarak jauh, drag & drop, konfigurasi batas kecepatan.

Saya anggota tim FileZilla Pro.

Pelajari lebih lanjut di https://filezillapro.com dan di https://youtube.com/c/FileZillaPro

josuegomes
sumber
Harap dicatat bahwa jika Anda dengan cara apa pun berafiliasi dengan produk, Anda harus mengungkapkannya dalam jawaban Anda.
confetti
@ confetti, maaf saya tidak tahu itu. Saya tidak dapat menemukan sesuatu yang spesifik dalam bantuan atau dalam kode etik. Saya sebenarnya mengira itu dilarang. Tambahkan informasi.
josuegomes
Tidak masalah, saya juga tidak dapat menemukannya di teks bantuan jadi mungkin itu adalah sesuatu yang harus ditambahkan oleh para mod, tapi itu pasti diperbolehkan! Bahkan mungkin lebih baik secara umum karena orang tahu mereka dapat meminta sesuatu yang spesifik untuk perangkat lunak dalam komentar dan menerima semacam jawaban "resmi". :)
confetti