Dapatkah saya menggunakan rsync untuk membuat cadangan di Amazon S3

17

Saya telah membeli beberapa ruang dari evbackup yang memberi saya FTP, rsync dan SSH. Tetapi saya juga telah membaca bahwa Amazon S3 juga dapat digunakan untuk cadangan.

Jadi saya benar-benar bingung apakah Amazon memberikan akses FTP untuk mengunggah file ke cadangan.

Bagaimana saya bisa mengunduh file-file itu.

Saya membaca situs mereka berkali-kali tetapi tidak dapat memahami cara kerja sistem mereka. Saya hanya ingin membuat cadangan direktori home pengguna saya

backup ftp amazon-s3 Fatamorgana
sumber

Jawaban:

24

Tidak, Anda tidak dapat menggunakannya rsyncuntuk mentransfer file ke Amazon. Ia menggunakan protokolnya sendiri untuk layanan ini. Tetapi Anda dapat mengakses penyimpanan mereka melalui layanan pihak ketiga, seperti www.s3rsync.com , maka Anda akan dapat menggunakannya rsync, dan data Anda akhirnya akan ditransfer ke penyimpanan S3.

Atau Anda dapat menggunakan utilitas khusus yang dirancang untuk penyimpanan S3. Ada: s3sync , s3command , s3cp , tarsnap (tarsnap adalah layanan pihak ketiga, seperti s3rsync).

Rsync-seperti alat lain, duplicity, mendukung penyimpanan S3 sebagai backend serta banyak backends cadangan lainnya, termasuk RackSpace Cloud File (layanan penyimpanan awan lain, mirip dengan Amazon S3 harga).

Cadangkan ke S3:

duplicity /home/me s3+http://bucketname/prefix

atau ke File Cloud Rackspace:

duplicity /home/me cf+http://container_name
sastanin
sumber
terima kasih untuk itu, saya juga tidak bisa mengerti model data mereka. Saya memeriksa harga mereka dan mereka selalu menyatakan bandwidth. seperti 0,18 sen per GB transfer data. Misalkan saya mengunggah data 50GB di sana untuk cadangan itu saja dan kemudian melakukan nothiing. Lalu berapa biaya mereka jika saya tidak melakukan transfer. saya tidak dapat menemukan di mana mereka staate berapa banyak ruang yang mereka berikan seperti $ 50 untuk hard disk 50GB
Mirage
@Moorage: Amazon mengenakan biaya untuk penyimpanan (dari $ 0,14 / GB per bulan), dan transfer ($ 0,1 / GB untuk transfer masuk). Jadi untuk 50 GB Anda membayar $ 7 / bulan jika Anda tidak mengakses data ini. Ada juga RackSpace Cloud Files yang merupakan layanan serupa.
sastanin
bermuka dua terlihat sangat bagus. Saya berharap saya akan melihat itu sebelum menulis klon rsync saya sendiri. Jika bermuka dua agak terlalu rumit untuk Anda, lihat pembungkus "rsync-like" saya yang sederhana untuk boto: github.com/seedifferently/boto_rsync
Seth
1
PS Saya sendiri belum pernah menggunakan duplikat, tetapi salah satu teman saya melaporkan cadangan yang rusak. Gunakan dengan hati-hati.
sastanin
Anda juga dapat mencoba klien minio [ github.com/minio/mc ] alias mc. Anda dapat menggunakan perintah [mirror mc] untuk mirror folder lokal Anda dengan bucket S3.
user52692
5

Antarmuka baris perintah resmi Amazon bekerja dengan baik untuk saya. Itu dapat menyinkronkan dari lokal ke ember S3, dan juga menyinkronkan dari ember S3 kembali ke file lokal.

1) pasang antarmuka baris perintah Amazon, dari https://aws.amazon.com/cli/

2) dari shell,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Opsi yang lebih bermanfaat seperti --dryrun dan --delete (to mirror) terdaftar di http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

jmnben
sumber
4

Anda dapat memasang ember secara lokal menggunakan s3fs dan kemudian menggunakan rsync untuk menyalin ke titik pemasangan itu.

GJ.
sumber
2
Kedengarannya menyenangkan, tetapi pasti akan membaca secara lokal untuk membandingkan hash, yang mengalahkan tujuan rsync ... Tidak?
David Fraser
0

Jungle Disk adalah cara mudah untuk mencadangkan file di Amazon S3 (berlangganan termasuk akun S3, tetapi Anda dapat menggunakan akun AWS lainnya). Anda mungkin juga ingin melihat Super Fleksibel (hanya perangkat lunak).

paradroid
sumber