Bagaimana cara efisien menggunakan S3 untuk membuat cadangan file secara bertahap?

Saya mengerti bagaimana rsync bekerja pada level tinggi, tetapi ada 2 sisi. Dengan S3 tidak ada daemon untuk dibicarakan - yah ada, tetapi pada dasarnya hanya HTTP.

Tampaknya ada beberapa pendekatan.

s3rsync (tapi ini hanya baut pada rsync ke s3). Mudah. Tidak yakin saya ingin bergantung pada sesuatu yang pihak ke-3. Saya berharap s3 hanya mendukung rsync.

Ada juga beberapa 'klon' rsync seperti duplikat yang mengklaim mendukung s3 tanpa mengatakan baut-on. Tetapi bagaimana ia bisa melakukan ini? Apakah mereka menyimpan file indeks secara lokal? Saya tidak yakin bagaimana itu bisa seefisien.

Saya jelas ingin menggunakan s3 karena murah dan dapat diandalkan, tetapi ada beberapa hal yang menjadi alat rsync, seperti mencadangkan direktori gambar raksasa.

Apa saja opsi di sini? Apa yang saya kehilangan dengan menggunakan duplikat + s3 bukan rsync + s3rsync + s3?

Karena pertanyaan ini terakhir dijawab, ada alat baris perintah AWS baru aws,.

Itu dapat menyinkronkan , seperti rsync, antara penyimpanan lokal dan s3. Contoh penggunaan:

aws s3 sync s3://mybucket /some/local/dir/

Jika lingkungan python sistem Anda diatur dengan benar, Anda dapat menginstal klien AWS menggunakan pip:

pip install awscli

Alat s3cmd memiliki syncopsi bagus . Saya menggunakannya untuk menyinkronkan cadangan lokal, menggunakan sesuatu seperti:

s3cmd sync --skip-existing $BACKUPDIR/weekly/ s3://MYBACKUP/backup/mysql/

The --skip-existingberarti tidak mencoba untuk checksum membandingkan file yang ada. Jika sudah ada file dengan nama itu, ia akan langsung melewatinya dan melanjutkan. Ada juga --delete-removedopsi yang akan menghapus file yang tidak ada secara lokal, tapi saya ingin tetap S3 bahkan yang sudah saya bersihkan secara lokal jadi saya tidak menggunakan ini.

Tidak ingin memberi tahu orang lain apa yang harus dilakukan tetapi bolehkah saya mengibarkan bendera untuk bermuka dua? atau solusi cadangan tambahan lainnya. Menyinkronkan semuanya sangat baik, tetapi jika Anda membuat cadangan setiap malam, apa yang terjadi jika Anda tidak melihat masalah selama dua hari? Jawaban: Sudah terlambat, file lokal Anda dan cadangan Anda adalah cermin satu sama lain dan tidak memiliki data yang Anda butuhkan. Anda benar-benar harus mempertimbangkan cadangan tambahan atau snapshot sehingga Anda dapat memulihkan ke waktu tertentu dan untuk melakukan ini secara efisien Anda memerlukan cadangan tambahan. Dan jika kehilangan data Anda adalah akhir dari skenario dunia maka simpan salinan di penyedia yang berbeda seperti yang Anda tidak pernah tahu, maka bisa hilang, diretas siapa tahu.

Saya menggunakan duplikat dan s3, baik-baik saja tetapi intensif CPU. Tapi itu memang incremental backup. Dalam keadaan darurat ketika Anda ingin mengembalikan dir atau file tertentu, seperti yang terakhir Rabu, atau Januari lalu, tanpa mengembalikan file lain pada partisi yang sama Anda memerlukan cadangan tambahan dan alat di mana Anda dapat meminta hanya file yang Anda butuhkan.

Saya memiliki cron, yang penuh setiap x bulan, jika tidak bertambah dan dihapus lebih lama dari x bulan untuk menjaga total penyimpanan s3 tetap turun, akhirnya status pengumpulan jadi saya dikirim setiap pagi dengan status. Anda perlu mengawasi secara teratur sehingga Anda melihat ketika cadangan Anda tidak berfungsi.

Dibutuhkan ruang temp lokal yang signifikan untuk menyimpan tanda tangan lokal sehingga mengatur dir temp dengan hati-hati. Ini backup / mnt, tidak termasuk berbagai dirs di dalam / mnt. Ini bagus untuk mencadangkan data, karena partisi sistem menggunakan pencitraan amazon atau alat snapshot.

Skrip PHP:

# Duplicity Backups

$exclude  = "--exclude /mnt/ephemeral ".
            "--exclude /mnt/logs ".
            "--exclude /mnt/service ".
            "--exclude /mnt/mail ".
            "--exclude /mnt/mysql ";

$key = "PASSPHRASE=securegpgpassphrase";

$tmp = "/mnt/mytempdir";

system("mkdir -p $tmp");

# Amazon

$aws = "AWS_ACCESS_KEY_ID=xxxxxx ".
       "AWS_SECRET_ACCESS_KEY=xxxxxx ";

$ops = "-v5 --tempdir=$tmp --archive-dir=$tmp --allow-source-mismatch --s3-european-buckets --s3-use-new-style --s3-use-rrs";
$target = " s3://s3-eu-west-1.amazonaws.com/mybucket";

# Clean + Backup

system("$key $aws /usr/bin/duplicity $ops --full-if-older-than 2M $exclude /mnt $target");
system("$key $aws /usr/bin/duplicity $ops remove-older-than 6M --force $target");
system("$key $aws /usr/bin/duplicity $ops cleanup --force --extra-clean $target");
system("$key $aws /usr/bin/duplicity $ops collection-status $target")

S3 adalah sistem penyimpanan objek tujuan umum yang memberikan fleksibilitas yang cukup bagi Anda untuk merancang bagaimana Anda ingin menggunakannya.

Saya tidak yakin dari pertanyaan Anda masalah dengan rsync (selain pengindeksan) atau masalah dengan alat 'pihak ke-3' yang Anda temui.

Jika Anda memiliki banyak file yang terstruktur dengan baik, Anda dapat menjalankan beberapa sinkronisasi s3 pada sub-folder Anda.

Orang-orang baik di Amazon juga memungkinkan Anda untuk melakukan impor / ekspor dari hard drive portabel Anda untuk transfer file besar ke S3 atau EBS - http://aws.amazon.com/importexport/ yang dapat Anda gunakan untuk unggahan pertama.

Lihat praktik terbaik Amazon s3 di sini - http://aws.amazon.com/articles/1904

Sejauh alat berbeda, coba mereka dan lihat mana yang paling cocok untuk Anda. Mengenai harga, ada pengurangan harga redundansi jika sesuai dengan kebutuhan Anda - http://aws.amazon.com/s3/pricing/

Rekomendasi umum - memiliki CPU multicore yang cepat dan pipa jaringan yang baik.

PEMBARUAN: Sebutkan tentang checksumming pada S3

Mengenai S3, menyimpan data dalam pasangan nilai kunci dan tidak ada konsep direktori. S3sync memverifikasi checksum (S3 memiliki mekanisme untuk mengirim checksum sebagai header untuk verifikasi - header Content-MD5). Tautan praktik terbaik menghubungkan bagian Integritas Data dengan detail. S3 memungkinkan Anda untuk mengirim / memverifikasi dan mengambil checksum. Ada banyak orang yang melakukan backup inkremental dengan bermuka dua. Meskipun tidak ada rsync yang berjalan pada S3, Anda dapat melakukan checksum seperti yang saya sebutkan di sini.

rsync adalah alat yang terbukti dan sebagian besar alat modern menggunakan algoritma yang sama atau pustaka rsync atau memanggil rsync secara eksternal.

Atau Anda dapat menggunakan minio client alias mc Menggunakan perintah 'mc mirror' akan melakukan pekerjaan itu.

$ mc mirror share/sharegain/ s3/MyS3Bucket/share/sharegain 

• mc: klien minio
• share / sharegain: direktori lokal
• s3: Alias ​​untuk https://s3.amazonaws.com
• MyS3Bucket: Ember S3 jarak jauh saya
• bagikan / bagikan: objek saya di s3

Anda dapat menulis skrip sederhana sebagai cronjob yang akan menjaga sinkronisasi pada interval periodik.

Semoga bermanfaat.

Saya tidak yakin apakah rsync yang benar cocok untuk Amazon.

Seperti yang saya pahami, algoritma rsync standar berarti klien menghitung hash untuk setiap blok file dan server menghitung hash untuk salinannya dan mengirimkan hash itu ke klien yang berarti klien dapat menentukan blok mana yang telah berubah dan perlu mengunggah.

Itu menyebabkan dua masalah bagi Amazon karena banyak hash yang harus dikirim melalui internet dan juga dibutuhkan kekuatan pemrosesan untuk menghitung semua hash yang akan meningkatkan biaya Amazon - yang mungkin mengapa mereka menyerahkannya kepada penyedia pihak ketiga yang dapat biaya tambahan untuk fitur itu.

Adapun klon, mereka jelas menyimpan hash di suatu tempat dan di suatu tempat dapat bervariasi tergantung pada klon. Mungkin bagi mereka untuk menyimpan hash sebagai objek terpisah per file di Amazon atau sebagai database yang disimpan di Amazon atau mereka dapat menyimpannya secara lokal dan jarak jauh.

Ada kelebihan dan kekurangan dalam melakukannya. Jika hash disimpan secara jarak jauh dalam file individual, maka bisa mahal untuk terus mengambilnya. Jika hash disimpan dalam basis data jarak jauh, maka basis data ini dapat menjadi besar dan bisa mahal untuk terus mengambil dan memperbaruinya. Jika hash disimpan secara lokal, maka ini membantu mengurangi biaya, tetapi menimbulkan komplikasi dan masalah lain.

(Tentu saja Amazon memiliki layanan lain, sehingga dimungkinkan untuk menyimpan basis data di Amazon DB)

Sebagai contoh, saya mencoba satu klon rsync awal beberapa tahun yang lalu. Ini tidak ditulis untuk memperhitungkan struktur harga Amazon dan mengeluarkan banyak http untuk mengambil hash dari setiap blok dan karena biaya Amazon untuk setiap get, itu berarti bahwa sementara bagian penyimpanan tagihan saya turun tajam, bagian transfer menggelembung.

Apa yang saya kehilangan dengan menggunakan duplikat + s3 bukan rsync + s3rsync + s3?

Anda kehilangan fakta bahwa dengan rsync Anda tahu Anda membandingkan file sumber dengan file cadangan Anda. Dengan duplikat dan klon lainnya, Anda membandingkan file sumber Anda dengan hash yang diambil saat cadangan dilakukan. Sebagai contoh, dimungkinkan untuk mengakses S3 secara langsung dan mengganti salah satu file-nya tanpa menghitung ulang hash atau memperbarui database hash.

Setelah membandingkan beberapa opsi yang disebutkan di utas ini, saya memutuskan untuk menggunakan S3fs. Ini memungkinkan Anda untuk memasang S3 sebagai sistem file lokal. Anda kemudian dapat melanjutkan dan menggunakan rsync dengan cara yang sudah Anda ketahui.

Ini adalah tutorial yang bagus untuk memulai: Amazon S3 dengan Rsync

Penulis sebelumnya menggunakan s3sync yang disebutkan, tetapi kemudian beralih ke opsi dengan S3Fs. Saya menyukainya karena saya juga memiliki folder cadangan lain yang dipasang secara lokal melalui SSHFS.