Memindahkan data melintasi lingkungan

0

Saya memiliki situasi yang sangat timpang saat ini tentang memindahkan data melintasi lingkungan di tempat kerja.

Data-data ini adalah dump database, indeks Solr atau gambar sederhana. Proses kami adalah: "tarball data" + "rsync / scp data ke lingkungan lain / mesin" + "buka paket data".

Ukuran data tersebut bervariasi dari beberapa Gigabytes hingga maksimal ~ 1 Terabytes.

Beberapa proses "scripted" lainnya masih membutuhkan pemrosesan manual.

Pokoknya masalah utama adalah waktu untuk mengemas / membongkar dan rsync data.

Mempertimbangkan kinerja dan "automatisme", adakah strategi yang lebih baik untuk memindahkan data?

linux rsync scp data-transfer Acak
sumber

Jawaban:

1

Anda bisa memasang sistem file jarak jauh dengan sshfs misalnya.

sshfs user@remotehoste:<remotepath> <localpath>

Kemudian Anda dapat menghubungkan data di mana Anda membutuhkannya atau mengaksesnya di sana.

ln -s <mountpont/file> <targetlocation>

Tapi itu tergantung pada apa yang ingin Anda lakukan dengan data ini.

mstruebing
sumber
Saya sedang memikirkan solusi yang sama. Sebagian besar data "hanya baca". Itu berarti mereka akan diakses hanya untuk dibaca (jadi tidak ada tulisan).
Acak
Maka saya pikir ini akan menjadi solusi terbaik, lebih baik daripada mengemas / membongkar setiap kali dan jika dibaca saja Anda tidak akan mendapatkan masalah dengan itu.
mstruebing
bagaimana data sebagian besar "hanya baca"? Anda memiliki izin untuk mengubah data atau Anda tidak memiliki izin (yaitu hanya baca).
Ramhound
Maksudnya apa yang dia lakukan dengan data dan bukan hak akses yang saya pikir ...
mstruebing
@Ramhound sebagai mstruebing mengatakan maksud saya adalah bagaimana data digunakan seperti gambar yang perlu ditampilkan atau indeks Solr untuk mencari.
Acak
0

Kemungkinan lain tergantung pada apa yang Anda coba lakukan adalah mereplikasi data di tingkat blok - misalnya menggunakan DRBD atau MARS pada LVM dan menggunakan snapshotting untuk PITR dan / atau memodifikasi data dari salinan gambar - hanya perlu diketahui bahwa snapshot LVM memperlambat IO turun cukup banyak pada subsistem yang sedang snapshotted.

davidgo
sumber