scp dan kompres pada saat yang sama, tidak ada penyimpanan perantara

Apa cara kanonik untuk:

• scp file ke lokasi yang jauh
• kompres file dalam perjalanan ( taratau tidak, satu file atau seluruh folder, 7zaatau sesuatu yang lebih efisien)
• lakukan hal di atas tanpa menyimpan file perantara

Saya kenal dengan pipa shell seperti ini:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

dasarnya:

• menggulung seluruh folder menjadi satu tar
• melewatkan data melalui stdoutuntuk stdinprogram kompresi
• menerapkan kompresi agresif

Apa cara terbaik untuk melakukannya melalui sshtautan, dengan pendaratan file pada sistem file jarak jauh?

Saya lebih suka tidak sshfsme - mount.

Ini tidak bekerja:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

karena:

/dev/fd/63: not a regular file

Ada banyak cara untuk melakukan apa yang Anda inginkan. Yang paling sederhana adalah menggunakan pìpe:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

Di sini, kompresi sedang ditangani oleh tarpanggilan gzip( zbendera) mana. Anda juga dapat menggunakan compress( Z) dan bzip( j). Untuk 7z, lakukan ini:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

The terbaik cara, bagaimanapun, adalah mungkin rsync.

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsyncmemiliki cara terlalu banyak pilihan. Ini benar-benar layak dibaca melalui mereka tetapi mereka menakutkan pada pandangan pertama. Yang Anda pedulikan dalam konteks ini adalah:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

Jadi, dalam kasus Anda, Anda ingin sesuatu seperti ini:

rsync -z MyBackups user@server:/path/to/backup/

File-file akan dikompresi saat dalam perjalanan dan tiba di dekompresi di tujuan.

Beberapa pilihan lagi:

• scp itu sendiri dapat memampatkan data

   -C      Compression enable.  Passes the -C flag to ssh(1) to
           enable compression.
  
  $ scp -C source user@server:/path/to/backup
  

• Mungkin ada cara untuk mendapatkan rsyncdan 7zabermain bagus tetapi tidak ada gunanya melakukannya. Manfaatnya rsyncadalah hanya akan menyalin bit yang telah berubah antara file lokal dan remote. Namun, perubahan lokal kecil dapat menghasilkan file terkompresi yang sangat berbeda sehingga tidak ada gunanya menggunakan rsyncini. Itu hanya memperumit masalah tanpa manfaat. Cukup gunakan langsung sshseperti yang ditunjukkan di atas. Jika Anda benar - benar ingin melakukan ini, Anda dapat mencoba dengan memberikan subshell sebagai argumen rsync. Di sistem saya, saya tidak bisa menjalankannya 7zakarena tidak memungkinkan Anda untuk menulis data yang dikompresi ke terminal. Mungkin implementasi Anda berbeda. Coba sesuatu seperti ( ini tidak berhasil untuk saya ):

  rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
    user@server:/path/to/backup
  

• Poin lain adalah bahwa 7z tidak boleh digunakan untuk cadangan di Linux . Seperti yang tercantum pada 7zhalaman manual:

  JANGAN GUNAKAN format 7-zip untuk tujuan pencadangan di Linux / Unix karena:
  - 7-zip tidak menyimpan pemilik / grup file.

Saya pikir perintah ini akan melakukan trik

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

EDIT: versi sebelumnya dengan dua opsi "f" yang salah.

Sekarang, pertama-tama Anda harus menjalankan perintah ini dari host target. Dan detail yang harus dijelaskan:

1. ssh user @ host akan membuka koneksi ke mesin host, dari mana data akan ditransfer.
2. cd / path / ke / data akan dibawa ke direktori tempat data yang diperlukan disimpan
3. tar zc * akan memulai kompresi dan menaruhnya ke STDOUT
4. Sekarang pipa (|) akan menyalurkan STDOUT dari sumber ke STDIN tujuan di mana "tar zx" berjalan dan terus-menerus mendekompresi aliran data yang berasal dari sumber.

Seperti yang Anda lihat perintah ini memampatkan saat-terbang dan menghemat bandwidth. Anda dapat menggunakan kompresi lain juga untuk hasil yang lebih baik, tetapi ingat, kompresi dan dekompresi membutuhkan siklus CPU.

Referensi

Perbaikan kecil untuk jawaban dkbhadeshiya : Anda tidak harus melakukannya cd dir, cukup tentukan direktori kerja ke targantinya:

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

Anda juga dapat mengunggah direktori dengan cara yang sama:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"