Mendorong File Besar ke 500+ Komputer

24

Saya bekerja dengan tim untuk mengelola 500-600 komputer Windows 7 sewaan untuk konferensi tahunan. Kami memiliki sejumlah besar data yang perlu disinkronkan ke komputer ini, hingga 1 TiB. Komputer dibagi menjadi beberapa ruangan dan terhubung melalui sakelar gigabit yang tidak dikelola. Kami menyiapkan komputer ini sebelumnya dengan instalasi dan konfigurasi Windows, ditambah file apa pun yang kami miliki sebelum mengirim gambar dasar untuk direplikasi oleh perusahaan rental. Setiap tahun, kami memiliki pendekatan penyaji di situs dengan banyak pertunjukan data yang perlu didorong ke ruangan tempat mereka akan mempresentasikan. Kadang-kadang mereka hanya memiliki beberapa file yang berukuran kecil, seperti slide PDF, tetapi dapat terkadang jauh lebih besar> 5 GiB.

Strategi kami saat ini untuk mendorong file-file ini menggunakan skrip batch dan RoboCopy. Untuk dorongan besar, kami benar-benar menggunakan klien BitTorrent untuk menghasilkan file torrent, dan kemudian kami menggunakan batch-RoboCopy untuk mendorong torrent ke folder pada mesin jarak jauh yang sedang dipantau oleh klien BT yang diinstal. Sering kali, data ini perlu segera didorong dengan jendela waktu kecil. Kami memiliki beberapa mesin di ruang kontrol yang identik dengan mesin di lantai yang kami gunakan untuk dorongan ini.

Kami kadang-kadang memiliki kebutuhan untuk menjalankan program pada mesin jarak jauh, dan kami saat ini menggunakan batch dan PSexec untuk menangani tugas ini.

Kami akan senang dapat menanggapi dorongan terakhir ini dengan "maaf, kesalahan Anda sendiri", tetapi itu tidak akan terjadi. Metode BT telah memungkinkan kami untuk memiliki waktu respons yang jauh lebih cepat, tetapi seluruh proses batch bisa berantakan ketika ada beberapa pekerjaan yang didorong. Kami menggunakan Enterprise Ghost untuk proses lain, dan itu tidak berfungsi dengan baik dalam skala sebesar ini, ditambah lagi itu sangat mahal untuk tugas setahun sekali seperti ini.

EDIT: Ada persyaratan sulit bahwa mesin jarak jauh di lantai menjalankan Windows. Mesin kontrol tidak memiliki persyaratan OS keras. Saya benar-benar ingin menjauh dari Multicast karena komplikasi dengan router hulu. Apakah Multicast atau BitTorrent cara yang lebih baik untuk melanjutkan ini? Apakah ada protokol lain yang mungkin berfungsi lebih baik?

synchronization multicast files bittorrent WMIF
sumber
3
Sebagai pertanyaan yang ditulis dengan baik, saya merasa sedih untuk mengatakan bahwa Pertanyaan Belanja di Luar Topik pada salah satu situs Stack Exchange . Lihat T&J sulit, mari Belanja dan FAQ untuk lebih jelasnya.
Chris S
I would really like to stay away from Multicast because of complications with upstream routers.dapatkah Anda menjelaskan mengapa?
Zoredache
2
Sejujurnya selain menggali solusi multicast, proses BitTorrent dan PSExec buatan sendiri Anda terdengar seperti yang terbaik yang dapat Anda lakukan. Anda mungkin ingin membungkus beberapa PowerShell di sekitarnya demi / otomatisasi, tapi itu tentang saran terbaik yang bisa saya berikan kepada Anda ...
voretaq7
@ Zoredache- Jujur, itu sebagian karena saya tidak punya cukup pengalaman dengan multicast. Saya telah berurusan dengan Ghost dan multicast, dan belum benar-benar keluar dengan hasil yang sangat baik. Peralatan hulu milik fasilitas yang kami kontrak, dan kami telah berurusan dengan beberapa kelompok IT yang cukup sulit di beberapa lokasi. Saya tidak berharap ada staf mereka yang tahu apa itu multicast.
WMIF
@ voretaq7 - Saya telah mempertimbangkan untuk meletakkan antarmuka di atas struktur kita, tapi saya akan kesulitan melakukannya dengan PowerShell. Sangat menyakitkan bagi saya untuk belajar PS, terutama karena itu perilaku yang sangat berbeda dari bahasa yang lebih terstruktur. Jika saya meletakkan antarmuka di atasnya, kemungkinan besar akan berada di C #.
WMIF

Jawaban:

12

Anda benar-benar menginginkan Program Transfer File Multicast: UFTP , dengan dokumentasi yang layak dan ekstensi gaya proxt untuk NAT / router traversal juga.

Chris S
sumber
Saya masih mencari dokumentasi untuk tautan yang Anda berikan, tetapi saya belum melihat penyebutan hal-hal multicast tingkat bawah. Maksud saya, apakah ini masih mengandalkan titik pertemuan multicast yang akan didirikan pada beberapa router di rantai? Saya mengandalkan lokasi untuk menyediakan gateway saya, jadi saya tidak memiliki router pusat saya sendiri yang dapat menyediakan fungsi ini. Apakah UFTP memiliki beberapa cara untuk meniru itu dalam perangkat lunak?
WMIF
Ini adalah jenis hasil yang sering saya dapatkan ketika berhadapan dengan multicast, dan mengapa saya menyatakan bahwa saya ingin menjauh darinya. serverfault.com/questions/56487/…
WMIF
Saya tidak terbiasa dengan perangkat lunak atau perangkat keras dari pertanyaan itu, tetapi saya tidak mengalami masalah seperti itu di pengaturan saya. Multicast akan berjalan pada kecepatan klien yang paling lambat, jadi jika Anda memiliki "strata" kecepatan klien yang berbeda, Anda mungkin ingin menjalankan beberapa sesi multicast untuk setiap strata (meskipun tidak memengaruhi waktu penyelesaian akhir, hanya memungkinkan komputer lebih cepat untuk menyelesaikannya) lebih cepat). Sakelar menengah dan router harus mendukung multicast, proxy dapat mengurangi tingkatannya, tetapi jika Anda menginginkan kinerja, Anda memerlukan infrastruktur jaringan yang andal.
Chris S
Sakelar yang terlibat untuk infrastruktur pertanyaan ini semuanya tidak dikelola. Router akan berbeda untuk setiap lokasi, dan saya tidak dapat menjamin mereka mendukung multicast. Apakah ada cara saya bisa mendapatkan router saya sendiri menggantung ke samping, tetapi masih terlibat dengan bagian multicast itu? Saya bertanya karena saya pikir itu tidak mungkin.
WMIF
Manajemen tidak secara langsung mempengaruhi dukungan switching untuk multicast. Semua switch Ethernet 1GB diperlukan untuk mendukung Multicast (meskipun yang lama dan yang murah mengimplementasikannya sebagai broadcast, yang menyelesaikan pekerjaan); Switch lama biasanya sudah melakukannya. Kurangnya dukungan router adalah mengapa Anda memerlukan pengaturan proxy (satu untuk setiap segmen jaringan yang terisolasi multicast). Jelas menggunakan router yang mendukung multicast akan menjadi yang paling mudah, tetapi mengkonfigurasi proxy tidak buruk (kecuali ada sejumlah besar dari mereka).
Chris S
5

Anda mungkin ingin melihat pembunuhan

Pembunuhan adalah metode menggunakan Bittorrent untuk mendistribusikan file ke sejumlah besar server dalam lingkungan produksi. Hal ini memungkinkan untuk penyebaran skala dan cepat di lingkungan ratusan hingga puluhan ribu server di mana sistem distribusi terpusat tidak akan berfungsi

.

Pembunuhan dikembangkan oleh orang-orang di twitter , dan mereka menggunakannya setiap hari untuk mendistribusikan file.

Jens Timmerman
sumber
4

Solusi baru mungkin muncul: BitTorrent Sync

Sunting nanti: Sebenarnya hari ini saya mungkin akan merekomendasikan asisten git-annex atau sinkronisasi tetapi ada banyak alternatif

PTman
sumber
Bukan hanya satu tapi yang sangat bagus dalam kasus penggunaan ini saya pikir!
Argeman
Saya setuju. Saya menemukan ini di /. dan saya sedang menyiapkan beberapa skenario pengujian untuk melihat apakah itu akan berfungsi sebaik kedengarannya.
WMIF
Saya baru saja melakukan tes skala besar dengan BT Sync, dan menemukan bahwa ia menggunakan 239.192.0.0 untuk lalu lintas siaran isic multicast. Saya tidak memiliki kontrol pada infrastruktur jaringan sehingga saya tidak dapat menganalisis sepenuhnya, tetapi ini menyebabkan lonjakan nyata dalam lalu lintas internet keluar. Dikombinasikan dengan beberapa masalah umum sinkronisasi file ketidakcocokan, dan itu menyebabkan cukup banyak masalah yang saya harus mematikannya. Sayangnya karena ia bekerja dengan indah pada skala yang lebih kecil kurang dari 50 komputer.
WMIF
1

Saya mungkin punya ide untuk Anda yang akan membantu. Maafkan saya karena saya tidak sepenuhnya mengerti mengapa ini harus begitu rumit, tetapi jika kebutuhan Anda adalah untuk membuatnya tetap sederhana bagi pengguna akhir dan belum membuat data cepat dan mudah dijangkau di dalam LAN, mungkin Anda bisa menggunakan Perangkat NAS. Saya memiliki Synology DS1812 + dapat RSYNC dengan drive Synology lain atau berbagai perangkat yang mampu RSYNC, ia memiliki aplikasi yang mampu torrent sedikit yang disebut "Download Station", saya tahu Anda dapat mengunduh file torrent dari bay drive dan saya percaya Anda juga dapat membuat atau memposting file torrent dengan aplikasi itu untuk memungkinkan orang lain mengunduh file yang mereka butuhkan. Ini memiliki aplikasi untuk perangkat seluler baik Apple maupun Android. Itu juga dapat melakukan transfer FTP. Ruang drive ini dapat memberi Anda kemampuan untuk mengirim file dengan cepat kemudian membubarkannya di antara LAN dengan cepat dan mudah. Saya sarankan menempatkan data di dalam LAN hanya untuk membuatnya akses lebih cepat bagi pengguna LAN, tetapi keindahan perangkat NAS ini adalah bahwa Anda dapat menempatkan mereka di mana saja secara online selama mereka memiliki koneksi internet yang cepat. Mungkin salah satu perangkat NAS Synology canggih akan cocok untuk kebutuhan Anda.

Synology memiliki antarmuka virtual yang dapat Anda lihat untuk memberi Anda ide yang lebih baik jika ini akan berguna bagi Anda. Saya akan menempelkan tautan di bawah ini ke antarmuka virtual

http://www.synology.com/products/dsm_livedemo.php?lang=us

Perangkat ini juga memberi orang kemampuan mengakses data mereka melalui antarmuka web atau aplikasi perangkat seluler.

Saya harap ini membantu dan seperti yang saya katakan, maafkan saya jika saya tidak mengerti pertanyaan dengan benar.

Frank R
sumber
1
Saya tidak yakin bagaimana itu lebih baik daripada apa yang dia lakukan sekarang. WMIF tidak mau harus menunggu pengguna untuk mulai mendapatkan data sendiri; / timnya diharapkan untuk melakukan pra-tahap datafiles ke mesin saat tersedia bagi mereka.
mfinni
@finni benar. Tugasnya adalah memastikan bahwa file yang diberikan kepada kita semua dimuat ke komputer lantai konferensi sebelum para peserta menginjakkan kaki ke ruangan.
WMIF