Akan bagus untuk mengirim file besar ke AWS EC2

Latar Belakang:

Saya telah berjuang untuk menginstal server rstudio pada AWS EC2 selama beberapa waktu (sejak November). Itu seperti lapisan bawang yang terkelupas, selalu merupakan rintangan lain. Untuk pengguna windows dokumentasi pada AWS yang mereka posting sendiri mengerikan. Saya telah berhasil membuat instance rstudio, tetapi mengalami masalah, yang saya yakin ada jawaban yang mudah, tetapi saya tidak beruntung berhasil melakukannya dan saya telah mencoba banyak hal. Saya hanya mencoba mengunggah file ke rstudio, membacanya dan menyimpannya di suatu tempat. Mempertimbangkan membaca dalam file terlebih dahulu, saya memiliki masalah berikut.

Membaca dalam file:

Tombol unggah tidak akan menerima file besar. Untuk file kecil ini berfungsi dengan baik, tetapi apa pun yang memerlukan server untuk dianalisis tidak berfungsi melalui tombol ini. Saya juga mencoba melalui empat browser yang berbeda untuk melihat apakah itu masalah browser, bukan. File kecil bekerja tanpa masalah (misalnya 40kb).

Menempatkan file di dropbox lalu menyinkronkan dengan rstudio tidak berhasil. Sinkronisasi baik untuk file kecil (mis. 200kb), tetapi file GB tidak akan muncul, atau rusak.

Saya mencoba untuk terhubung melalui Winscp dan filezilla melalui dempul. Ini berhasil menjalankan perintah

sudo chown -R ubuntu /home/rstudio

sudo chmod -R 755 /home/rstudio

dan saya bisa mengunggah ke rstudio. Sayangnya setelah itu saya tidak bisa lagi mengakses instance. Saya bisa mengaksesnya melalui AWS, tetapi kemudian tidak bisa melewati layar login rstudio. Saya mencoba ini berkali-kali, restart dan pada banyak contoh berbeda. Saya juga menyewa seorang freelancer untuk membantu saya dan dia menjalankan beberapa perintah lain yang saya simpan salinannya untuk mengakses rstudio dengan cara yang sama. Berhasil file dapat diunggah (sangat lambat meskipun), tetapi kemudian akses masuk melalui browser ke contoh tidak lagi tersedia, jadi secara efektif mengambil contoh saya (saya bisa memulai contoh, hanya tidak memulai rstudio).

Saya juga sudah mencoba kode di dempul seperti

rsync -avz myHugeFile.csv [email protected]:

Tetapi mungkin saya tidak tahu bagaimana cara meletakkan lokasi myHugeFile.csv di komputer saya (saya sudah mencoba banyak hal), tetapi tidak berhasil.

Saya telah berhasil mengunggah ke folder tmp pada drive root AWs EC2 dan kemudian dapat menggunakan dempul untuk memindahkan file ke seberang, tetapi mengunggah file 10GB membutuhkan waktu 36 jam. Saya pikir ini tidak normal. Ketika file-file itu tiba, mereka jauh lebih kecil daripada aslinya dan mereka menjadi rusak.

Saya menggunakan AMI dari louis aslett di rstudio yang Anda dapatkan jika Anda mengetik rstudio di bawah AMI komunitas di platform amazon ketika saya mengatur instance saya.

Ini bukan masalah ukuran instance karena memiliki 244GB Ram instance besar dan yang 120GB kebanyakan.

Jika mungkin untuk mengunggah file besar ke dropbox dan memilikinya sejak dengan server rstudio, itu akan menjadi hebat (saat ini hanya file kecil yang disinkronkan). Atau bisa menggunakan tombol unggah. Atau cukup banyak solusi apa pun akan luar biasa. Saya telah membuat bucket S3 karena mungkin lebih mudah dengan cara ini, saya menduga bahwa amazon mungkin membatasi kemampuan untuk mengunggah ke EC2 melalui rute lain. Tapi itu sepertinya gila bagi saya.

Tolong beri tahu saya jika Anda memiliki pemikiran untuk membuat salah satu dari langkah-langkah ini bekerja.

Ok jadi saya menyadari apa yang sedang terjadi di sini. Ukuran direktori home default untuk AWS kurang dari 8-10GB terlepas dari ukuran instance Anda. Karena ini seperti mencoba mengunggah ke rumah maka tidak ada cukup ruang. Pengguna linux yang berpengalaman tidak akan jatuh ke dalam jebakan ini, tapi mudah-mudahan pengguna windows lain yang baru mengenal hal ini akan melihat ini. Jika Anda mengunggah ke drive lain pada instance maka ini dapat diselesaikan. Karena Louis Aslett Rstudio AMI berbasis di ruang 8-10GB ini maka Anda harus mengatur direktori kerja Anda di luar ini, direktori home. Tidak terlihat secara intuitif dari antarmuka server Rstudio. Sementara ini adalah forum tingkat lanjut dan ini adalah kesalahan pemula Saya berharap tidak ada yang menghapus pertanyaan ini karena saya menghabiskan waktu berbulan-bulan untuk ini dan saya pikir orang lain juga akan melakukannya.