Apakah ada ketergantungan antara Spark dan Hadoop ? Jika tidak, apakah ada fitur yang akan saya lewatkan saat menjalankan Spark tanpa Hadoop ?
Saya perlu menulis kode dengan python yang akan menghapus file yang diperlukan dari ember Amazon s3. Saya dapat terhubung ke bucket Amazon s3, dan juga untuk menyimpan file, tetapi bagaimana cara menghapus file?
Katakanlah saya memiliki mesin yang saya inginkan untuk dapat menulis ke file log tertentu yang disimpan di bucket S3. Jadi, mesin harus memiliki kemampuan menulis ke keranjang itu, tetapi, saya tidak ingin mesin memiliki kemampuan untuk menimpa atau menghapus file apa pun di keranjang itu...
Saya memiliki file teks yang disimpan di S3 yang merupakan tabel tab delimited. Saya ingin memuatnya ke dalam panda tetapi tidak dapat menyimpannya terlebih dahulu karena saya menjalankannya di server heroku. Inilah yang saya miliki sejauh ini. import io import boto3 import os import pandas as...
Pertanyaan yang cukup mendasar tetapi saya belum dapat menemukan jawabannya. Dengan menggunakan Transit, saya dapat "memindahkan" file dari satu bucket S3 di satu akun AWS ke bucket S3 lain di akun AWS lain, tetapi yang sebenarnya dilakukannya adalah mengunduh file dari yang pertama lalu...
Tutup. Pertanyaan ini tidak memenuhi pedoman Stack Overflow . Saat ini tidak menerima jawaban. Ingin memperbaiki pertanyaan ini? Perbarui pertanyaan agar sesuai dengan topik Stack Overflow. Tutup 1 tahun lalu . Perbaiki pertanyaan ini Saya...
AWS memiliki beberapa lokasi untuk penyimpanan dan instans EC2 untuk dijalankan dengan harga yang berbeda. Bagaimana saya bisa menentukan lokasi mana yang terbaik untuk wilayah tertentu. Apakah intuitif (lebih dekat ke wilayah layanan Anda adalah yang terbaik) atau adakah masalah keandalan...
Saya memiliki struktur folder berikut di S3. Apakah ada cara untuk menghapus semua file secara rekursif di bawah folder tertentu (katakanlah foo/bar1 or foo or foo/bar2/1..) foo/bar1/1/.. foo/bar1/2/.. foo/bar1/3/.. foo/bar2/1/.. foo/bar2/2/.. foo/bar2/3/..
Dalam proyek Node.js saya mencoba mendapatkan kembali data dari S3. Saat saya menggunakan getSignedURL, semuanya bekerja: aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); Parameter saya adalah: var params = { Bucket: "test-aws-imagery", Key:...
Saya ingin menyalin beberapa file dari keranjang produksi ke keranjang pengembangan setiap hari. Misalnya: Salin keranjang produksi / feed / feedname / tanggal ke developmentbucket / feed / feedname / date Karena file yang saya inginkan berada sangat dalam di struktur folder, memakan waktu...
Apakah ada yang tahu bagaimana melakukan ini? Sejauh ini saya belum dapat menemukan sesuatu yang berguna melalui Google. Saya benar-benar ingin menyiapkan repo lokal dan menggunakannya git pushuntuk menerbitkannya ke S3, idenya adalah untuk memiliki kontrol versi lokal atas aset tetapi...
Saya ingin memeriksa apakah ada kunci dalam bucket tertentu menggunakan Java. Saya melihat API tetapi tidak ada metode yang berguna. Saya mencoba menggunakan getObjecttetapi itu membuat pengecualian.
Jika saya memiliki sejuta gambar, apakah lebih baik menyimpannya di beberapa hierarki folder / sub-folder atau hanya membuang semuanya langsung ke dalam ember (tanpa folder apa pun)? Apakah membuang semua gambar ke dalam keranjang tanpa hierarki akan memperlambat operasi LIST? Apakah ada...
Saya membuat folder di s3 bernama "test" dan saya mendorong "test_1.jpg", "test_2.jpg" ke dalam "test". Bagaimana cara menggunakan boto untuk menghapus folder "test"?