Hadoop adalah proyek sumber terbuka Apache yang menyediakan perangkat lunak untuk komputasi terdistribusi yang andal dan dapat diskalakan. Inti terdiri dari sistem file terdistribusi (HDFS) dan pengelola sumber daya (YARN). Berbagai proyek sumber terbuka lainnya, seperti Apache Hive menggunakan Apache Hadoop sebagai lapisan persistensi.
Saat ini saya mengonfigurasi hadoop pada server yang menjalankan CentOs . Ketika saya menjalankan start-dfs.shatau stop-dfs.sh, saya mendapatkan kesalahan berikut: PERINGATAN util.NativeCodeLoader: Tidak dapat memuat pustaka-hadoop asli untuk platform Anda ... menggunakan kelas builtin-java di...
Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 4 tahun yang lalu .
Saya mencoba memahami hubungan jumlah core dan jumlah eksekutor ketika menjalankan pekerjaan Spark di BENANG. Lingkungan pengujian adalah sebagai berikut: Jumlah node data: 3 Spesifikasi mesin simpul data: CPU: Core i7-4790 (# core: 4, # utas: 8) RAM: 32GB (8GB x 4) HDD: 8TB (2TB x...
Apa manfaat menggunakan Hadoop atau HBase atau Hive ? Dari pemahaman saya, HBase menghindari penggunaan pengurangan peta dan memiliki penyimpanan berorientasi kolom di atas HDFS. Hive adalah antarmuka mirip sql untuk Hadoop dan HBase . Saya juga ingin tahu bagaimana Hive dibandingkan dengan Babi...
Saya ingin membaca CSV dalam percikan dan mengubahnya sebagai DataFrame dan menyimpannya dalam HDFS dengan df.registerTempTable("table_name") Saya telah mencoba: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Kesalahan yang saya dapatkan: java.lang.RuntimeException:...
Saya menginstal Spark menggunakan panduan AWS EC2 dan saya dapat meluncurkan program dengan baik menggunakan bin/pysparkscript untuk sampai ke percikan percikan dan juga dapat melakukan Quick Start quide berhasil. Namun, saya tidak bisa selama hidup saya mencari cara untuk menghentikan semua...
Karakteristik Apache Parket adalah: Menggambarkan sendiri Format kolom Tidak tergantung bahasa Dibandingkan dengan Avro, Sequence Files, RC File dll. Saya ingin ikhtisar dari format. Saya sudah membaca: Bagaimana Impala Bekerja dengan Format File Hadoop , ini memberikan beberapa wawasan...
Cara menyalin file dari HDFS ke sistem file lokal. Tidak ada lokasi fisik file di bawah file, bahkan direktori. bagaimana saya bisa memindahkan mereka ke lokal saya untuk validasi lebih lanjut. Saya dicoba melalui
Ini semacam pertanyaan yang naif tapi saya baru dengan paradigma NoSQL dan tidak tahu banyak tentang itu. Jadi jika seseorang dapat membantu saya dengan jelas memahami perbedaan antara HBase dan Hadoop atau jika memberikan beberapa petunjuk yang dapat membantu saya memahami perbedaannya. Sampai...
Saya tahu keduanya dilakukan pada kolom di tabel tetapi bagaimana setiap operasi
Dalam banyak situasi kehidupan nyata di mana Anda menerapkan MapReduce, algoritme akhir menjadi beberapa langkah MapReduce. yaitu Map1, Reduce1, Map2, Reduce2, dan seterusnya. Jadi Anda memiliki keluaran dari pengurangan terakhir yang diperlukan sebagai masukan untuk peta berikutnya. Data...
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. tidak dapat membuat apa pun di hdfs aku melakukannya root# bin/hadoop fs -safemode leave Tapi menunjukkan safemode: Unknown...
Menurut Hadoop - The Definitive Guide Catatan logis yang didefinisikan FileInputFormats biasanya tidak cocok dengan baik ke dalam blok HDFS. Misalnya, catatan logis TextInputFormat adalah garis, yang akan melewati batas HDFS lebih sering daripada tidak. Ini tidak ada hubungannya dengan fungsi...
Dalam pemrograman Map Reduce, fase reduce memiliki pengocokan, pengurutan, dan pengurangan sebagai sub-bagiannya. Menyortir adalah urusan yang mahal. Apa tujuan fase shuffling dan sorting pada reducer di Map Reduce
Adakah yang bisa memberi tahu saya perbedaan antara tabel eksternal Hive dan tabel internal. Saya tahu perbedaannya muncul saat menjatuhkan meja. Saya tidak mengerti apa yang Anda maksud dengan data dan metadata dihapus di internal dan hanya metadata yang dihapus di tabel eksternal. Adakah yang...
Salah satu contoh utama yang digunakan untuk mendemonstrasikan kekuatan MapReduce adalah tolok ukur Terasort . Saya kesulitan memahami dasar-dasar algoritme pengurutan yang digunakan di lingkungan MapReduce. Bagi saya, pengurutan hanya melibatkan penentuan posisi relatif suatu elemen dalam...
Apakah mereka seharusnya setara? tapi, mengapa perintah " hadoop fs" menampilkan hdfs filessementara perintah " hdfs dfs" menampilkan file lokal? berikut adalah informasi versi hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversi git:
Saya mendapatkan kesalahan berikut saat memulai namenode untuk rilis hadoop-2.2 terbaru. Saya tidak menemukan file exe winutils di folder bin hadoop. Saya mencoba di bawah perintah $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell
Saya tahu du -shdi filesystem Linux umum. Tetapi bagaimana melakukannya dengan HDFS?
Tutup. Pertanyaan ini tidak memenuhi pedoman Stack Overflow . Saat ini tidak menerima jawaban. Ingin memperbaiki pertanyaan ini? Perbarui pertanyaan agar sesuai dengan topik untuk Stack Overflow. Tutup 4 tahun lalu . Perbaiki pertanyaan ini