Apache Kafka adalah platform streaming terdistribusi yang dirancang untuk menyimpan dan memproses aliran data throughput tinggi.
Saya telah diminta untuk mengevaluasi RabbitMQ daripada Kafka tetapi merasa sulit untuk menemukan alasan bahwa ia melakukan sesuatu yang lebih baik daripada Kafka. Adakah yang tahu apakah itu benar-benar lebih baik dalam throughput, daya tahan, latensi, atau kemudahan
Meskipun saya telah menemukan Kafka sebelumnya, saya baru-baru ini menyadari Kafka mungkin dapat digunakan sebagai (dasar) CQRS , eventstore . Salah satu poin utama yang didukung Kafka: Acara menangkap / menyimpan, semua HA tentu saja. Arsitektur pub / sub Kemampuan untuk memutar ulang eventlog...
Saya mulai belajar Kafka untuk tujuan solusi perusahaan. Selama pembacaan saya, beberapa pertanyaan muncul di benak saya: Ketika seorang produser memproduksi pesan - itu akan menentukan topik yang ingin dikirimi pesan, apakah itu benar? Apakah itu peduli dengan partisi? Ketika pelanggan berjalan...
Apakah ada cara untuk membersihkan topik dalam kafka? Saya mendorong pesan yang terlalu besar ke topik pesan kafka di komputer lokal saya, sekarang saya mendapat pesan kesalahan: kafka.common.InvalidMessageSizeException: invalid message size Menambah fetch.sizeitu tidak ideal di sini, karena...
Saya mencoba menggunakan Kafka. Semua konfigurasi dilakukan dengan benar tetapi ketika saya mencoba untuk menghasilkan pesan dari konsol saya terus mendapatkan kesalahan berikut WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE}
Saya relatif baru di Kafka. Saya telah melakukan sedikit percobaan dengan itu, tetapi beberapa hal tidak jelas bagi saya mengenai penggantian konsumen. Dari apa yang saya pahami sejauh ini, ketika konsumen mulai, offset yang akan mulai dibaca ditentukan oleh pengaturan konfigurasi...
Salah satu hal pertama yang saya pikirkan ketika menggunakan layanan baru (seperti penyimpanan data non-RDBMS atau antrian pesan) adalah: "Bagaimana saya harus menyusun data saya?". Saya sudah membaca dan menonton beberapa materi pengantar. Secara khusus, ambil, misalnya, Kafka: Sistem Pesan...
Di Kafka, saya hanya ingin menggunakan satu broker, satu topik, dan satu partisi yang memiliki satu produsen dan banyak konsumen (masing-masing konsumen mendapatkan salinan data sendiri dari broker). Mengingat ini, saya tidak ingin overhead menggunakan Zookeeper; Bisakah saya tidak hanya...
Saya mengirim pesan String ke Kafka V. 0.8 dengan Java Producer API. Jika ukuran pesan sekitar 15 MB saya mendapatkan file MessageSizeTooLargeException. Saya sudah mencoba menyetel message.max.byteske 40 MB, tetapi saya masih mendapatkan pengecualian. Pesan kecil bekerja tanpa
Bagaimana cara menemukan versi kafka di linux? apakah ada cara untuk menemukan versi kafka yang terinstal selain menyebutkan versi saat
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Saat ini, saya mengirim pesan tanpa kunci apa pun sebagai bagian dari pesan kunci, apakah masih akan...
Apache Kafka: Sistem pesan terdistribusi Apache Storm: Pemrosesan Pesan Real Time Bagaimana kita bisa menggunakan kedua teknologi dalam pipeline data real-time untuk memproses data peristiwa? Dalam hal pipeline data waktu nyata, keduanya menurut saya melakukan pekerjaan yang sama. Bagaimana kita...
Saya baru-baru ini mulai belajar Kafka dan berakhir dengan pertanyaan-pertanyaan ini. Apa perbedaan antara Consumer dan Stream? Bagi saya, jika ada alat / aplikasi yang mengonsumsi pesan dari Kafka adalah konsumen di dunia Kafka. Apa perbedaan Stream karena ini juga menggunakan atau...
Saya perlu menghapus topik testdi Apache Kafka 0.8.1.1. Seperti yang diungkapkan dalam dokumentasi di sini , saya telah mengeksekusi: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Namun, ini menghasilkan pesan berikut: Command must include exactly one action: --list,...
Tertutup . Pertanyaan ini perlu lebih difokuskan . Saat ini tidak menerima jawaban. Ingin memperbaiki pertanyaan ini? Perbarui pertanyaan sehingga hanya berfokus pada satu masalah dengan mengedit posting ini . Tutup 10 bulan lalu . Perbaiki
Saya menggunakan apache kafka untuk perpesanan. Saya telah menerapkan produsen dan konsumen di Jawa. Bagaimana kita bisa mendapatkan jumlah pesan dalam suatu topik?
Apakah ada cara untuk menghapus semua data dari topik atau menghapus topik sebelum setiap proses? Dapatkah saya mengubah file KafkaConfig.scala untuk mengubah logRetentionHours properti? Adakah cara agar pesan dihapus segera setelah konsumen membacanya? Saya menggunakan produsen untuk...
Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 4 hari yang lalu . Saya pergi ke...
Saya menggunakan Confluent.Kafka .NET klien versi 1.3.0. Saya mengikuti dokumen : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId,...
Saya terus mendapatkan FETCH_SESSION_ID_NOT_FOUND. Saya tidak yakin mengapa itu terjadi. Adakah yang bisa menyenangkan saya di sini apa masalahnya dan apa dampaknya bagi konsumen dan broker. Log Server Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][]