Pertanyaan yang diberi tag scala

9
Spark: UDF dieksekusi berkali-kali

Saya memiliki kerangka data dengan kode berikut: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one"))...

9
GRPC: buat klien throughput tinggi di Java / Scala

Saya memiliki layanan yang mentransfer pesan pada tingkat yang cukup tinggi. Saat ini dilayani oleh akka-tcp dan menghasilkan 3,5 juta pesan per menit. Saya memutuskan untuk mencoba grpc. Sayangnya itu menghasilkan throughput yang jauh lebih kecil: ~ 500rb pesan per menit bahkan lebih...