“Buat DataFrame Spark dari Panda” Kode Jawaban

DataFrame panda untuk memicu


from pyspark.sql import SparkSession
#Create PySpark SparkSession
spark = SparkSession.builder \
    .master("local[1]") \
    .appName("SparkByExamples.com") \
    .getOrCreate()
#Create PySpark DataFrame from Pandas
sparkDF=spark.createDataFrame(pandasDF) 
sparkDF.printSchema()
sparkDF.show()

#Outputs below schema & DataFrame

root
 |-- Name: string (nullable = true)
 |-- Age: long (nullable = true)

+------+---+
|  Name|Age|
+------+---+
| Scott| 50|
|  Jeff| 45|
|Thomas| 54|
|   Ann| 34|
+------+---+
Sore Stork

Buat DataFrame Spark dari Panda

import numpy as np
import pandas as pd

# Enable Arrow-based columnar data transfers
spark.conf.set("spark.sql.execution.arrow.enabled", "true")

# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

# Create a Spark DataFrame from a pandas DataFrame using Arrow
df = spark.createDataFrame(pdf)
Makstar

Jawaban yang mirip dengan “Buat DataFrame Spark dari Panda”

Pertanyaan yang mirip dengan “Buat DataFrame Spark dari Panda”

Lebih banyak jawaban terkait untuk “Buat DataFrame Spark dari Panda” di Python

Jelajahi jawaban kode populer menurut bahasa

Jelajahi bahasa kode lainnya