“Konversi Pandas DataFrame ke Spark DataFrame” Kode Jawaban

Konversi Pandas DataFrame ke Spark DataFrame

import pandas as pd
from pyspark.sql import SparkSession

filename = <'path to file'>
spark = SparkSession.build.appName('pandasToSpark').getOrCreate()
# Assuming file is csv
pandas_df = pd.read_csv(filename)
spark_df = spark.CreateDataFrame(pandas_df)
Makstar

DataFrame panda untuk memicu


from pyspark.sql import SparkSession
#Create PySpark SparkSession
spark = SparkSession.builder \
    .master("local[1]") \
    .appName("SparkByExamples.com") \
    .getOrCreate()
#Create PySpark DataFrame from Pandas
sparkDF=spark.createDataFrame(pandasDF) 
sparkDF.printSchema()
sparkDF.show()

#Outputs below schema & DataFrame

root
 |-- Name: string (nullable = true)
 |-- Age: long (nullable = true)

+------+---+
|  Name|Age|
+------+---+
| Scott| 50|
|  Jeff| 45|
|Thomas| 54|
|   Ann| 34|
+------+---+
Sore Stork

Spark DF ke Pandas DF

some_df = sc.parallelize([
 ("A", "no"),
 ("B", "yes"),
 ("B", "yes"),
 ("B", "no")]
 ).toDF(["user_id", "phone_number"])
pandas_df = some_df.toPandas()
Muhammad Fayyaz

Jawaban yang mirip dengan “Konversi Pandas DataFrame ke Spark DataFrame”

Pertanyaan yang mirip dengan “Konversi Pandas DataFrame ke Spark DataFrame”

Lebih banyak jawaban terkait untuk “Konversi Pandas DataFrame ke Spark DataFrame” di Python

Jelajahi jawaban kode populer menurut bahasa

Jelajahi bahasa kode lainnya