Gabungkan kolom Tanggal dan Waktu menggunakan python pandas

Saya memiliki kerangka data panda dengan kolom berikut;

Date              Time
01-06-2013      23:00:00
02-06-2013      01:00:00
02-06-2013      21:00:00
02-06-2013      22:00:00
02-06-2013      23:00:00
03-06-2013      01:00:00
03-06-2013      21:00:00
03-06-2013      22:00:00
03-06-2013      23:00:00
04-06-2013      01:00:00

Bagaimana cara menggabungkan data ['Date'] & data ['Time'] untuk mendapatkan yang berikut ini? Apakah ada cara untuk melakukannya dengan menggunakan pd.to_datetime?

Date
01-06-2013 23:00:00
02-06-2013 01:00:00
02-06-2013 21:00:00
02-06-2013 22:00:00
02-06-2013 23:00:00
03-06-2013 01:00:00
03-06-2013 21:00:00
03-06-2013 22:00:00
03-06-2013 23:00:00
04-06-2013 01:00:00

Perlu disebutkan bahwa Anda mungkin dapat membaca ini secara langsung, misalnya jika Anda menggunakan read_csvmenggunakan parse_dates=[['Date', 'Time']].

Dengan asumsi ini hanya string, Anda dapat menambahkannya bersama-sama (dengan spasi), memungkinkan Anda untuk menerapkan to_datetime:

In [11]: df['Date'] + ' ' + df['Time']
Out[11]:
0    01-06-2013 23:00:00
1    02-06-2013 01:00:00
2    02-06-2013 21:00:00
3    02-06-2013 22:00:00
4    02-06-2013 23:00:00
5    03-06-2013 01:00:00
6    03-06-2013 21:00:00
7    03-06-2013 22:00:00
8    03-06-2013 23:00:00
9    04-06-2013 01:00:00
dtype: object

In [12]: pd.to_datetime(df['Date'] + ' ' + df['Time'])
Out[12]:
0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00
dtype: datetime64[ns]

Catatan: yang mengejutkan (bagi saya), ini berfungsi dengan baik dengan NaN yang diubah menjadi NaT, tetapi perlu dikhawatirkan bahwa konversi tersebut (mungkin menggunakan raiseargumen).

Jawaban yang diterima berfungsi untuk kolom yang merupakan tipe data string. Untuk kelengkapan: Saya menemukan pertanyaan ini ketika mencari bagaimana melakukan ini ketika kolomnya adalah tipe data: tanggal dan waktu.

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']),1)

Anda dapat menggunakan ini untuk menggabungkan tanggal dan waktu ke dalam kolom dataframe yang sama.

import pandas as pd    
data_file = 'data.csv' #path of your file

Membaca file .csv dengan kolom gabungan Date_Time:

data = pd.read_csv(data_file, parse_dates=[['Date', 'Time']]) 

Anda juga dapat menggunakan baris ini untuk mempertahankan kedua kolom lainnya.

data.set_index(['Date', 'Time'], drop=False)

Anda dapat mentransmisikan kolom jika tipenya berbeda (datetime dan timestamp atau str) dan menggunakan to_datetime:

df.loc[:,'Date'] = pd.to_datetime(df.Date.astype(str)+' '+df.Time.astype(str))

Hasil:

0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00

Terbaik,

Saya tidak memiliki reputasi yang cukup untuk mengomentari jka.ne jadi:

Saya harus mengubah baris jka.ne agar berfungsi:

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']).time(),1)

Ini mungkin membantu orang lain.

Juga, saya telah menguji pendekatan yang berbeda, menggunakan replacealih-alih combine:

def combine_date_time(df, datecol, timecol):
    return df.apply(lambda row: row[datecol].replace(
                                hour=row[timecol].hour,
                                minute=row[timecol].minute),
                    axis=1)

yang dalam kasus OP adalah:

combine_date_time(df, 'Date', 'Time')

Saya telah menghitung waktu kedua pendekatan untuk kumpulan data yang relatif besar (> 500.000 baris), dan keduanya memiliki waktu proses yang serupa, tetapi menggunakan combinelebih cepat (59 detik untuk replacevs 50 detik untuk combine).

Jawabannya sangat tergantung pada jenis kolom Anda . Dalam kasus saya, saya pernah datetimedan timedelta.

> df[['Date','Time']].dtypes
Date     datetime64[ns]
Time    timedelta64[ns]

Jika ini kasus Anda, Anda hanya perlu menambahkan kolom:

> df['Date'] + df['Time']

Anda juga dapat mengonversi menjadi datetimetanpa penggabungan string, dengan menggabungkan objek datetimedan timedelta. Dikombinasikan dengan pd.DataFrame.pop, Anda dapat menghapus rangkaian sumber secara bersamaan:

df['DateTime'] = pd.to_datetime(df.pop('Date')) + pd.to_timedelta(df.pop('Time'))

print(df)

             DateTime
0 2013-01-06 23:00:00
1 2013-02-06 01:00:00
2 2013-02-06 21:00:00
3 2013-02-06 22:00:00
4 2013-02-06 23:00:00
5 2013-03-06 01:00:00
6 2013-03-06 21:00:00
7 2013-03-06 22:00:00
8 2013-03-06 23:00:00
9 2013-04-06 01:00:00

print(df.dtypes)

DateTime    datetime64[ns]
dtype: object

Pertama, pastikan Anda memiliki tipe data yang benar:

df["Date"] = pd.to_datetime(df["Date"])
df["Time"] = pd.to_timedelta(df["Time"])

Kemudian Anda dengan mudah menggabungkannya:

df["DateTime"] = df["Date"] + df["Time"]

Gunakan combinefungsi:

datetime.datetime.combine(date, time)

Dataset saya memiliki data resolusi 1 detik selama beberapa hari dan penguraian dengan metode yang disarankan di sini sangat lambat. Sebagai gantinya saya menggunakan:

dates = pandas.to_datetime(df.Date, cache=True)
times = pandas.to_timedelta(df.Time)
datetimes  = dates + times

Perhatikan penggunaan cache=Truemembuat parsing tanggal sangat efisien karena hanya ada beberapa tanggal unik di file saya, yang tidak berlaku untuk kolom tanggal dan waktu gabungan.

DATA:

<TICKER>, <PER>, <DATE>, <TIME> , <OPEN>, <HIGH>, <LOW>, <CLOSE>, <VOL> SPFB.RTS, 1, 20190103,100100 , 106580.0000000,107260.0000000,106570.0000000 , 107230.0000000.3726

KODE:

data.columns = ['ticker', 'per', 'date', 'time', 'open', 'high', 'low', 'close', 'vol']    
data.datetime = pd.to_datetime(data.date.astype(str) + ' ' + data.time.astype(str), format='%Y%m%d %H%M%S')