Saya membaca di file csv dengan beberapa kolom datetime. Saya perlu mengatur tipe data setelah membaca di file, tetapi datetimes tampaknya menjadi masalah. Misalnya:

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = ['datetime', 'datetime', 'str', 'float']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Ketika dijalankan memberikan kesalahan:

TypeError: tipe data "datetime" tidak dipahami

Mengonversi kolom setelah fakta, melalui pandas.to_datetime () bukanlah opsi Saya tidak tahu kolom mana yang akan menjadi objek datetime. Informasi tersebut dapat berubah dan berasal dari apapun yang menginformasikan daftar dtypes saya.

Atau, saya telah mencoba memuat file csv dengan numpy.genfromtxt, mengatur dtypes dalam fungsi itu, dan kemudian mengonversinya ke pandas.dataframe tetapi itu mengacaukan data. Bantuan apa pun sangat dihargai!

Mengapa tidak berhasil

Tidak ada tipe dtwaktu yang akan disetel untuk read_csv karena file csv hanya dapat berisi string, integer, dan float.

Menyetel dtype ke datetime akan membuat panda menafsirkan datetime sebagai objek, artinya Anda akan berakhir dengan string.

Panda cara memecahkan ini

The pandas.read_csv()fungsi memiliki argumen kata kunci yang disebutparse_dates

Menggunakan ini, Anda dapat dengan cepat mengubah string, float atau integer menjadi datetimes menggunakan default date_parser( dateutil.parser.parser)

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = {'col1': 'str', 'col2': 'str', 'col3': 'str', 'col4': 'float'}
parse_dates = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes, parse_dates=parse_dates)

Ini akan menyebabkan panda membaca col1dan col2sebagai string, yang kemungkinan besar adalah ("2016-05-05" dll.) Dan setelah membaca string tersebut, date_parser untuk setiap kolom akan bertindak atas string itu dan mengembalikan apa pun yang dikembalikan fungsi itu .

Menentukan fungsi penguraian tanggal Anda sendiri:

The pandas.read_csv()Fungsi juga memiliki argumen kata kunci yang disebutdate_parser

Menyetel ini ke fungsi lambda akan membuat fungsi tersebut digunakan untuk penguraian tanggal.

PERINGATAN GOTCHA

Anda harus memberikan fungsinya, bukan eksekusi fungsinya, jadi ini benar

date_parser = pd.datetools.to_datetime

Ini salah :

date_parser = pd.datetools.to_datetime()

Pembaruan Pandas 0.22

pd.datetools.to_datetime telah dipindahkan ke date_parser = pd.to_datetime

Terima kasih @ackoverYC

Ada parse_datesparameter read_csvyang memungkinkan Anda untuk menentukan nama kolom yang ingin Anda perlakukan sebagai tanggal atau waktu:

date_cols = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=date_cols)

Anda dapat mencoba meneruskan tipe sebenarnya alih-alih string.

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Tetapi akan sangat sulit untuk mendiagnosis ini tanpa data Anda untuk diotak-atik.

Dan sungguh, Anda mungkin ingin panda mengurai tanggal menjadi Stempel Waktu, jadi itu mungkin:

pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=True)

Saya mencoba menggunakan opsi dtypes = [datetime, ...], tapi

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Saya mengalami kesalahan berikut:

TypeError: data type not understood

Satu-satunya perubahan yang harus saya lakukan adalah mengganti datetime dengan datetime.datetime

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime.datetime, datetime.datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)