Apa perbedaan antara NaN dan None?

Saya membaca dua kolom file csv menggunakan panda readcsv()dan kemudian menetapkan nilainya ke kamus. Kolom berisi rangkaian angka dan huruf. Terkadang ada kasus di mana sel kosong. Menurut pendapat saya, nilai yang dibaca untuk entri kamus itu harus Nonetetapi nanditetapkan. Tentunya Nonelebih deskriptif dari sel kosong karena memiliki nilai null, sedangkan nanhanya mengatakan bahwa nilai yang dibaca bukanlah angka.

Apakah pemahaman saya benar, apa perbedaan antara Nonedan nan? Mengapa nanditugaskan alih-alih None?

Juga, kamus saya memeriksa apakah ada sel kosong yang telah digunakan numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Tetapi ini memberi saya kesalahan yang mengatakan bahwa saya tidak dapat menggunakan pemeriksaan ini v. Saya kira itu karena variabel integer atau float, bukan string yang dimaksudkan untuk digunakan. Jika ini benar, bagaimana cara memeriksa vkotak / "sel kosong" nan?

NaN digunakan sebagai placeholder untuk data yang hilang secara konsisten di panda , konsistensinya bagus. Saya biasanya membaca / menerjemahkan NaN sebagai "hilang" . Lihat juga bagian 'bekerja dengan data yang hilang' di dokumen.

Kami menulis dalam 'pilihan representasi NA' dokumen :

Setelah bertahun-tahun penggunaan produksi [NaN] telah terbukti, setidaknya menurut pendapat saya, sebagai keputusan terbaik mengingat keadaan di NumPy dan Python secara umum. Nilai khusus NaN (Not-A-Number) digunakan di mana - mana sebagai nilai NA, dan ada fungsi API isnulldan notnullyang dapat digunakan di seluruh dtypes untuk mendeteksi nilai NA.
...
Jadi, saya telah memilih pendekatan Pythonic "kepraktisan mengalahkan kemurnian" dan memperdagangkan kemampuan integer NA untuk pendekatan yang lebih sederhana dalam menggunakan nilai khusus dalam float dan array objek untuk menunjukkan NA, dan mempromosikan array integer menjadi mengambang ketika NAs harus diperkenalkan.

Catatan: "Gotcha" bahwa Seri bilangan bulat yang berisi data yang hilang di-upcast menjadi float .

Menurut pendapat saya, alasan utama untuk menggunakan NaN (over None) adalah karena NaN dapat disimpan dengan dtype float64 numpy, daripada dtype objek yang kurang efisien, lihat promosi tipe NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff berkomentar (di bawah) tentang ini:

np.nanmemungkinkan untuk operasi vektor; its a float value, sedangkan None, menurut definisi, memaksa tipe objek, yang pada dasarnya menonaktifkan semua efisiensi di numpy.

Jadi ulangi 3 kali dengan cepat: object == bad, float == good

Mengatakan itu, banyak operasi mungkin masih bekerja dengan baik dengan None vs NaN (tetapi mungkin tidak didukung, yaitu terkadang memberikan hasil yang mengejutkan ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Untuk menjawab pertanyaan kedua:
Anda harus menggunakan pd.isnulldan pd.notnulluntuk menguji data yang hilang (NaN).

NaNdapat digunakan sebagai nilai numerik pada operasi matematika, sementara Nonetidak bisa (atau setidaknya tidak boleh).

NaNadalah nilai numerik, seperti yang didefinisikan dalam standar floating-point IEEE 754 . Noneadalah jenis Python internal ( NoneType) dan akan lebih seperti "tidak ada" atau "kosong" daripada "tidak valid secara numerik" dalam konteks ini.

"Gejala" utama dari hal itu adalah, jika Anda melakukan, katakanlah, rata-rata atau jumlah pada larik yang berisi NaN, bahkan satu, Anda mendapatkan NaN sebagai hasilnya ...

Di sisi lain, Anda tidak dapat melakukan operasi matematika menggunakan Noneoperand.

Jadi, bergantung pada kasusnya, Anda dapat menggunakan Nonesebagai cara untuk memberi tahu algoritme Anda agar tidak mempertimbangkan nilai yang tidak valid atau tidak ada pada komputasi. Itu berarti algoritme harus menguji setiap nilai untuk melihat apakah benar None.

Numpy memiliki beberapa fungsi untuk menghindari nilai NaN mencemari hasil Anda, seperti nansumdan nan_to_nummisalnya.

Fungsi ini isnan()memeriksa untuk melihat apakah ada sesuatu yang "Bukan Angka" dan akan mengembalikan apakah variabel adalah angka atau tidak, misalnya isnan(2)akan mengembalikan salah

Pengembalian bersyarat myVar is not Noneapakah variabel ditentukan atau tidak

Array numpy Anda menggunakan isnan()karena dimaksudkan sebagai larik angka dan menginisialisasi semua elemen larik ke NaNelemen ini dianggap "kosong"

Berikut perbedaannya:

• nan milik kelas float
• None milik kelas NoneType

Saya menemukan artikel di bawah ini sangat membantu: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNstants untuk BUKAN nomor .
Nonemungkin berdiri untuk apapun .