Baru-baru ini mulai bercabang dari tempat aman saya (R) ke Python dan dan saya agak bingung dengan lokalisasi sel / seleksi di Pandas. Saya telah membaca dokumentasinya tetapi saya berjuang untuk memahami implikasi praktis dari berbagai pilihan pelokalan / pemilihan.

• Apakah ada alasan mengapa saya harus menggunakan .locatau menggunakan .ilocopsi yang paling umum .ix?
• Saya mengerti bahwa .loc, iloc, at, dan iatdapat memberikan beberapa dijamin kebenaran yang .ixtidak dapat menawarkan, tapi saya juga membaca di mana .ixcenderung menjadi solusi tercepat di seluruh papan.
• Tolong jelaskan alasan di dunia nyata, praktik terbaik di balik menggunakan apa pun selain .ix?

loc: hanya bekerja pada indeks
iloc: bekerja pada posisi
ix: Anda bisa mendapatkan data dari dataframe tanpa harus di indeks
di: dapatkan nilai skalar. Ini adalah loc
iat yang sangat cepat : Dapatkan nilai skalar. Ini iloc yang sangat cepat

http://pyciencia.blogspot.com/2015/05/obtener-y-filtrar-datos-de-un-dataframe.html

Catatan: Sampai pandas 0.20.0, yang .ixpengindeks yang ditinggalkan mendukung lebih ketat .ilocdan .locpengindeks.

Diperbarui untuk pandas 0.20diberikan yang ixsudah usang. Ini menunjukkan tidak hanya bagaimana menggunakan loc, iloc, at, iat, set_value, tapi bagaimana untuk mencapai, campuran pengindeksan berdasarkan posisi / label.

loc- berbasis label
Memungkinkan Anda untuk melewatkan array 1-D sebagai pengindeks. Array dapat berupa irisan (himpunan bagian) dari indeks atau kolom, atau mereka bisa menjadi array boolean yang panjangnya sama dengan indeks atau kolom.

Catatan Khusus: ketika pengindeks skalar dilewatkan, locdapat menetapkan nilai indeks atau kolom baru yang tidak ada sebelumnya.

# label based, but we can use position values
# to get the labels from the index object
df.loc[df.index[2], 'ColName'] = 3

df.loc[df.index[1:3], 'ColName'] = 3

iloc- Posisi berdasarkan
Mirip dengan lockecuali dengan posisi bukan nilai indeks. Namun, Anda tidak dapat menetapkan kolom atau indeks baru.

# position based, but we can get the position
# from the columns object via the `get_loc` method
df.iloc[2, df.columns.get_loc('ColName')] = 3

df.iloc[2, 4] = 3

df.iloc[:3, 2:4] = 3

at- Pekerjaan berbasis label
sangat mirip dengan locuntuk pengindeks skalar. Tidak dapat beroperasi pada pengindeks array. Bisa! menetapkan indeks dan kolom baru.

Keuntungan lebih dari locini adalah bahwa ini lebih cepat.
Kerugiannya adalah Anda tidak dapat menggunakan array untuk pengindeks.

# label based, but we can use position values
# to get the labels from the index object
df.at[df.index[2], 'ColName'] = 3

df.at['C', 'ColName'] = 3

iat- Pekerjaan berbasis posisi
mirip dengan iloc. Tidak dapat bekerja di pengindeks array. Tidak bisa! menetapkan indeks dan kolom baru.

Keuntungan lebih dari ilocini adalah bahwa ini lebih cepat.
Kerugiannya adalah Anda tidak dapat menggunakan array untuk pengindeks.

# position based, but we can get the position
# from the columns object via the `get_loc` method
IBM.iat[2, IBM.columns.get_loc('PNL')] = 3

set_value- Pekerjaan berbasis label
sangat mirip dengan locuntuk pengindeks skalar. Tidak dapat beroperasi pada pengindeks array. Bisa! menetapkan indeks dan kolom baru

Keuntungan Super cepat, karena ada sedikit overhead!
Kerugian Ada sedikit overhead karena pandastidak melakukan banyak pemeriksaan keamanan. Gunakan dengan risiko Anda sendiri . Juga, ini tidak dimaksudkan untuk penggunaan umum.

# label based, but we can use position values
# to get the labels from the index object
df.set_value(df.index[2], 'ColName', 3)

set_valuedengantakable=True - posisi berdasarkan
Pekerjaan mirip denganiloc. Tidak dapat bekerja di pengindeks array. Tidak bisa! menetapkan indeks dan kolom baru.

Keuntungan Super cepat, karena ada sedikit overhead!
Kerugian Ada sedikit overhead karena pandastidak melakukan banyak pemeriksaan keamanan. Gunakan dengan risiko Anda sendiri . Juga, ini tidak dimaksudkan untuk penggunaan umum.

# position based, but we can get the position
# from the columns object via the `get_loc` method
df.set_value(2, df.columns.get_loc('ColName'), 3, takable=True)

Ada dua cara utama panda menentukan pilihan dari DataFrame.

• Dengan Label
• Menurut Lokasi Integer

Dokumentasi menggunakan istilah posisi untuk merujuk ke lokasi integer . Saya tidak suka terminologi ini karena saya merasa itu membingungkan. Lokasi integer lebih deskriptif dan tepat untuk apa .iloc. Kata kuncinya di sini adalah INTEGER - Anda harus menggunakan bilangan bulat saat memilih berdasarkan lokasi bilangan bulat.

Sebelum menampilkan ringkasan, mari kita semua memastikan bahwa ...

.ix sudah usang dan ambigu dan tidak boleh digunakan

Ada tiga pengindeks utama untuk panda. Kami memiliki operator pengindeksan itu sendiri (kurung []) .loc,, dan .iloc. Mari kita simpulkan mereka:

• []- Terutama memilih himpunan bagian kolom, tetapi dapat memilih baris juga. Tidak dapat secara bersamaan memilih baris dan kolom.
• .loc - memilih himpunan bagian baris dan kolom dengan label saja
• .iloc - memilih himpunan bagian baris dan kolom dengan lokasi integer saja

Saya hampir tidak pernah menggunakan .atatau .iatkarena mereka tidak menambahkan fungsionalitas tambahan dan hanya dengan sedikit peningkatan kinerja. Saya akan melarang penggunaannya kecuali jika Anda memiliki aplikasi yang sangat sensitif waktu. Apapun, kami memiliki ringkasannya:

• .at memilih nilai skalar tunggal dalam DataFrame hanya dengan label
• .iat memilih nilai skalar tunggal dalam DataFrame hanya dengan lokasi integer

Selain pemilihan berdasarkan label dan lokasi integer, pemilihan boolean juga dikenal sebagai pengindeksan boolean .

Contoh menjelaskan .loc,, .ilocseleksi boolean dan .atdan .iatditunjukkan di bawah ini

Kami pertama-tama akan fokus pada perbedaan antara .locdan .iloc. Sebelum kita berbicara tentang perbedaan, penting untuk memahami bahwa DataFrames memiliki label yang membantu mengidentifikasi setiap kolom dan setiap baris. Mari kita lihat contoh DataFrame:

df = pd.DataFrame({'age':[30, 2, 12, 4, 32, 33, 69],
                   'color':['blue', 'green', 'red', 'white', 'gray', 'black', 'red'],
                   'food':['Steak', 'Lamb', 'Mango', 'Apple', 'Cheese', 'Melon', 'Beans'],
                   'height':[165, 70, 120, 80, 180, 172, 150],
                   'score':[4.6, 8.3, 9.0, 3.3, 1.8, 9.5, 2.2],
                   'state':['NY', 'TX', 'FL', 'AL', 'AK', 'TX', 'TX']
                   },
                  index=['Jane', 'Nick', 'Aaron', 'Penelope', 'Dean', 'Christina', 'Cornelia'])

Semua kata dalam huruf tebal adalah label. Label, age, color, food, height, scoredan statedigunakan untuk kolom . Label lain, Jane, Nick, Aaron, Penelope, Dean, Christina, Corneliadigunakan sebagai label untuk baris. Secara kolektif, label baris ini dikenal sebagai indeks .

Cara utama untuk memilih baris tertentu dalam DataFrame adalah dengan .locdan .ilocpengindeks. Masing-masing pengindeks ini juga dapat digunakan untuk secara bersamaan memilih kolom tetapi lebih mudah untuk hanya fokus pada baris untuk saat ini. Juga, masing-masing pengindeks menggunakan seperangkat tanda kurung yang segera mengikuti nama mereka untuk membuat pilihan mereka.

.loc memilih data hanya dengan label

Pertama-tama kita akan berbicara tentang .locpengindeks yang hanya memilih data dengan indeks atau label kolom. Dalam DataFrame sampel kami, kami telah memberikan nama yang berarti sebagai nilai untuk indeks. Banyak DataFrames tidak akan memiliki nama yang berarti dan sebaliknya, default ke hanya bilangan bulat dari 0 hingga n-1, di mana n adalah panjang (jumlah baris) dari DataFrame.

Ada banyak input berbeda yang dapat Anda gunakan untuk .loctiga dari mereka

• Sebuah benang
• Daftar string
• Notasi irisan menggunakan string sebagai nilai awal dan berhenti

Memilih satu baris dengan .loc dengan sebuah string

Untuk memilih satu baris data, letakkan label indeks di dalam tanda kurung berikut .loc.

df.loc['Penelope']

Ini mengembalikan baris data sebagai Seri

age           4
color     white
food      Apple
height       80
score       3.3
state        AL
Name: Penelope, dtype: object

Memilih beberapa baris dengan .loc dengan daftar string

df.loc[['Cornelia', 'Jane', 'Dean']]

Ini mengembalikan DataFrame dengan baris dalam urutan yang ditentukan dalam daftar:

Memilih beberapa baris dengan .loc dengan notasi slice

Notasi irisan didefinisikan oleh nilai awal, berhenti dan langkah. Saat mengiris dengan label, panda menyertakan nilai stop dalam pengembalian. Berikut irisan dari Harun ke Dean, inklusif. Ukuran langkahnya tidak ditentukan secara eksplisit tetapi default ke 1.

df.loc['Aaron':'Dean']

Irisan kompleks dapat diambil dengan cara yang sama seperti daftar Python.

.iloc memilih data hanya dengan lokasi integer

Sekarang mari kita beralih ke .iloc. Setiap baris dan kolom data dalam DataFrame memiliki lokasi integer yang mendefinisikannya. Ini merupakan tambahan untuk label yang ditampilkan secara visual dalam output. Lokasi integer hanyalah jumlah baris / kolom dari atas / kiri mulai dari 0.

Ada banyak input berbeda yang dapat Anda gunakan untuk .iloctiga dari mereka

• Bilangan bulat
• Daftar bilangan bulat
• Notasi irisan menggunakan bilangan bulat sebagai nilai awal dan berhenti

Memilih satu baris dengan .iloc dengan integer

df.iloc[4]

Ini mengembalikan baris ke-5 (lokasi integer 4) sebagai Seri

age           32
color       gray
food      Cheese
height       180
score        1.8
state         AK
Name: Dean, dtype: object

Memilih beberapa baris dengan .iloc dengan daftar bilangan bulat

df.iloc[[2, -2]]

Ini mengembalikan DataFrame dari baris ketiga dan kedua ke terakhir:

Memilih beberapa baris dengan .iloc dengan notasi slice

df.iloc[:5:3]

Pemilihan baris dan kolom secara simultan dengan .loc dan .iloc

Satu kemampuan luar biasa dari keduanya .loc/.ilocadalah kemampuan mereka untuk memilih baris dan kolom secara bersamaan. Dalam contoh di atas, semua kolom dikembalikan dari setiap pilihan. Kita dapat memilih kolom dengan tipe input yang sama seperti yang kita lakukan untuk baris. Kita hanya perlu memisahkan pemilihan baris dan kolom dengan koma .

Misalnya, kita dapat memilih baris Jane, dan Dean hanya dengan tinggi kolom, skor, dan status seperti ini:

df.loc[['Jane', 'Dean'], 'height':]

Ini menggunakan daftar label untuk baris dan notasi irisan untuk kolom

Kami secara alami dapat melakukan operasi serupa dengan .ilochanya menggunakan bilangan bulat.

df.iloc[[1,4], 2]
Nick      Lamb
Dean    Cheese
Name: food, dtype: object

Pilihan serentak dengan label dan lokasi integer

.ixdigunakan untuk membuat pilihan secara bersamaan dengan label dan lokasi integer yang berguna tetapi membingungkan dan ambigu pada waktu dan untungnya itu sudah usang. Jika Anda perlu membuat pilihan dengan campuran label dan lokasi integer, Anda harus membuat label pilihan atau lokasi integer Anda.

Misalnya, jika kita ingin memilih baris Nickdan Corneliabersama dengan kolom 2 dan 4, kita bisa menggunakan .locdengan mengubah bilangan bulat menjadi label dengan yang berikut ini:

col_names = df.columns[[2, 4]]
df.loc[['Nick', 'Cornelia'], col_names] 

Atau sebagai alternatif, ubah label indeks menjadi bilangan bulat dengan get_locmetode indeks.

labels = ['Nick', 'Cornelia']
index_ints = [df.index.get_loc(label) for label in labels]
df.iloc[index_ints, [2, 4]]

Seleksi Boolean

Pengindeks .loc juga dapat melakukan seleksi boolean. Misalnya, jika kita tertarik untuk menemukan semua baris di mana usia di atas 30 dan mengembalikan hanya kolom fooddan scorekita dapat melakukan hal berikut:

df.loc[df['age'] > 30, ['food', 'score']] 

Anda dapat meniru ini dengan .iloctetapi Anda tidak bisa mengirimkannya seri boolean. Anda harus mengubah Seri boolean menjadi array numpy seperti ini:

df.iloc[(df['age'] > 30).values, [2, 4]] 

Memilih semua baris

Dimungkinkan untuk digunakan .loc/.ilochanya untuk pemilihan kolom. Anda dapat memilih semua baris dengan menggunakan titik dua seperti ini:

df.loc[:, 'color':'score':2]

Operator pengindeksan [],, dapat mengiris dapat memilih baris dan kolom juga tetapi tidak secara bersamaan.

Kebanyakan orang akrab dengan tujuan utama operator pengindeksan DataFrame, yaitu untuk memilih kolom. Sebuah string memilih kolom tunggal sebagai Seri dan daftar string memilih beberapa kolom sebagai DataFrame.

df['food']

Jane          Steak
Nick           Lamb
Aaron         Mango
Penelope      Apple
Dean         Cheese
Christina     Melon
Cornelia      Beans
Name: food, dtype: object

Menggunakan daftar memilih banyak kolom

df[['food', 'score']]

Apa yang kurang dikenal orang adalah, ketika notasi slice digunakan, maka seleksi terjadi oleh label baris atau dengan lokasi integer. Ini sangat membingungkan dan sesuatu yang hampir tidak pernah saya gunakan tetapi berhasil.

df['Penelope':'Christina'] # slice rows by label

df[2:6:2] # slice rows by integer location

Ketertarikan .loc/.ilocuntuk memilih baris sangat disukai. Operator pengindeksan saja tidak dapat memilih baris dan kolom secara bersamaan.

df[3:5, 'color']
TypeError: unhashable type: 'slice'

Seleksi oleh .atdan.iat

Seleksi dengan .athampir identik dengan .loctetapi hanya memilih satu 'sel' di DataFrame Anda. Kami biasanya menyebut sel ini sebagai nilai skalar. Untuk menggunakannya .at, berikan label baris dan kolom yang dipisahkan dengan koma.

df.at['Christina', 'color']
'black'

Seleksi dengan .iathampir identik dengan .iloctetapi hanya memilih nilai skalar tunggal. Anda harus memberikan bilangan bulat untuk lokasi baris dan kolom

df.iat[2, 5]
'FL'

df = pd.DataFrame({'A':['a', 'b', 'c'], 'B':[54, 67, 89]}, index=[100, 200, 300])

df

                        A   B
                100     a   54
                200     b   67
                300     c   89
In [19]:    
df.loc[100]

Out[19]:
A     a
B    54
Name: 100, dtype: object

In [20]:    
df.iloc[0]

Out[20]:
A     a
B    54
Name: 100, dtype: object

In [24]:    
df2 = df.set_index([df.index,'A'])
df2

Out[24]:
        B
    A   
100 a   54
200 b   67
300 c   89

In [25]:    
df2.ix[100, 'a']

Out[25]:    
B    54
Name: (100, a), dtype: int64

Mari kita mulai dengan df kecil ini:

import pandas as pd
import time as tm
import numpy as np
n=10
a=np.arange(0,n**2)
df=pd.DataFrame(a.reshape(n,n))

Kami akan melakukannya

df
Out[25]: 
        0   1   2   3   4   5   6   7   8   9
    0   0   1   2   3   4   5   6   7   8   9
    1  10  11  12  13  14  15  16  17  18  19
    2  20  21  22  23  24  25  26  27  28  29
    3  30  31  32  33  34  35  36  37  38  39
    4  40  41  42  43  44  45  46  47  48  49
    5  50  51  52  53  54  55  56  57  58  59
    6  60  61  62  63  64  65  66  67  68  69
    7  70  71  72  73  74  75  76  77  78  79
    8  80  81  82  83  84  85  86  87  88  89
    9  90  91  92  93  94  95  96  97  98  99

Dengan ini kami memiliki:

df.iloc[3,3]
Out[33]: 33

df.iat[3,3]
Out[34]: 33

df.iloc[:3,:3]
Out[35]: 
    0   1   2   3
0   0   1   2   3
1  10  11  12  13
2  20  21  22  23
3  30  31  32  33



df.iat[:3,:3]
Traceback (most recent call last):
   ... omissis ...
ValueError: At based indexing on an integer index can only have integer indexers

Jadi kita tidak bisa menggunakan .iat untuk subset, di mana kita harus menggunakan .iloc saja.

Tapi mari kita coba keduanya untuk memilih dari df yang lebih besar dan mari kita periksa kecepatan ...

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  7 09:58:39 2018

@author: Fabio Pomi
"""

import pandas as pd
import time as tm
import numpy as np
n=1000
a=np.arange(0,n**2)
df=pd.DataFrame(a.reshape(n,n))
t1=tm.time()
for j in df.index:
    for i in df.columns:
        a=df.iloc[j,i]
t2=tm.time()
for j in df.index:
    for i in df.columns:
        a=df.iat[j,i]
t3=tm.time()
loc=t2-t1
at=t3-t2
prc = loc/at *100
print('\nloc:%f at:%f prc:%f' %(loc,at,prc))

loc:10.485600 at:7.395423 prc:141.784987

Jadi dengan .loc kita dapat mengatur subset dan dengan .at hanya satu skalar, tetapi .at lebih cepat dari .loc

:-)