Mengapa panda saya 'berlaku' fungsi referensi beberapa kolom berfungsi? [Tutup]

Saya memiliki beberapa masalah dengan fungsi berlaku Pandas, ketika menggunakan beberapa kolom dengan kerangka data berikut

df = DataFrame ({'a' : np.random.randn(6),
                 'b' : ['foo', 'bar'] * 3,
                 'c' : np.random.randn(6)})

dan fungsi berikut

def my_test(a, b):
    return a % b

Ketika saya mencoba menerapkan fungsi ini dengan:

df['Value'] = df.apply(lambda row: my_test(row[a], row[c]), axis=1)

Saya mendapatkan pesan kesalahan:

NameError: ("global name 'a' is not defined", u'occurred at index 0')

Saya tidak mengerti pesan ini, saya mendefinisikan nama dengan benar.

Saya akan sangat menghargai bantuan apa pun tentang masalah ini

Memperbarui

Terima kasih atas bantuan Anda. Saya memang membuat beberapa kesalahan sintaks dengan kode, indeks harus diletakkan ''. Namun saya masih mendapatkan masalah yang sama menggunakan fungsi yang lebih kompleks seperti:

def my_test(a):
    cum_diff = 0
    for ix in df.index():
        cum_diff = cum_diff + (a - df['a'][ix])
    return cum_diff 

Sepertinya Anda lupa ''string Anda.

In [43]: df['Value'] = df.apply(lambda row: my_test(row['a'], row['c']), axis=1)

In [44]: df
Out[44]:
                    a    b         c     Value
          0 -1.674308  foo  0.343801  0.044698
          1 -2.163236  bar -2.046438 -0.116798
          2 -0.199115  foo -0.458050 -0.199115
          3  0.918646  bar -0.007185 -0.001006
          4  1.336830  foo  0.534292  0.268245
          5  0.976844  bar -0.773630 -0.570417

BTW, menurut saya, cara berikut ini lebih elegan:

In [53]: def my_test2(row):
....:     return row['a'] % row['c']
....:     

In [54]: df['Value'] = df.apply(my_test2, axis=1)

Jika Anda hanya ingin menghitung (kolom a)% (kolom b), Anda tidak perlu apply, lakukan saja secara langsung:

In [7]: df['a'] % df['c']                                                                                                                                                        
Out[7]: 
0   -1.132022                                                                                                                                                                    
1   -0.939493                                                                                                                                                                    
2    0.201931                                                                                                                                                                    
3    0.511374                                                                                                                                                                    
4   -0.694647                                                                                                                                                                    
5   -0.023486                                                                                                                                                                    
Name: a

Katakanlah kita ingin menerapkan fungsi add5 ke kolom 'a' dan 'b' dari DataFrame df

def add5(x):
    return x+5

df[['a', 'b']].apply(add5)

Semua saran di atas berfungsi, tetapi jika Anda ingin perhitungan Anda dengan lebih efisien, Anda harus mengambil keuntungan dari operasi vektor numpy (seperti yang ditunjukkan di sini) .

import pandas as pd
import numpy as np


df = pd.DataFrame ({'a' : np.random.randn(6),
             'b' : ['foo', 'bar'] * 3,
             'c' : np.random.randn(6)})

Contoh 1: berulang dengan pandas.apply():

%%timeit
def my_test2(row):
    return row['a'] % row['c']

df['Value'] = df.apply(my_test2, axis=1)

Laju paling lambat butuh 7,49 kali lebih lama dari yang tercepat. Ini bisa berarti bahwa hasil antara sedang di-cache. 1000 loop, terbaik 3: 481 μs per loop

Contoh 2: membuat vektor menggunakan pandas.apply():

%%timeit
df['a'] % df['c']

Laju paling lambat butuh 458,85 kali lebih lama dari yang tercepat. Ini bisa berarti bahwa hasil antara sedang di-cache. 10000 loop, terbaik 3: 70,9 μs per loop

Contoh 3: membuat vektor menggunakan numpy array:

%%timeit
df['a'].values % df['c'].values

Laju paling lambat butuh 7,98 kali lebih lama dari yang tercepat. Ini bisa berarti bahwa hasil antara sedang di-cache. 100000 loop, terbaik 3: 6,39 μs per loop

Jadi vektorisasi menggunakan array numpy meningkatkan kecepatan hampir dua urutan besarnya.

Ini sama dengan solusi sebelumnya tetapi saya telah mendefinisikan fungsi di df.apply sendiri:

df['Value'] = df.apply(lambda row: row['a']%row['c'], axis=1)

Saya telah memberikan perbandingan ketiganya yang dibahas di atas.

Menggunakan nilai

% timeit df ['value'] = df ['a']. nilai% df ['c']. nilai

139 µs ± 1.91 µs per loop (rata-rata ± st. Dev dari 7 run, masing-masing 10.000 loop)

Tanpa nilai

% timeit df ['value'] = df ['a']% df ['c'] 

216 µs ± 1.86 µs per loop (rata-rata ± st. Dev dari 7 run, masing-masing 1000 loop)

Terapkan fungsi

% timeit df ['Value'] = df.apply (baris lambda: baris ['a']% baris ['c'], sumbu = 1)

474 µs ± 5.07 µs per loop (rata-rata ± st. Dev dari 7 run, masing-masing 1000 loop)