Periksa apakah kolom panda berisi semua elemen dari daftar

Saya punya df seperti ini:

frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c']})

Dan daftar barang:

letters = ['a','c']

Tujuan saya adalah mendapatkan semua baris dari frameyang berisi setidaknya 2 elemen diletters

Saya datang dengan solusi ini:

for i in letters:
    subframe = frame[frame['a'].str.contains(i)]

Ini memberi saya apa yang saya inginkan, tetapi itu mungkin bukan solusi terbaik dalam hal skalabilitas. Apakah ada solusi 'vectorised'? Terima kasih

Saya akan membuat daftar Seri, dan kemudian menerapkan vektor np.all:

contains = [frame['a'].str.contains(i) for i in letters]
resul = frame[np.all(contains, axis=0)]

Ini memberi seperti yang diharapkan:

       a
0  a,b,c
1  a,c,f
3  a,z,c

Salah satu caranya adalah dengan membagi nilai kolom menjadi daftar menggunakan str.split, dan memeriksa apakah set(letters)adalah subsetdari daftar yang diperoleh:

letters_s = set(letters)
frame[frame.a.str.split(',').map(letters_s.issubset)]

     a
0  a,b,c
1  a,c,f
3  a,z,c
​

Benchmark:

def serge(frame):
    contains = [frame['a'].str.contains(i) for i in letters]
    return frame[np.all(contains, axis=0)]

def yatu(frame):
    letters_s = set(letters)
    return frame[frame.a.str.split(',').map(letters_s.issubset)]

def austin(frame):
    mask =  frame.a.apply(lambda x: np.intersect1d(x.split(','), letters).size > 0)
    return frame[mask]

def datanovice(frame):
    s = frame['a'].str.split(',').explode().isin(letters).groupby(level=0).cumsum()
    return frame.loc[s[s.ge(2)].index.unique()]

perfplot.show(
    setup=lambda n: pd.concat([frame]*n, axis=0).reset_index(drop=True), 

    kernels=[
        lambda df: serge(df),
        lambda df: yatu(df),
        lambda df: df[df['a'].apply(lambda x: np.all([*map(lambda l: l in x, letters)]))],
        lambda df: austin(df),
        lambda df: datanovice(df),
    ],

    labels=['serge', 'yatu', 'bruno','austin', 'datanovice'],
    n_range=[2**k for k in range(0, 18)],
    equality_check=lambda x, y: x.equals(y),
    xlabel='N'
)

Anda bisa menggunakan np.intersect1d:

import pandas as pd
import numpy as np

frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c']})
letters = ['a','c']

mask =  frame.a.apply(lambda x: np.intersect1d(x.split(','), letters).size > 0)
print(frame[mask])

    a
0  a,b,c
1  a,c,f
3  a,z,c

Ini juga menyelesaikannya:

frame[frame['a'].apply(lambda x: np.all([*map(lambda l: l in x, letters)]))]

Gunakan set.issubset :

frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c','x,y']})
letters = ['a','c']

frame[frame['a'].apply(lambda x: set(letters).issubset(x))]

Out:

       a
0  a,b,c
1  a,c,f
3  a,z,c

IIUC, explodedan filter boolean

idenya adalah untuk membuat satu seri maka kita dapat mengelompokkan berdasarkan indeks menghitung kejadian sebenarnya dari daftar Anda menggunakan jumlah kumulatif

s = frame['a'].str.split(',').explode().isin(letters).groupby(level=0).cumsum()

print(s)

0    1.0
0    1.0
0    2.0
1    1.0
1    2.0
1    2.0
2    0.0
2    0.0
2    0.0
3    1.0
3    1.0
3    2.0

frame.loc[s[s.ge(2)].index.unique()]

out:

       a
0  a,b,c
1  a,c,f
3  a,z,c

frame.iloc[[x for x in range(len(frame)) if set(letters).issubset(frame.iloc[x,0])]]

keluaran:

        a
 0  a,b,c
 1  a,c,f
 3  a,z,c

timeit

%%timeit
#hermes
frame.iloc[[x for x in range(len(frame)) if set(letters).issubset(frame.iloc[x,0])]]

keluaran

300 µs ± 32.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)