Bagaimana cara menghapus variabel collinear secara sistematis di Python? [Tutup]

Sejauh ini, saya telah menghapus variabel linier sebagai bagian dari proses persiapan data dengan melihat tabel korelasi dan menghilangkan variabel yang berada di atas ambang batas tertentu. Apakah ada cara yang lebih diterima untuk melakukan ini? Selain itu, saya menyadari bahwa hanya melihat korelasi antara 2 variabel pada suatu waktu tidak ideal, pengukuran seperti VIF memperhitungkan potensi korelasi antar beberapa variabel. Bagaimana orang pergi secara sistematis memilih kombinasi variabel yang tidak menunjukkan multikolinieritas?

Saya memiliki data saya dalam bingkai data panda dan saya menggunakan model sklearn.

Terima kasih SpanishBoy - Ini adalah kode yang bagus. @ilanman: Ini memeriksa nilai VIF dan kemudian menjatuhkan variabel yang VIF lebih dari 5. Dengan "kinerja", saya pikir maksudnya run time. Kode di atas membutuhkan waktu sekitar 3 jam untuk berjalan di sekitar 300 variabel, 5.000 baris.

Omong-omong, saya telah memodifikasinya untuk menghapus beberapa loop tambahan. Juga, saya membuatnya sedikit lebih bersih dan mengembalikan bingkai data dengan variabel yang dikurangi. Versi ini mengurangi waktu menjalankan saya hingga setengah! Kode saya di bawah- Semoga membantu.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

Anda dapat mencoba menggunakan kode di bawah ini:

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

Itu berhasil, tapi saya tidak suka kinerja pendekatan itu

Saya mencoba jawaban SpanishBoy dan menemukan kesalahan serval ketika menjalankannya untuk data-frame. Berikut adalah solusi yang di-debug.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

Saya juga tidak memiliki masalah dengan kinerja, tetapi belum mengujinya secara ekstensif.