Pemilihan parameter untuk algoritma genetika

Bagaimana seseorang dapat memilih jumlah parameter yang tepat untuk algoritma genetika untuk memodelkan sistem yang diberikan?

Misalnya, Anda ingin mengoptimalkan produksi mobil, dan Anda memiliki 1.000 pengukuran efisiensi per jam di berbagai tugas untuk masing-masing 1.000 karyawan yang berbeda. Jadi, Anda memiliki 1.000.000 titik data. Sebagian besar dari ini cenderung berkorelasi lemah dengan efisiensi keseluruhan pabrik Anda, tetapi tidak terlalu lemah sehingga Anda dapat mengatakan mereka tidak relevan dengan kepercayaan statistik. Bagaimana Anda memilih input untuk GA Anda sehingga Anda tidak memiliki kebebasan 1.000.000 derajat, menghasilkan konvergensi yang sangat lambat atau tidak ada konvergensi sama sekali?

Secara khusus, algoritma apa yang dapat digunakan untuk memilih atau menghilangkan fitur secara selektif?

Salah satu pendekatan yang saya telah digunakan sendiri dalam skenario ini adalah untuk berkembang pemilihan parameter itu sendiri, jadi saya mungkin memiliki orang tua seperti {a,b,c}, {b,d,e,q,x,y,z}, dan sebagainya. Saya kemudian akan bermutasi anak-anak untuk menambah atau menjatuhkan fitur. Ini bekerja dengan baik untuk beberapa lusin fitur. Tetapi masalahnya adalah bahwa itu tidak efisien jika ada sejumlah besar derajat kebebasan. Dalam hal ini, Anda melihat 10^nkombinasi (dalam contoh di atas, 10^1,000,000), yang membuat beberapa fitur pra-penyaringan penting untuk mendapatkan segala jenis kinerja yang berguna.

Pertama-tama - contohnya tampaknya tidak cocok karena Anda mungkin akan menggunakan beberapa regresi atau metode ML klasik untuk menyelesaikan ini. Kedua - Anda merujuk pada masalah umum pemilihan fitur (Kira, Rendell, 1992) atau pemilihan atribut (Hall, Holmes, 2003) atau pemilihan variabel (Guyon, Elisseeff, 2003) atau pemilihan subset variabel (Stecking, Schebesch, 2005) atau ekstraksi fitur (Hillion, Masson, Roux, 1988) atau pengurangan dimensi (Roweis, Saul, 200) atau abstraksi negara (Amarel, 1968). Masalah ini relevan tidak hanya untuk algoritma genetika tetapi untuk hampir semua teknik pembelajaran mesin ketika berhadapan dengan data dimensi tinggi.

Tiga kasus dapat dibedakan di sini: contoh terakhir dari masalah ini dikenal sebagai abstraksi negara biasanya terkait dengan pemodelan proses (yang sesuai dengan contoh Anda, tetapi bukan konteks GA). Tiga yang pertama, yaitu pemilihan fitur , pemilihan atribut atau pemilihan variabel tampaknya paling relevan ketika mengambil pertanyaan Anda secara harfiah. Dalam konteks ini solusi umum adalah pendekatan mRMR (Peng, Long, Ding, 2005) . Dari pengalaman saya itu tidak selalu bekerja dengan baik dengan data kontinu - namun, informasi timbal balik dapat diganti dengan koefisien lainnya, seperti korelasi misalnya. Pendekatan lain yang mungkin adalah menggunakan validasi silang (Picard, Cook, 1984)untuk ini. Anda dapat memiliki beberapa model masing-masing menggunakan fitur yang berbeda, dan melalui pemilihan model dengan teknik cross-validasi Anda memilih model terbaik, yang memberi Anda informasi tentang fitur mana yang paling cocok untuk tugas yang diberikan.

Kasus ekstraksi fitur dan pengurangan dimensi tidak hanya memungkinkan untuk memilih fitur awal, tetapi juga kombinasi mereka. Contoh solusi yang terkenal untuk kasus ini adalah algoritma PCA (Pearson, 1901) , yang menghasilkan varian varian yang optimal, yang ditetapkan, yang merupakan kombinasi linear dari fitur input.

Perhatikan juga, bahwa ada banyak model yang menangani sendiri tugas ekstraksi fitur. Beberapa contoh adalah: Growing Neural Gas Network (Fritzke, 1995) , LASSO (Tibshirani, 2011) , RFE SVM (Zeng, Chen, Tao, 2009) , Pohon Keputusan (Quinlan, 1986) .

Referensi:

• Kenji Kira dan Larry A. Rendell. 1992. Pendekatan praktis untuk pemilihan fitur. Dalam Prosiding lokakarya internasional kesembilan tentang pembelajaran Mesin (ML92), Derek Sleeman dan Peter Edwards (Eds.). Penerbit Morgan Kaufmann Inc., San Francisco, CA, AS, 249-256.

• Hall, MA; Holmes, G., "teknik pemilihan atribut Benchmarking untuk penambangan data kelas diskrit," Pengetahuan dan Rekayasa Data, Transaksi IEEE, vol.15, no.6, pp.1437,1447, November-Desember. 2003

• Isabelle Guyon dan André Elisseeff. 2003. Pengantar pemilihan variabel dan fitur. J. Mach. Belajar. Res. 3 (Maret 2003), 1157-1182.

• Ralf Stecking, Klaus B. Schebesch. 2005. Pemilihan Subset Variabel untuk Pemberian Skor Kredit dengan Mesin Vektor Dukungan, Prosiding Riset Operasi 2005, Springer Berlin Heidelberg, (2005), hlm. 251-256

• Hillion, A .; Masson, P .; Roux, C., "Sebuah pendekatan nonparametrik untuk ekstraksi fitur linear; aplikasi untuk klasifikasi tekstur sintetis biner," Pattern Recognition, 1988., Konferensi Internasional ke-9 tentang, vol., No., Pp.1036.1010 vol.2, 14 -17 November 1988

• Pengurangan dimensi nonlinier dengan penyisipan linear lokal. Sam Roweis & Lawrence Saul. Sains, v.290 no.5500, Dec.22, 2000. pp.2323--2326.

• Amarel, S. (1968). Pada representasi masalah penalaran tentang tindakan, Kecerdasan Mesin, (3), 131-171

• Peng, H .; Fulmi Long; Ding, C., "Pemilihan fitur berdasarkan kriteria saling informasi max-dependency, max-relevance, dan min-redundancy," Analisis Pola dan Kecerdasan Mesin, Transaksi IEEE pada, vol.27, no.8, pp.1226, 1238, Agustus 2005

• Richard R. Picard dan R. Dennis Cook, Jurnal Asosiasi Statistik Amerika Vol. 79, No. 387 (Sep., 1984), hlm. 575-583

• Pada garis dan bidang yang paling dekat dengan sistem poin di luar angkasa Philosophical Magazine, Vol. 2, No. 6. (1901), hlm. 559-572 oleh K. Pearson

• Jaringan Gas Neural Berkembang Mempelajari Topologi, Bernd Fritzke, Konferensi: Sistem Pemrosesan Informasi Neural - NIPS, hlm. 625-632, 1994

• Penyusutan dan seleksi regresi melalui laso: retrospektif, Robert Tibshirani, Jurnal Royal Statistics Society Seri B, 2011, vol. 73, edisi 3, halaman 273-282

• Xiangyan Zeng; Yen-wei Chen; Caixia Tao; Van Alphen, D., "Pemilihan Fitur Menggunakan Eliminasi Fitur Rekursif untuk Pengenalan Digit Tulisan Tangan," Menyembunyikan Informasi Cerdas dan Pemrosesan Sinyal Multimedia, 2009. IIH-MSP '09. Konferensi Internasional Kelima pada, vol., No., Hlm.1205.1208, 12-14 September 2009

• JR Quinlan. 1986. Induksi Pohon Keputusan. Mach Belajar. 1, 1 (Maret 1986), 81-106.

Saya belum pernah melakukan ini sebelumnya, dan jelas tidak memiliki akses ke data tersebut, tetapi cara yang berpotensi baik untuk melakukan ini adalah melalui pengelompokan . Untuk setiap karyawan, kami memiliki vektor n-dimensi, di mana masing-masing dimensi bekerja sama untuk tugas yang berbeda. Kemudian, kita dapat menggunakan pengelompokan untuk mengelompokkan karyawan "serupa" bersama-sama; namun, ini hanya akan tergantung pada data Anda, yaitu sangat mungkin bahwa hanya dengan memberi 1.000 karyawan pengelompokan akan menghasilkan kelompok-kelompok karyawan yang tidak benar-benar semua yang terkait, dan jadi sementara kami mungkin mendapatkan pengurangan populasi, itu mungkin dengan mengorbankan kehilangan informasi.