Tidak bisakah model pembelajaran yang dalam sekarang bisa ditafsirkan? Apakah fitur simpul?

27

Untuk model statistik dan pembelajaran mesin, ada beberapa tingkat interpretabilitas: 1) algoritma secara keseluruhan, 2) bagian dari algoritma secara umum 3) bagian dari algoritma pada input tertentu, dan tiga level ini dibagi menjadi dua bagian masing-masing, satu untuk pelatihan dan satu untuk evaluasi fungsi. Dua bagian terakhir jauh lebih dekat daripada yang pertama. Saya bertanya tentang # 2, yang biasanya mengarah pada pemahaman yang lebih baik dari # 3). (jika itu bukan apa artinya 'interpretabilitas' maka apa yang harus saya pikirkan?)

Sejauh interpretabilitas berjalan, regresi logistik adalah salah satu yang paling mudah untuk ditafsirkan. Mengapa instance ini melewati ambang batas? Karena contoh itu memiliki fitur positif khusus ini dan memiliki koefisien yang lebih besar dalam model. Sangat jelas!

Jaringan saraf adalah contoh klasik dari model yang sulit diinterpretasikan. Apa semua koefisien yang berarti ? Mereka semua menjumlahkan dengan cara-cara gila yang rumit sehingga sulit untuk mengatakan apa yang sebenarnya dilakukan koefisien tertentu.

Tetapi dengan semua jaring saraf yang dalam keluar, rasanya seperti hal-hal menjadi lebih jelas. Model DL (untuk mengatakan visi) tampaknya menangkap hal-hal seperti tepi atau orientasi di lapisan awal, dan di lapisan selanjutnya sepertinya beberapa node sebenarnya semantik (seperti pepatah 'sel nenek' ). Sebagai contoh:

masukkan deskripsi gambar di sini

( dari 'Learning About Deep Learning' )

Ini adalah grafik ( dari banyak di luar sana ) yang dibuat dengan tangan untuk presentasi jadi saya sangat skeptis. Tetapi itu adalah bukti bahwa seseorang berpikir itulah cara kerjanya.

Mungkin di masa lalu tidak ada lapisan yang cukup bagi kita untuk menemukan fitur yang dapat dikenali; model-model itu berhasil, tidak mudah menganalisis post-hoc yang khusus.

Tapi mungkin grafiknya hanya angan-angan. Mungkin NNs benar-benar tidak dapat dipahami.

Tetapi banyak grafik dengan node mereka berlabel gambar juga sangat menarik.

Apakah node DL benar-benar sesuai dengan fitur?

Mitch
sumber
6
Saya tidak melihat premis dari pertanyaan ini. Jaring saraf itu menjadi lebih kompleks dan memberikan prediksi yang lebih baik tidak membuat mereka lebih bisa ditafsirkan. Sebaliknya biasanya benar: kompleksitas / prediksi yang lebih baik <-> kesederhanaan / interpretasi yang lebih baik.
AdamO
4
@ AdamO memang benar. Karena itu, pohon regresi (partisi rekursif) hanya dapat dimaklumi karena hasilnya salah . Mereka salah karena mereka mudah berubah; dapatkan sampel baru dan pohonnya bisa saja berbeda. Dan pohon tunggal tidak kompetitif dalam hal diskriminasi prediktif. Parsimony sering menjadi musuh diskriminasi prediktif. Dan untuk pertanyaan awal, di bidang biomedis, hasil AI / ML belum dapat ditafsirkan.
Frank Harrell
1
Lihat artikel ini Peneliti AI menuduh bahwa pembelajaran mesin adalah alkimia sciencemag.org/news/2018/05/…
Mike Hunter
4
Pertanyaan berani dalam tubuh dan pertanyaan dalam judul Anda sangat berbeda. Sepertinya semua jawaban, termasuk jawaban saya, menjawab pertanyaan dalam judul. Mungkin Anda bisa mengajukan pertanyaan yang lebih sempit tentang node dan fitur di utasnya sendiri? Tetapi sebelum Anda melakukannya, pertimbangkan bahwa Anda telah menautkan ke sebuah makalah yang menjawab pertanyaan berani Anda di afirmatif, jadi pertimbangkan apa, tepatnya, yang ingin Anda pelajari dalam jawaban sebelum bertanya.
Sycorax berkata Reinstate Monica
@ Scorax Tautan yang baru saja saya tambahkan adalah ke posting blog, bukan makalah, dan jadi saya sangat skeptis terhadap pandangan afirmatif. Variasi interpretabilitas yang saya tanyakan tentang DL dalam judul yang saya anggap tebal dalam teks.
Mitch

Jawaban:

30

Interpretasi model yang mendalam masih menantang.

  1. Posting Anda hanya menyebutkan CNN untuk aplikasi penglihatan komputer, tetapi jaringan umpan balik (dalam atau dangkal) dan jaringan berulang tetap sulit dipahami.

  2. Bahkan dalam kasus CNN yang memiliki struktur "pendeteksi fitur" yang jelas, seperti tepi dan orientasi tambalan piksel, tidak sepenuhnya jelas bagaimana fitur tingkat rendah ini dikumpulkan ke atas, atau apa, tepatnya, yang terjadi ketika fitur penglihatan ini dikumpulkan dalam lapisan yang sepenuhnya terhubung.

  3. Contoh permusuhan menunjukkan bagaimana interpretasi jaringan itu sulit. Contoh permusuhan memiliki beberapa modifikasi kecil yang dibuat untuk itu, tetapi menghasilkan perubahan dramatis dalam keputusan yang dibuat oleh model. Dalam konteks klasifikasi gambar, sejumlah kecil noise yang ditambahkan ke gambar dapat mengubah gambar kadal untuk memiliki klasifikasi yang sangat percaya diri sebagai hewan lain, seperti anjing (spesies).

Hal ini terkait dengan interpretabilitas dalam arti bahwa ada hubungan yang kuat dan tidak dapat diprediksi antara jumlah kebisingan yang kecil dengan perubahan keputusan klasifikasi yang besar. Berpikir tentang bagaimana jaringan ini beroperasi, masuk akal: perhitungan pada lapisan sebelumnya disebarkan ke depan, sehingga sejumlah kesalahan - kesalahan kecil yang tidak penting bagi manusia - diperbesar dan diakumulasikan karena semakin banyak perhitungan dilakukan dengan menggunakan input "rusak".

Di sisi lain, keberadaan contoh-contoh permusuhan menunjukkan bahwa interpretasi dari setiap simpul sebagai fitur atau kelas tertentu sulit, karena fakta bahwa simpul yang diaktifkan mungkin tidak ada hubungannya dengan konten aktual dari gambar asli, dan bahwa hubungan ini tidak benar-benar dapat diprediksi dalam hal gambar asli. Tetapi dalam contoh gambar di bawah ini, tidak ada manusia yang tertipu tentang konten gambar: Anda tidak akan membingungkan tiang bendera untuk seekor anjing. Bagaimana kita dapat menginterpretasikan keputusan ini, baik secara agregat (pola kebisingan kecil "mentransmisikan" kadal menjadi anjing, atau tiang bendera menjadi anjing) atau dalam potongan yang lebih kecil (bahwa beberapa fitur detektor lebih sensitif terhadap pola kebisingan daripada gambar yang sebenarnya. konten)?

HAAM adalah metode baru yang menjanjikan untuk menghasilkan gambar permusuhan menggunakan fungsi harmonik. ("Harmonic Adversarial Attack Method" Wen Heng, Shuchang Zhou, Tingting Jiang.) Gambar yang dihasilkan menggunakan metode ini dapat digunakan untuk meniru efek pencahayaan / bayangan dan umumnya lebih sulit bagi manusia untuk dideteksi karena telah diubah.

Sebagai contoh, lihat gambar ini, diambil dari " Gangguan permusuhan universal ", oleh Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, dan Pascal Frossard. Saya memilih gambar ini hanya karena itu adalah salah satu gambar permusuhan pertama yang saya temui. Gambar ini menetapkan bahwa pola noise tertentu memiliki efek aneh pada keputusan klasifikasi gambar, khususnya bahwa Anda dapat membuat sedikit modifikasi pada gambar input dan membuat pengklasifikasi berpikir hasilnya adalah seekor anjing. Perhatikan bahwa gambar asli yang mendasarinya masih jelas: dalam semua kasus, manusia tidak akan bingung untuk berpikir bahwa salah satu gambar bukan-anjing adalah anjing. adversaria

Berikut adalah contoh kedua dari makalah yang lebih kanonik, " MENJELAJAHI DAN Memanfaatkan CONTOH ADVERSARIAL " oleh Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy. Kebisingan yang ditambahkan benar-benar tidak dapat dibedakan dalam gambar yang dihasilkan, namun hasilnya sangat percaya diri diklasifikasikan sebagai hasil yang salah, owa bukan panda. Dalam hal ini, setidaknya, setidaknya ada kesamaan yang lewat antara kedua kelas, karena owa dan panda setidaknya agak mirip secara biologis dan estetis dalam arti luas. panda

Contoh ketiga ini diambil dari " Deteksi Contoh-Contoh Adversarial yang Deneralisasikan Berdasarkan Bi-model Decision Mismatch " oleh João Monteiro, Zahid Akhtar dan Tiago H. Falk. Ini menetapkan bahwa pola kebisingan dapat dibedakan untuk manusia tetapi masih membingungkan pengelompokan.tidak bisa dibedakan

Sebagai referensi, seekor mudpuppy adalah binatang berwarna gelap dengan empat anggota badan dan ekor, sehingga tidak memiliki banyak kemiripan dengan ikan mas. mudpuppy

  1. Saya baru saja menemukan makalah ini hari ini. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. " Properti menarik dari jaringan saraf ". Abstrak menyertakan kutipan yang menarik ini:

Pertama, kami menemukan bahwa tidak ada perbedaan antara unit tingkat tinggi individu dan kombinasi linier acak dari unit tingkat tinggi, menurut berbagai metode analisis unit. Ini menunjukkan bahwa itu adalah ruang, bukan unit individu, yang berisi informasi semantik di lapisan tinggi jaringan saraf.

Jadi, daripada memiliki 'fitur detektor' di tingkat yang lebih tinggi, node hanya mewakili koordinat dalam ruang fitur yang digunakan jaringan untuk memodelkan data.

Sycorax berkata Reinstate Monica
sumber
2
Poin bagus. Tetapi perhatikan bahwa bahkan dalam model yang paling sederhana (logistik, pohon keputusan) tidak jelas mengapa koefisien / ambang tertentu adalah apa adanya (tapi itu bukan interpretasi yang sama dengan yang saya tanyakan). Tidak sepenuhnya tidak berhubungan, adakah studi permusuhan yang baik / contoh untuk bahasa / RNNs / LSTMs?
Mitch
7
Saya juga akan menunjukkan bahwa bahkan model sederhana seperti regresi logistik rentan terhadap serangan musuh. Bahkan, Goodfellow et. Al. menunjukkan bahwa itu adalah model dangkal yang tidak memiliki kemampuan untuk menahan serangan tersebut. Namun kami masih mengklaim dapat menafsirkan regresi logistik.
shimao
2
jawaban yang bagus, kecuali untuk poin 3 yang diperdebatkan karena dua alasan. 1) Sangat jarang terjadi bahwa gambar permusuhan adalah ", untuk manusia, tidak dapat dibedakan dari gambar yang tidak dimodifikasi", kecuali jika manusia tersebut memiliki gangguan penglihatan yang serius. Hampir selalu Anda dapat melihat bahwa gambar memiliki beberapa pola noise yang ditambahkan padanya, terutama di latar belakang, secara estetis menyerupai apa yang disebut JPEG-noise (hanya secara visual: sifat statistik aktual dari gangguan itu berbeda). Apa yang mengejutkan bukanlah bahwa penggolong tidak pasti apakah itu kucing bonafid daripada, katakanlah, 1 /
DeltaIV yang rusak
2
2 / gambar, tapi itu hampir pasti itu bus. 2) Bagaimana contoh permusuhan terkait dengan interpretabilitas? Model linier, model linier umum dan juga pohon keputusan rentan terhadap contoh permusuhan. Sebenarnya lebih mudah untuk menemukan contoh permusuhan yang membodohi regresi logistik, daripada yang membodohi ResNet. Meskipun demikian, kami biasanya menganggap (G) LM sebagai model yang dapat ditafsirkan, jadi saya tidak akan mengaitkan keberadaan contoh permusuhan dengan interpretabilitas model.
DeltaIV
3
@DeltaIV intinya bukan bahwa Anda tidak bisa melihat suara. Setiap jpeg yang terlalu banyak terdegradasi memiliki noise. Intinya adalah bahwa kebisingan dapat dimanipulasi untuk membuat DNN melakukan hal-hal gila, hal-hal yang tidak masuk akal bagi pengamat manusia bahkan jika kebisingan itu sendiri dapat dilihat.
Hong Ooi
13

Lapisan tidak memetakan secara berturut-turut fitur yang lebih abstrak sebersih yang kita inginkan. Cara yang baik untuk melihat ini adalah membandingkan dua arsitektur yang sangat populer.

VGG16 terdiri dari banyak lapisan konvolusional yang ditumpuk satu sama lain dengan lapisan penyatuan sesekali - arsitektur yang sangat tradisional.

Sejak itu, orang-orang telah pindah ke merancang arsitektur residu, di mana setiap lapisan terhubung tidak hanya ke lapisan sebelumnya, tetapi juga satu (atau mungkin lebih) lapisan lebih jauh ke bawah dalam model. ResNet adalah salah satu yang pertama melakukan ini, dan memiliki sekitar 100 lapisan, tergantung pada varian yang Anda gunakan.

Sementara VGG16 dan jaringan serupa memiliki lapisan bertindak dalam cara yang lebih atau kurang dapat ditafsirkan - mempelajari fitur tingkat yang lebih tinggi dan lebih tinggi, ResNets tidak melakukan ini. Sebagai gantinya, orang-orang telah mengusulkan agar mereka terus menyempurnakan fitur untuk membuatnya lebih akurat atau bahwa mereka hanya sekelompok jaringan dangkal yang menyamar , tidak ada yang cocok dengan "pandangan tradisional" pada apa yang dipelajari oleh model dalam.

Sementara ResNet dan arsitektur serupa dengan mudah mengungguli VGG dalam klasifikasi gambar dan deteksi objek, tampaknya ada beberapa aplikasi yang hirarki fitur bottom-up sederhana VGG sangat penting. Lihat di sini untuk diskusi yang baik.

Jadi mengingat arsitektur yang lebih modern tampaknya tidak cocok dengan gambar itu lagi, saya akan mengatakan bahwa kita tidak bisa mengatakan CNN belum bisa ditafsirkan.

shimao
sumber
Agaknya topologi yang sepenuhnya tidak direkayasa / tidak dirancang dari jaringan DL akan menjadi kumpulan perintah acak parsial besar, memasukkan sensor dan menampilkan fungsi yang diinginkan (yaitu, tidak ada upaya layering sama sekali, biarkan pelatihan mengetahuinya). Node di sini akan sangat sulit dipahami. Tetapi bukankah hal semacam itu menyiratkan bahwa semakin dirancang topologi, semakin besar kemungkinan ia memiliki beberapa interpretabilitas?
Mitch
3
@Mitch Beberapa arsitektur terbaru seperti Densenet tampaknya perlahan-lahan merayap ke batas setiap lapisan terhubung ke setiap lapisan lainnya - seperti "jaringan yang tidak dirancang". Tapi yang pasti, ResNet dan Densenet memiliki desain yang lebih canggih dari VGG16, namun orang bisa mengatakan mereka kurang dapat diartikan - jadi tidak, saya tidak berpikir lebih banyak desain berarti lebih dapat diartikan. Kemungkinan, koneksi sparser berarti lebih dapat diartikan.
shimao
7

Subjek disertasi Ph.D saya adalah untuk mengungkapkan sifat-sifat kotak hitam dari jaringan saraf, khususnya jaringan umpan-maju saraf, dengan satu atau dua lapisan tersembunyi.

Saya akan menerima tantangan untuk menjelaskan kepada semua orang apa arti bobot dan istilah bias, dalam jaringan saraf umpan maju satu lapis. Dua perspektif yang berbeda akan dibahas: yang parametrik dan yang probabilistik.

Berikut ini, saya berasumsi bahwa nilai input yang disediakan untuk setiap neuron input semuanya telah dinormalisasi ke interval (0,1), dengan penskalaan linear ( ), di mana keduanya koefisien dan dipilih per variabel input, sehingga . Saya membuat perbedaan antara variabel bilangan real, dan variabel enumerasi (dengan variabel boolean sebagai variabel enumerasi case khusus):xinput=αx+βαβxinput(0,1)

  • Variabel bilangan real disediakan sebagai angka desimal antara dan , setelah penskalaan linear.01
  • Variabel yang disebutkan, ambil hari dalam seminggu (Senin, Selasa, dll.) Diwakili oleh simpul input , dengan , menjadi jumlah hasil yang dapat dipertahankan, yaitu untuk jumlah hari dalam seminggu.vv7

Representasi data input seperti itu diperlukan untuk dapat menginterpretasikan ukuran (nilai absolut) dari bobot pada lapisan input.

Arti parametrik:

  • semakin besar nilai absolut dari berat adalah antara neuron input dan neuron tersembunyi, semakin penting variabel itu, untuk 'menembakkan' simpul tersembunyi tertentu. Bobot mendekati menunjukkan bahwa nilai input sama baiknya dengan yang tidak relevan. 0
  • bobot dari simpul tersembunyi ke simpul keluaran menunjukkan bahwa amplifikasi tertimbang dari variabel input yang dalam arti absolut paling diperkuat oleh neuron tersembunyi itu, sehingga mereka mempromosikan atau meredam simpul keluaran tertentu. Tanda berat menunjukkan promosi (positif) atau penghambatan (negatif).
  • bagian ketiga yang tidak secara eksplisit terwakili dalam parameter jaringan saraf adalah distribusi multivariat dari variabel input. Artinya, seberapa sering terjadi bahwa nilai disediakan untuk memasukkan simpul - dengan bobot yang sangat besar ke simpul tersembunyi ?132
  • istilah bias hanyalah konstanta terjemahan yang menggeser rata-rata neuron tersembunyi (atau keluaran). Kerjanya seperti shift , yang disajikan di atas.β

Memikirkan kembali dari neuron keluaran : neuron tersembunyi mana yang memiliki nilai bobot absolut tertinggi, pada koneksi mereka ke neuron keluaran? Seberapa sering aktivasi setiap simpul tersembunyi mendekati (dengan asumsi fungsi aktivasi sigmoid). Saya berbicara tentang frekuensi, diukur dari set pelatihan. Tepatnya: berapakah frekuensi simpul tersembunyi dan , dengan bobot besar untuk variabel masukan dan , bahwa simpul tersembunyi dan ini mendekati1iltsil1? Setiap node tersembunyi menyebarkan rata-rata tertimbang dari nilai inputnya, menurut definisi. Variabel input mana yang terutama dipromosikan oleh setiap node tersembunyi - atau menghambat? Juga menjelaskan banyak, perbedaan absolut dalam bobot antara bobot yang menyebar dari simpul tersembunyi ke dua simpul keluaran dan .Δj,k=∣wi,jwi,kijk

Node tersembunyi yang lebih penting adalah untuk simpul keluaran (berbicara dalam frekuensi, selama set pelatihan), manakah 'bobot masukan kali frekuensi masukan' yang paling penting? Kemudian kita menutup pada pentingnya parameter jaringan saraf umpan-maju.

Interpretasi probabilitas:

Perspektif probabilistik berarti menganggap jaringan syaraf klasifikasi sebagai pengklasifikasi Bayes (pengklasifikasi optimal, dengan tingkat kesalahan terendah terendah yang ditentukan secara teoritis). Variabel input mana yang memiliki pengaruh pada hasil jaringan saraf - dan seberapa sering? Anggap ini sebagai analisis sensitivitas probabilistik. Seberapa sering dapat memvariasikan satu variabel input menyebabkan klasifikasi yang berbeda? Seberapa sering input neuron memiliki pengaruh potensial pada hasil klasifikasi mana yang paling mungkin, menyiratkan bahwa neuron output yang sesuai mencapai nilai tertinggi?xinput

Kasus individu - pola

Ketika memvariasikan input neuron bernomor dapat menyebabkan klasifikasi yang paling mungkin berubah, kita mengatakan bahwa variabel ini memiliki pengaruh potensial . Ketika memvariasikan hasil variabel enumerasi (mengubah hari kerja dari Senin menjadi Selasa , atau hari kerja lainnya ), dan perubahan hasil yang paling mungkin, maka variabel yang disebutkan memiliki pengaruh potensial pada hasil klasifikasi.xinput[1,0,0,0,0,0,0][0,1,0,0,0,0,0]

Ketika kita sekarang mempertimbangkan kemungkinan perubahan itu, maka kita membicarakan pengaruh yang diharapkan . Berapakah probabilitas mengamati variabel input yang berubah sedemikian rupa sehingga kasus input berubah hasil, mengingat nilai-nilai semua input lainnya ? Pengaruh yang diharapkan mengacu pada nilai yang diharapkan , dari , yaitu . Di sini adalah vektor dari semua nilai input, kecuali dari input . Perlu diingat bahwa variabel yang disebutkan diwakili oleh sejumlah neuron input. Kemungkinan hasil ini di sini dianggap sebagai satu variabel. x aku n p u t E ( x aku n p u tx - aku n p u t ) x - aku n p u t x aku n p u txinputxinputE(xinputxinput)xinputxinput

Miring dalam - dan arti dari parameter NN

Ketika diterapkan pada visi komputer, jaringan saraf telah menunjukkan kemajuan luar biasa dalam dekade terakhir. Jaringan saraf konvolusional yang diperkenalkan oleh LeCunn pada tahun 1989 ternyata memiliki kinerja sangat baik dalam hal pengenalan gambar. Telah dilaporkan bahwa mereka dapat mengungguli sebagian besar pendekatan pengenalan berbasis komputer lainnya.

Properti muncul yang menarik muncul ketika jaringan saraf convolutional dilatih untuk pengenalan objek. Lapisan pertama dari node tersembunyi mewakili detektor fitur tingkat rendah, mirip dengan operator ruang-skala T. Lindeberg, Deteksi Fitur dengan Pemilihan Skala Otomatis, 1998 . Operator ruang-skala ini mendeteksi

  • garis,
  • sudut,
  • Pertigaan

dan beberapa fitur gambar dasar lainnya.

Yang lebih menarik adalah fakta bahwa neuron perseptual pada otak mamalia telah terbukti menyerupai cara kerja ini pada langkah pertama pemrosesan citra (biologis). Jadi dengan CNN, komunitas ilmiah mendekati apa yang membuat persepsi manusia begitu fenomenal. Ini membuatnya sangat berharga untuk melanjutkan penelitian ini lebih lanjut.

Match Maker EE
sumber
Ini menarik - tidak terdengar seperti itu akan memberikan banyak interpretasi dalam hal fitur yang berkorelasi?
khol
Vallue E yang diharapkan (.) Juga dikenal sebagai rata-rata distribusi bersyarat, x_input diberikan input x_, semua variabel lainnya. Karenanya, korelasi sepenuhnya dimasukkan ke dalam konsep pengaruh yang diharapkan ini. Perhatikan bahwa independensi probabilistik memiliki definisi yang lebih luas daripada 'korelasi' - yang terakhir terutama didefinisikan untuk data yang didistribusikan Gaussian.
Match Maker EE
Bagus. Apakah ini semacam generalisasi dari interpretasi regresi logistik ke satu set model regresi yang ditumpuk, yang dimasukkan ke yang berikutnya?
Mitch
Subset dari simpul tersembunyi dapat bertindak sebagai 'OR' logis untuk neuron output, atau lebih seperti logika 'DAN'. ATAU terjadi ketika satu aktivasi simpul tersembunyi cukup untuk menyebabkan neuron output mendekati 1. DAN terjadi ketika hanya sejumlah aktivasi simpul tersembunyi yang dapat menyebabkan aktivasi simpul keluaran dekat dengan 1. Apakah lebih 'OR' atau lebih ' DAN ', itu tergantung pada vektor bobot terlatih' kipas dalam ', ke dalam simpul keluaran.
Match Maker EE