Apa yang dimaksud dengan "permutasi invarian" dalam konteks jaringan saraf yang melakukan pengenalan gambar?

Saya telah melihat versi istilah "invarian permutasi" dari tugas pengenalan digit MNIST. Apa artinya?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
sumber

Jawaban:

Dalam konteks ini ini merujuk pada fakta bahwa model tidak mengasumsikan hubungan spasial antara fitur. Misalnya untuk perceptron multilayer, Anda dapat mengubah piksel dan kinerjanya akan sama. Ini bukan kasus untuk jaringan konvolusional, yang menganggap hubungan lingkungan.

bayerj
sumber

ya, itu bagian yang membingungkan. Bukankah harus ada hubungan spasial dalam mengklasifikasikan angka?

RockTheStar

MNIST banyak digunakan sebagai tolok ukur (atau pemeriksaan kewarasan) dalam jaringan saraf. Jika model Anda bisa mendapatkan <1% kesalahan pada permutasi MNIST invarian, Anda ada sesuatu.

bayerj

Ya, maksud saya tidak ada hubungan spasial dalam digit juga? Jika Anda mengubah piksel digit, itu akan mengubah urutan piksel, yang pada dasarnya mempengaruhi kinerja !?

RockTheStar

Hanya jika model mengasumsikan demikian. mlps tidak, konon lakukan. Itu sebabnya membandingkan convnet ke mlp di mnist agak tidak adil.

bayerj

Saya melihat! Jadi, pada dataset mnist, apakah mlps berkinerja lebih baik atau convnet?

RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

kjetil b halvorsen
sumber

Jawaban ini sedikit menyesatkan, karena dalam pembelajaran mesin algoritma pembelajaran sering permutasi invarian, sedangkan fungsi yang dikembalikan tidak.

bayerj

@bayerj: Itu informasi yang menarik, tapi saya tidak bisa melihat itu membuat definisi yang saya berikan menyesatkan , itu definisi yang benar, tapi mungkin bukan jawaban yang lengkap dalam konteks ini.

kjetil b halvorsen

Anda benar, definisi itu benar. Tetapi itu tidak berlaku dalam cara Anda menuliskannya. Dalam konteks permutasi MNIST invarian, yang ditanyakan oleh OP, fungsi dari bentuk yang Anda tulis tidak terjadi.

bayerj