Bagaimana cara menghitung jumlah fitur berdasarkan resolusi gambar?

Baru saja membahas Hipotesis Non-linear Neural Netowrks Andrew Ng, dan kami memiliki pertanyaan pilihan ganda untuk menentukan jumlah fitur untuk gambar resolusi 100x100 dari intensitas grescale .

Dan jawabannya adalah 50 juta, x10 $5$$10^7$

Namun, sebelumnya untuk 50 x 50 piksel, gambar skala abu-abu. jumlah fitur adalah 50x50 (2500)

Mengapa harus x bukannya ?10 7 10 , $5$$10^7$$10,000$

Namun dia mengatakan termasuk semua istilah kuadratik ( ) sebagai fitur$x_ix_j$

Misalkan Anda belajar mengenali mobil dari gambar 100 × 100 piksel (skala abu-abu, bukan RGB). Biarkan fitur menjadi nilai intensitas piksel. Jika Anda melatih regresi logistik termasuk semua istilah kuadratik ( ) sebagai fitur, tentang berapa banyak fitur yang akan Anda miliki?$x_ix_j$

dan pada slide sebelumnya tentang 100x100, bahwa fitur kuadratik ( x ) = 3 juta fitur, tapi saya masih tidak bisa meletakkan jari pada koneksi.x $x_i$$x_j$

Mungkin kasus yang lebih sederhana akan membuat segalanya lebih jelas. Katakanlah kita memilih sampel piksel 1x2 bukannya 100x100.

Contoh Pixel Dari Gambar

+----+----+
| x1 | x2 |
+----+----+

Bayangkan ketika merencanakan set pelatihan kami, kami perhatikan bahwa itu tidak dapat dipisahkan dengan mudah dengan model linier, jadi kami memilih untuk menambahkan istilah polinomial agar lebih sesuai dengan data.

Katakanlah, kami memutuskan untuk membuat polinomial dengan memasukkan semua intensitas piksel, dan semua kelipatan yang mungkin dapat dibentuk darinya.

Karena matriks kita kecil, mari kita sebutkan:

Menafsirkan urutan fitur di atas dapat melihat bahwa ada pola. Dua istilah pertama, grup 1, adalah fitur yang hanya terdiri dari intensitas pikselnya. Dua istilah berikut setelah itu, grup 2, adalah fitur yang terdiri dari kuadrat intensitasnya. Dua istilah terakhir, grup 3, adalah produk dari semua kombinasi intensitas piksel berpasangan (dua).

grup 1:$x_1,\ x_2$

grup 2:$x_1^2,\ x_2^2$

grup 3:$x_1 \times x_2,\ x_2 \times x_1$

Tapi tunggu dulu, ada masalah. Jika Anda melihat istilah grup 3 dalam urutan ( dan ) Anda akan melihat bahwa mereka sama. Ingat contoh perumahan kami. Bayangkan memiliki dua fitur x1 = cuplikan persegi, dan x2 = cuplikan persegi, untuk rumah yang sama ... Itu tidak masuk akal! Oke, jadi kita perlu menyingkirkan fitur duplikat, katakanlah sewenang-wenang . Sekarang kita dapat menulis ulang daftar fitur grup tiga sebagai:x 2 × x 1 x 2 × x $x_1 \times x_2$$x_2 \times x_1$$x_2 \times x_1$

grup 3:$x_1 \times x_2$

Kami menghitung fitur di ketiga grup dan mendapatkan 5.

Tapi ini adalah contoh mainan. Mari kita dapatkan formula umum untuk menghitung jumlah fitur. Mari kita gunakan grup fitur asli kami sebagai titik awal.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ah! Tetapi kami harus menyingkirkan produk duplikat di grup 3.

Jadi untuk menghitung fitur-fitur untuk grup 3 kita perlu cara menghitung semua produk berpasangan yang unik dalam matriks. Yang dapat dilakukan dengan koefisien binomial, yang merupakan metode untuk menghitung semua kemungkinan subkelompok unik ukuran k dari kelompok ukuran yang sama atau lebih besar n. Jadi untuk menghitung fitur dalam grup 3, hitung .$C(m \times n, 2)$

Jadi rumus umum kami adalah:

Mari kita gunakan untuk menghitung jumlah fitur dalam contoh mainan kami:

Itu dia!

Jika Anda menggunakan semua fitur linear dan kuadratik, jumlah totalnya seharusnya:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

$x^2$

@whuber 50 juta datang ketika Anda memiliki gambar 100 * 100 piksel. di mana kuadrat (100 * 100) = 100000000 (10 juta) dan kuadrat (100 * 100) / 2 = 5 juta. Semoga jawaban ini.