Membangun fungsi kerugian spesifik masalah

Deskripsi Masalah

Saya memulai konstruksi jaringan untuk masalah yang menurut saya bisa memiliki fungsi kerugian yang jauh lebih mendalam daripada regresi MSE sederhana.

Masalah saya berkaitan dengan klasifikasi multi-kategori ( lihat pertanyaan saya di SO untuk apa yang saya maksudkan dengan ini), di mana ada jarak atau hubungan yang ditentukan antara kategori yang harus diperhitungkan.

Poin lain adalah bahwa kesalahan tidak boleh dipengaruhi oleh jumlah kategori tembak yang ada. Yaitu kesalahan untuk 5 kategori menembak masing-masing sebesar 0,1, harus sama dengan 1 kategori menembakkan sebesar 0,1. (dengan menembakkan maksud saya bahwa mereka tidak nol, atau di atas ambang batas tertentu)

Poin-poin penting

• klasifikasi multi-kategori (multiple firing sekaligus)
• hubungan antar kategori
• hitungan kategori menembak tidak boleh menimbulkan kerugian:
  • 

Percobaan saya

Mean Squared Error sepertinya tempat yang baik untuk memulai:

Ini hanya mempertimbangkan kategori demi kategori, yang masih berharga dalam masalah saya tetapi melewatkan sebagian besar gambar.

Ini adalah usaha saya untuk memperbaiki ide jarak antar kategori. Selanjutnya saya ingin memperhitungkan jumlah kategori yang ditembakkan ( sebut saja: v )

Pertanyaan saya

Saya memiliki latar belakang statistik yang sangat lemah; akibatnya, saya tidak memiliki banyak alat di ikat pinggang saya untuk memulai masalah seperti ini. Topik utama dari apa yang saya tanyakan adalah "Ketika membentuk fungsi biaya, bagaimana cara mengkombinasikan beberapa ukuran biaya? Atau teknik apa yang dapat diterapkan untuk melakukannya?" . Saya juga akan menghargai jika ada kekurangan dalam proses pemikiran saya diekspos dan diperbaiki.

Saya menghargai diajarkan mengapa kesalahan saya adalah kesalahan, bukan karena seseorang hanya memperbaikinya tanpa penjelasan.

Jika ada pertanyaan yang kurang jelas atau tidak dapat diperbaiki, beri tahu saya.

Anda dapat menggunakan kerugian engsel yang merupakan batas atas pada kerugian klasifikasi; yaitu, ia menghukum model jika label kategori penilaian tertinggi berbeda dari label kelas kebenaran-tanah.

Untuk detail lebih lanjut tentang hubungan antara kehilangan klasifikasi dan kehilangan engsel, Anda dapat membaca Bagian 2 dari makalah luar biasa ini dari CNJ Yu dan T. Joachims.

Singkatnya, ada kehilangan tugas , biasanya dilambangkan dengan$\Delta \left( y_i, \hat{y}(x_i) \right)$, Yang mengukur penalti untuk memprediksi output $\hat{y}(x_i)$ untuk input $x_i$ ketika output (ground-truth) yang diharapkan adalah $y_i$. Hilangnya tugas untuk klasifikasi multi-kelas biasanya didefinisikan sebagai$\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$. Namun, asalkan$\Delta$ hanya tergantung pada dua label $y$ dan $\hat{y}$, Anda dapat mendefinisikannya sesuka Anda. Secara khusus, orang dapat melihat$\Delta$ sebagai sewenang-wenang $K \times K$ matriks dimana $K$ adalah jumlah kategori dan $\Delta(a, b)$ menunjukkan penalti mengklasifikasikan input kategori $a$ sebagai milik kategori $b$.

Sebagai contoh: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\ $