Apakah minimalisasi energi dalam pembelajaran mesin?

Saya membaca tentang pengoptimalan untuk masalah yang salah dalam penglihatan komputer dan menemukan penjelasan di bawah ini tentang pengoptimalan di Wikipedia. Yang tidak saya mengerti adalah, mengapa mereka menyebut optimasi ini " Minimalisasi energi " dalam Visi Komputer?

Masalah optimisasi dapat direpresentasikan dengan cara berikut:

Diberikan: fungsi dari beberapa set ke bilangan real $f: A \to R$ $A$

Dicari: elemen dalam sehingga untuk semua dalam ("minimalisasi") atau sedemikian sehingga untuk semua dalam (" maksimisasi "). $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

Formulasi semacam itu disebut masalah optimisasi atau masalah pemrograman matematis (istilah yang tidak terkait langsung dengan pemrograman komputer, tetapi masih digunakan misalnya dalam pemrograman linier - lihat Sejarah di bawah). Banyak masalah dunia nyata dan teoretis dapat dimodelkan dalam kerangka umum ini. Masalah yang dirumuskan dengan menggunakan teknik ini di bidang fisika dan visi komputer dapat merujuk pada teknik sebagai minimalisasi energi, berbicara tentang nilai fungsi sebagai mewakili energi sistem yang dimodelkan. $f$

machine-learning optimization computer-vision iamprem
sumber

Jawaban:

Model berbasis energi adalah kerangka kerja terpadu untuk mewakili banyak algoritma pembelajaran mesin. Mereka menafsirkan inferensi sebagai meminimalkan fungsi energi dan belajar sebagai meminimalkan fungsional yang hilang.

Fungsi energi adalah fungsi dari konfigurasi variabel laten, dan konfigurasi input yang disediakan dalam contoh. Inferensi biasanya berarti menemukan konfigurasi energi yang rendah, atau pengambilan sampel dari konfigurasi yang memungkinkan sehingga kemungkinan memilih konfigurasi yang diberikan adalah distribusi Gibbs.

Kehilangan fungsional adalah fungsi dari parameter model yang diberikan banyak contoh. Misalnya, dalam masalah pembelajaran yang diawasi, kerugian Anda adalah kesalahan total pada target. Kadang-kadang disebut "fungsional" karena merupakan fungsi dari fungsi (parametrized) yang membentuk model.

Makalah utama:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato, dan FJ Huang, “Tutorial tentang pembelajaran berbasis energi,” dalam Predicting Structured Data, MIT Press, 2006.

Lihat juga:

LeCun, Y., & Huang, FJ (2005). Kehilangan Fungsi untuk Pelatihan Diskriminatif Model Berbasis Energi. Dalam Prosiding Lokakarya Internasional ke-10 tentang Kecerdasan Buatan dan Statistik (AIStats'05). Diperoleh dari http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007). Kerangka Kerja Berbasis Energi Terpadu untuk Pembelajaran Tanpa Pengawasan. Proc Konferensi tentang AI dan Statistik (AI-Stats). Diperoleh dari http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

Neil G
sumber

Dapatkah Anda memperluas arti "Mereka mengartikan inferensi sebagai meminimalkan fungsi energi dan belajar sebagai meminimalkan fungsi kerugian"? Bagaimana fungsi energi berbeda dari fungsi kehilangan?

Cliff AB

Bisakah Anda jelaskan jawaban Anda

iamprem

@CliffAB Semoga itu lebih jelas?

Neil G

@ NeilG: sejujurnya, saya masih sedikit bingung. Bagi saya, sepertinya "fungsi energi" pada dasarnya sama dengan fungsi kemungkinan dalam statistik. Apakah itu interpretasi yang masuk akal atau saya melewatkan sesuatu yang lebih halus?

Cliff AB

@CliffAB: Fungsi energi dapat menjadi log-likelihood dalam hal mana total energi eksponensial adalah satu. Namun, itu bahkan tidak perlu: model berbasis energi non-probabilistik jangan khawatir tentang normalisasi ini, yang dapat membuat belajar mereka lebih efisien daripada model probabilistik. Ini karena ia menghindari mengevaluasi integral mahal pada ruang konfigurasi.

Neil G

Dalam literatur pendeteksian sinyal, energi dari suatu sinyal $x_t$

E = Σ x_{t}^{2}

$E = \Sigma x_t^2$

S S E = Σ (y - \hat{y})^{2}

$SSE= \Sigma (y-\hat{y})^2$

\hat{y}

$\hat{y}$

stan
sumber

Saya pikir Anda mengacaukan kehilangan dengan energi

Neil G

Saya menggunakan definisi standar energi dari pemrosesan sinyal . Ilmu komputer / pembelajaran mesin memang cenderung mendefinisikan ulang istilah, saya kira. Saya berasal dari statistik dan pemrosesan sinyal latar belakang

stan

Formula pertama Anda adalah fungsi energi. Rumus kedua adalah fungsi kerugian karena itu bukan fungsi konfigurasi.

Neil G

@Neil Saya yakin Anda menggunakan terminologi dengan benar seperti yang didefinisikan dalam makalah yang Anda kutip. Itu hanya terminologi yang berbeda dari apa yang saya gunakan di mana SSE adalah energi

stan