Kebingungan tentang aturan Armijo

Saya bingung tentang aturan Armijo yang digunakan dalam pencarian baris. Saya membaca kembali pencarian garis pelacakan tetapi tidak mendapatkan apa aturan Armijo ini semua tentang. Adakah yang bisa menguraikan aturan Armijo? Wikipedia tampaknya tidak menjelaskan dengan baik. Terima kasih

optimization pengguna34790
sumber

Bagaimana jika dalam persamaan variabel x bukan vektor tetapi sebuah matriks? Bagaimana seharusnya aturan Armijo diperbarui?

Frank Puk

tidak ada yang berubah. Anda hanya harus membentuk kembali Anda

X_{k}

$X_k$ -matrix menjadi vektor (kolom)

x_{k}

$x_k$ .

GoHokies

Di situlah saya terjebak. Ketika

menjadi matriks, nilai di sisi kiri (

) masih skalar. Tetapi nilai di sisi kanan tidak - sebagai gantinya, ini adalah matriks (

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$ adalah skalar dan

adalah sebuah matriks.)

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

Frank Puk

Anda harus bekerja dengan vektor, bukan matriks. sehingga Anda membentuk kembali

matriks variabel kontrol (saya sudah dilambangkan dengan

) menjadi vektor

dengan

elemen. Arah pencarian dan gradien juga akan menjadi vektor denganelemen

. dengan cara ini baik RHS dan LHS dari kondisi Armijo adalah skalar dan dapat dibandingkan.

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

GoHokies

Jawaban:

Setelah Anda mendapatkan arah penurunan untuk fungsi tujuan Anda , Anda harus memilih panjang langkah "baik". Anda tidak ingin mengambil langkah yang terlalu besar sehingga fungsi pada titik baru Anda lebih besar dari titik Anda saat ini. Pada saat yang sama, Anda tidak ingin membuat langkah Anda terlalu kecil sehingga perlu waktu lama untuk bisa bertemu. $p$ $f(x)$

Kondisi Armijo pada dasarnya menunjukkan bahwa panjang langkah "baik" adalah sedemikian rupa sehingga Anda memiliki "penurunan yang cukup" pada pada titik baru Anda. Kondisi ini secara matematis dinyatakan sebagai $f$ mana adalah arah keturunan di dan .

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

Intuisi di balik ini adalah bahwa nilai fungsi pada titik baru harus di bawahberkurang"garis singgung" di ke arah . Lihat buku Nocedal & Wright "Numerical Optimization". Dalam Bab 3, ada deskripsi grafis yang sangat baik tentang kondisi penurunan armijo yang cukup. $f(x_k+\alpha p_k)$ $x_k$ $p_k$

Paul
sumber

Daripada menganggapnya sebagai garis singgung Anda juga bisa menganggapnya sebagai ekspansi Taylor urutan pertama. Dalam hal ini

β

$\beta$ hanya memastikan bahwa ukuran langkah

ada.

α

$\alpha$

cjordan1

Alasan mengapa ini penting sama sekali, yaitu mengapa langkah "baik" diperlukan, adalah bahwa banyak skema optimasi akan menyatu lebih lambat, seperti yang dikatakan Paul, atau mungkin tidak sama sekali. Jadi pencarian garis - yang datang dalam beberapa varietas, Armijo adalah yang paling populer - dapat digunakan untuk memberikan algoritma sifat konvergensi yang lebih kuat.

cjordan1

Paul: penjelasan Anda tidak lengkap. Ketimpangan ini saja tidak menjamin penurunan 'cukup'. Bahkan, Anda dapat memiliki alpha = 0, dan masih memenuhi ketidaksetaraan yang Anda tulis. Fitur penting adalah aturan Armijo adalah untuk mengikat ukuran langkah menjauh dari nol, yang dilakukan oleh ketidaksetaraan lain: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

Joris Bierkens

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Lima tahun kemudian, pertanyaan ini masih berlaku.

Di sini (halaman 16 dan 17) Anda dapat menemukan penjelasan yang bagus, termasuk Algoritma.

Bojan Hrnkas
sumber