Sensitivitas BFGS ke perkiraan awal Goni

Saya mencoba menerapkan metode Broyden-Fletcher-Goldfarb-Shanno untuk menemukan fungsi minimum. Saya perlu dua tebakan awal & dan perkiraan awal Matriks Goni . Satu-satunya persyaratan yang saya temukan untuk adalah bahwa jika Hessian pasti positif simetris, demikian juga . Melihat wikipedia, saya melihat bahwa perkiraan awal yang khas adalah (matriks identitas). Apakah ini selalu awal yang baik ? Apakah ada alasan mengapa saya ingin memilih apa pun selain $x_{-1}$ $x_0$ $B_0$ $B_0$ $B_0$ $B_0=I$ $B_0$ $I$ ? Apakah pilihan B lainnya, memenuhi sifat matriks yang sama, sangat mempengaruhi konvergensi metode?

optimization algorithms Paul
sumber

Jawaban:

Jika Anda memiliki perkiraan Hessian yang dibenarkan, lebih baik menggunakannya daripada arbitrer . $B_0=I$

$x^*$ $r>0$ $r+1$ $r+1$ $q=\|B_0^{-1}f''(x^*)-G\|$ $<1$ $r$ $G$ dari matriks identitas. Jadi berusaha membuat ini kecil sangat berharga. (Ini sama dengan mendahului sistem.) Faktor konvergensi meningkat seiring waktu dan akhirnya mendekati nol (konvergensi superlinear), tetapi dalam banyak masalah nyata (terutama yang berdimensi tinggi), seseorang tidak pernah membuat iterasi yang cukup untuk mencapai rezim superlinear. Dengan demikian kecepatan awal cukup penting.

$\|F(x)\|_2^2$ $B_0=F'(x_0)^TF'(x_0)$ $x$

Kasus penting lainnya adalah ketika Anda memecahkan serangkaian masalah terkait. Seringkali, me-restart solver dengan pendekatan Goni akhir dari masalah sebelumnya secara signifikan mengurangi jumlah iterasi yang dibutuhkan.

Arnold Neumaier
sumber

B_{0}

$B_0$

B_{0}

$B_0$

k \to \infty

$k\rightarrow \infty$

@ Paul: Lihat hasil edit saya.

Arnold Neumaier