Memecahkan persamaan Hamilton-Jacobi-Bellman; perlu dan cukup untuk optimalitas?

13

Pertimbangkan persamaan diferensial berikut mana adalah status dan sebagai variabel kontrol. Solusi diberikan oleh mana adalah status inital yang diberikan.

x˙(t)=f(x(t),u(t))
xux0:=x(0)
x(t)=x0+0tf(x(s),u(s))ds.
x0:=x(0)

Sekarang pertimbangkan program berikut mana \ rho> 0 menunjukkan preferensi waktu, V (\ cdot) adalah nilainya dan F (\ cdot) fungsi obyektif. Aplikasi ekonomi klasik adalah model pertumbuhan optimal Ramsey-Cass-Koopmans. Persamaan Hamilton-Jacobi-Bellman diberikan oleh \ begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \ in [0, \ infty). \ end {align}

V(x0):=maxu0eρtF(x(t),u(t))dts.t. x˙(t)=f(x(t),u(t))x(0)=x0
ρ>0V()F()
ρV(x)=maxu[F(x,u)+V(x)f(x,u)],t[0,).

Katakanlah saya sudah memecahkan HJB untuk V . Kontrol optimal kemudian diberikan oleh

u=argmaxu[F(x,u)+V(x)f(x,u)].
Saya akan mendapatkan lintasan optimal untuk status dan mengontrol {(x(t),u(t)):t[0,)} .

The wiki Artikel mengatakan

... tetapi ketika diselesaikan di seluruh ruang keadaan, persamaan HJB adalah kondisi yang diperlukan dan cukup untuk optimal.

Dalam Bertsekas (2005) Dinamis Pemrograman dan Kontrol Optimal , Vol 1, 3rd ed., Di Proposisi 3.2.1 ia menyatakan bahwa pemecahan untuk V adalah optimal fungsi biaya-to-go dan terkait u optimal. Namun, ia secara eksplisit menyatakannya sebagai teorema kecukupan.

Sebenarnya, saya hanya ingin memastikan, bahwa jika saya telah memecahkan HJB dan memulihkan keadaan terkait dan mengontrol lintasan, bahwa saya tidak perlu khawatir dengan kondisi optimalitas tambahan.

Larutan

Saya mencoba

Saya pikir saya bisa mendapatkan kondisi yang diperlukan dari prinsip maksimum dengan persamaan HJB itu sendiri.

Tentukan hamiltonian

H(x,u,V(x)):=F(x,u)+V(x)f(x,u)

maka kita memiliki

ρV(x)=maxuH(x,u,V(x))

yaitu

ρV(x)=H(x,u,V(x)).

Tentukan fungsi sembarang q:[0,)R dengan q(0)=limtq(t)=0 . Sekarang perbaiki

x=x+εq

di mana adalah parameter. Masukkan istilah ke dalam hamiltonian maksimal yang memberi ρ V ( x + ε q ) = H ( x + ε q , u , V ( x + ε q ) ) .εR

ρV(x+εq)=H(x+εq,u,V(x+εq)).

Pada kami memiliki solusi optimal. Jadi bedakan dengan untuk mendapatkan kondisi urutan pertama ε ρ V q = H x q + H V V q .ε=0ε

ρVq=Hxq+HVVq.

Sekarang tentukan variabel adjoint dengan

λ=V(x).

Bedakan dari waktu ke waktu

λ˙=Vx˙.

dan perhatikan bahwa

HV=f(x,u)=x˙.

Tancapkan everthing ke foc yang memberikan

ρλ=Hx+λ˙.

Cukup banyak. Jadi penyelesaian HJB memang perlu dan memadai (dihilangkan di sini) untuk optimalitas. Seseorang harus menambahkannya ke wiki. Mungkin menghemat waktu untuk orang-orang yang berpikir tentang masalah seperti itu (tidak akan banyak menurut saya).

Namun kondisi transversalitas hilang.

limteρtλ(t)=0

II Mencoba

Tentukan fungsional hasil

J(u):=0eρtF(x,u)dt

Perhatikan bahwa dengan definisi . Tambahkan Term netral ke pembayaran funtional

0eρtλ[f(x,u)x˙]dt=0
x˙=f(x,u)
J(u)=0eρt[F(x,u)+λf(x,u)]dt0eρtλx˙dt=0eρtH(x,u,λ)0eρtλx˙dt

Integrasi dengan bagian-bagian dari istilah yang tepat dan hasil rhs

0eρtλx˙dt=[eρtλ(t)x(t)]00eρtx(λ˙ρλ)dt

Ganti kembali istilah itu

J(u)=0eρt[H(x,u,λ)+x(λ˙ρλ)]dtlimteρtλ(t)x(t)+λ(0)x(0)

Tentukan

x=x+εqu=u+εp

yang memberi

J(ε)=0eρt[H(x+εq,u+εp,λ)+(x+εq)(λ˙ρλ)]dtlimteρtλ(t)[x(t)+εq(t)]+λ(0)x(0)

FOC untuk maksimumJ ε = 0 e - ρ t [ H x q + H u p + q ( ˙Jε=0

Jε=0eρt[Hxq+Hup+q(λ˙ρλ)]dtlimteρtλ(t)q(t)=0

Karena dan tidak dibatasi, kita harus memiliki qp

Hu=0Hx=ρλλ˙limteρtλ(t)=0
tidak mengerti
sumber
Sudahkah Anda mengidentifikasi kondisi yang diperlukan dan cukup?
Jamzy
Dalam konteks ekonomi apa ini muncul?
Stan Shunpike
Model Ramsey misalnya cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf
clueless
1
Saya pikir utas ini lebih cocok untuk math.stackexchange.com karena tidak benar-benar terkait dengan econ. Mod dapat mentransfernya.
tidak mengerti
Saya tidak yakin apa yang ditanyakan di sini: jika per Bertsekas menyelesaikan HJB sudah cukup , maka Anda tidak perlu "khawatir tentang kondisi optimalitas tambahan". "Cukup hanya" terhadap "perlu dan cukup" akan muncul jika HJB tidak terpecahkan - dalam hal ini orang akan mengatakan "ini tidak berarti bahwa tidak ada solusi". Omong-omong, Usaha Anda I dan II adalah konten yang berharga di sini - yang pertama menunjukkan tautan antara HJB dan Kontrol Optimal, yang kedua menunjukkan bagaimana FOC Kontrol Optimal dapat diturunkan.
Alecos Papadopoulos

Jawaban:

1

(Ini mungkin harus dianggap sebagai komentar.)

Jika Anda telah menyelesaikan persamaan HJB, itu sudah cukup untuk mendapatkan solusi optimal. Jadi Anda tidak "harus peduli dengan kondisi optimal lainnya," yang menurut saya tampaknya menjawab pertanyaan Anda.

Tampaknya Anda khawatir tentang komponen teorema yang "perlu". Sisi keharusan dari pernyataan tersebut adalah sebagai berikut: jika ada solusi optimal, harus ada solusi untuk persamaan HJB.

Saya belum bekerja dengan masalah khusus ini, tetapi jawabannya secara umum adalah bahwa kita tidak berharap memiliki fungsi terdiferensiasi V. Karenanya kita tidak memiliki solusi untuk persamaan seperti yang dinyatakan. Sebaliknya, kita perlu melihat turunan umum, dan mengubah persamaan HJB menjadi ketidaksetaraan. Dalam hal ini, Anda mungkin mendapatkan "solusi viskositas." Jika kami memperluas penggunaan derivatif umum, dimungkinkan untuk membuktikan bahwa solusi seperti itu selalu ada. Melirik bukti Anda, mereka tidak akan membantu pada kondisi kebutuhan, karena Anda mengasumsikan dapat dibedakan.

Brian Romanchuk
sumber