Optimalisasi model komputer stokastik

Ini adalah topik yang sulit bagi saya untuk Google karena memiliki kata optimasi dan stokastik dalam pencarian hampir secara otomatis default untuk mencari optimasi stokastik. Tetapi apa yang saya benar-benar ingin tahu adalah metode apa yang ada untuk optimasi model komputer ketika output model komputer stochastic, yaitu, tidak deterministik?

Misalnya, jika Anda mempertimbangkan model komputer di mana ada beberapa fungsi tidak diketahui yang mewakili output dari model komputer, maka ada banyak metode statistik untuk menyelesaikan masalah seperti$f(x)$

$$\begin{align*} \min&\,\,\,\, f(x)\\ x&\in\mathcal{X} \end{align*}$$

ketika $f(x)$ bersifat deterministik. Tetapi apa yang terjadi ketika $f(x)$ adalah stokastik? Apakah ada solusi untuk masalah tersebut, atau paling-paling hanya bisa kita pecahkan

$$\begin{align*} \min&\,\,\,\, \mathbb{E}[f(x)]\\ x&\in\mathcal{X} \end{align*}$$

di mana $\mathbb{E}(\cdot)$ adalah operator ekspektasi yang biasa.

( Memperluas komentar saya ke jawaban yang tepat. )

Seperti yang saya sebutkan, itu tergantung pada tujuan Anda.

Nilai yang diharapkan hanya satu dari banyak pilihan yang mungkin untuk target optimisasi. Misalnya, dengan asumsi bahwa terdistribusi normal, Anda dapat melakukan:f ( x $\mathbb{E}[f(x)]$$f(x)$

κ∈Rκ>0κ

$$x^\text{opt} = \arg \min_x \left\{ \mathbb{E}[f(x)] + \kappa \sqrt{\mathbb{Var}[f(x)]} \right\}$$ untuk beberapa yang memanipulasi sensitivitas risiko. Jika Anda mencari solusi yang kuat yang mungkin yang terbaik dan mencegah fluktuasi positif yang besar. Begitu juga sebaliknya, negatif akan mendukung optimisasi "optimistis" yang mencari fluktuasi negatif yang besar (negatif baik karena kami meminimalkan). Anda dapat memilih berdasarkan pada kuantil dari distribusi normal (lihat referensi 2 di bawah).$\kappa \in \mathbb{R}$$\kappa > 0$$\kappa$$\kappa$

Secara umum, optimasi Bayesian (BO, yang terkait dengan proses Gaussian dan kriging ) berkaitan dengan evaluasi fungsi yang mahal dan terkadang bising; meskipun sebagian besar fokus literatur telah pada bagian sebelumnya. Anda dapat menemukan ulasan untuk optimasi Bayesian di pertanyaan ini .

Beberapa orang telah menerapkan BO ke fungsi bising. Sebagai pengantar topik, David Ginsbourger memberikan pidato yang bagus berjudul "Variasi pada Peningkatan yang Diharapkan" di Workshop Proses Gaussian untuk Optimasi Global (Sheffield, 17 September 2015). Anda dapat menemukan ceramahnya di sini , dan semua pembicaraan tersedia di halaman ini (saya juga merekomendasikan semua pembicaraan lainnya sebagai pengantar umum yang sangat baik untuk BO.)

Sebagai referensi, saya akan mulai dengan pekerjaan yang dilakukan oleh Ginsbourger dan kolega, dan Gramacy dan kolega:

1. Picheny, V. dan Ginsbourger, D., 2014. "Metode optimisasi berbasis bising kriging: implementasi terpadu dalam paket DiceOptim". Statistik Komputasi & Analisis Data , 71, hal.1035-1053. ( tautan )

2. Picheny, V., Ginsbourger, D., Richet, Y. dan Caplin, G., 2013. "Optimasi berbasis kuantil dari eksperimen komputer berisik dengan presisi yang dapat ditala". Technometrics , 55 (1), hal.2-13. ( tautan )

3. Gramacy, RB dan Lee, HK, 2012. "Bayesian mengamati model proses Gaussian dengan aplikasi untuk pemodelan komputer". Jurnal Asosiasi Statistik Amerika . ( tautan )

4. Gramacy, RB and Apley, DW, 2015. "Perkiraan proses Gaussian lokal untuk eksperimen komputer besar". Jurnal Statistik Komputasi dan Grafik , 24 (2), hlm.561-578. ( tautan )

Kedua Ginsburger dan Gramacy memiliki paket R yang menerapkan metode BO mereka, masing-masing DiceOptim dan TGP .

Jawaban saat ini fokus pada definisi yang tepat (matematis) dari target optimasi stokastik - Saya ingin memberikan perspektif yang sedikit lebih terapan.

Masalah ini sering terjadi ketika memasang model stokastik, misalnya menggunakan kemungkinan informal atau sintetis. Referensi (1) memberi Anda daftar opsi yang dapat digunakan untuk menentukan jarak antara model stokastik dan data.

Setelah menetapkan target Anda dengan cara ini, masalah yang tersisa adalah menemukan optimal dari beberapa rata-rata target yang berisik. Ada dua rute yang harus ditempuh, a) optimisasi, dan b) pengambilan sampel MCMC. Anda bertanya secara spesifik tentang pengoptimalan, tetapi saya ingin memasukkan MCMC karena mereka sering berperilaku lebih baik untuk tugas ini.

a) Jika Anda tetap dengan optimasi, Anda perlu memastikan bahwa Anda tidak terjebak dan bahwa optimizer dapat menangani target stokastik. Bab 4 dalam tesis PhD Matteo Fasiolo memberikan beberapa petunjuk, lihat (2).

b) Seperti yang kita catat dalam (1), MCMC umumnya lebih kuat terhadap target stokastik - dalam kondisi ringan mengenai distribusi kebisingan, MCMC akan meratakan kebisingan secara rata-rata, dan target sampel akan dapat dibedakan dari yang tidak berisik. target dengan rata-rata target berisik. Namun, MCMC juga bisa macet ketika menghadapi evaluasi yang sangat baik. Apa yang TIDAK HARUS Anda LAKUKAN sekarang adalah mendapatkan gagasan "jelas" berikut: cukup hitung nilai saat ini dan yang diusulkan dalam setiap iterasi MCMC. Kata kunci untuk mencari di sini adalah "pseudo-marginal", lihat juga di sini dan di sini .

1) Hartig, F .; Calabrese, JM; Reineking, B .; Wiegand, T. & Huth, A. (2011) Kesimpulan statistik untuk model simulasi stokastik - teori dan aplikasi . Ecol. Lett., 14, 816-827.

2) Fasiolo, M. (2016) Metode Statistik untuk Dinamika Populasi Kompleks . Universitas Bath

Katakanlah kita berada dalam ruang probabilitas diskrit sehingga . Secara intuitif, Anda memerlukan beberapa fungsi sehingga Anda dapat mengoptimalkan . Anda hanya dapat mengoptimalkan satu tujuan! U : R n → R U ( f ( x ) $f(x) \in \mathcal{R}^n$$U: \mathcal{R}^n \rightarrow \mathcal{R}$$U(f(x))$

Mengoptimalkan fungsi obyektif tunggal mungkin terdengar cukup menghambat, tetapi ternyata tidak ! Alih-alih satu tujuan dapat mewakili preferensi yang sangat beragam yang mungkin Anda miliki atas apa yang merupakan solusi yang lebih baik atau lebih buruk.

Melompati ke depan, tempat sederhana untuk memulai mungkin memilih variabel acak kemudian menyelesaikan:$\lambda$

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $x$)} & E\left[\lambda f(x) \right] \\ \mbox{subject to} & x \in X \end{array}$$ Ini adalah pembobotan linear ulang sederhana dari . Lagi pula, inilah argumen mengapa runtuh beberapa tujuan ke satu tujuan biasanya ok.$E[f(x)]$

Pengaturan dasar:

• Anda memiliki variabel pilihan dan himpunan layak .$x$$X$
• Pilihan menghasilkan hasil acak$x$$\tilde{y} = f(x)$
• Anda memiliki preferensi rasional sebelum hasil acak. (Pada dasarnya, Anda dapat mengatakan apakah Anda lebih suka satu hasil acak dari yang lain.)$\prec$$\tilde{y}$

Masalah Anda adalah memilih sedemikian rupa sehingga:$x^*\in X$

$$\nexists_{x \in X} \quad f(x^*) \prec f(x)$$ Dalam bahasa Inggris, Anda ingin memilih sehingga tidak ada pilihan yang layak mengarah ke hasil yang disukai dari .$x^*$$x$$f(x^*)$

Kesetaraan dengan memaksimalkan utilitas (dalam kondisi teknis tertentu)

Untuk kesederhanaan teknis, saya akan mengatakan kita berada dalam ruang probabilitas diskrit dengan hasil sehingga saya dapat mewakili hasil acak dengan vektor .$n$$\tilde{y}$$\mathbf{y} \in \mathcal{R}^n$

Dalam kondisi teknis tertentu (yang tidak membatasi dalam arti praktis), masalah di atas setara dengan memaksimalkan fungsi utilitas . (Fungsi utilitas memberikan hasil yang lebih disukai jumlah yang lebih tinggi.)$U(\mathbf{y})$

Logika ini akan berlaku untuk masalah di mana pilihan Anda mengarah ke beberapa variabel hasil.

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & U(f(x)) \\ \mbox{subject to} & x \in X \end{array}$$

Memberikan lebih banyak struktur ke fungsi utilitas : Hipotesis Utilitas yang Diharapkan :$U$

Jika kita berada dalam pengaturan probabilistik dan kita menerima aksioma Neumann-Morgernstern , fungsi utilitas keseluruhan harus mengambil bentuk khusus:$U$

$$U(\mathbf{y}) = E[u(y_i)] = \sum_i p_i u(y_i)$$ Di mana adalah probabilitas status dan adalah fungsi utilitas cekung. Kelengkungan mengukur keengganan terhadap risiko. Cukup dengan mengganti bentuk khusus Anda dapatkan ini:$p_i$$i$$u$$u$$U$

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i p_i u(y_i) \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

Perhatikan bahwa kasus sederhana memaksimalkan nilai yang diharapkan (yaitu, tidak ada penghindaran risiko).$u(y_i) = y_i$

Pendekatan lain: bobot$\lambda$

Hal lain yang harus dilakukan adalah:

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i \lambda_i y_i \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

Secara intuitif, Anda dapat memilih bobot yang lebih besar atau lebih kecil dari probabilitas keadaan yang terjadi, dan ini menangkap pentingnya suatu keadaan.p $\lambda_i$$p_i$

Pembenaran yang lebih dalam dari pendekatan ini adalah bahwa dalam kondisi teknis tertentu, terdapat bobot lambda sehingga masalah di atas dan masalah sebelumnya (mis. Memaksimalkan ) memiliki solusi yang sama.U ( f ( x ) $\boldsymbol{\lambda}$$U(f(x))$