Apa yang dimaksud dengan "solusi bentuk tertutup"?

82

Saya sering menemukan istilah "solusi bentuk tertutup". Apa yang dimaksud dengan solusi bentuk-tertutup? Bagaimana cara menentukan apakah solusi bentuk dekat ada untuk masalah yang diberikan? Pencarian online, saya menemukan beberapa informasi, tetapi tidak ada dalam konteks mengembangkan model / solusi statistik atau probabilistik.

Saya memahami regresi dengan sangat baik, jadi jika ada yang bisa menjelaskan konsep dengan mengacu pada regresi atau penyesuaian model, akan mudah dikonsumsi. :)

regression machine-learning probability terminology stochastic-processes arjsgh21
sumber

4

Pertanyaan ini tampaknya menjadi magnet bagi jawaban berkualitas rendah selama beberapa waktu; Saya pikir mungkin itu harus dilindungi untuk saat ini.

Glen_b

37

"Suatu persamaan dikatakan sebagai solusi bentuk-tertutup jika ia memecahkan masalah tertentu dalam hal fungsi dan operasi matematika dari himpunan yang diterima secara umum. Sebagai contoh, jumlah tak terbatas umumnya tidak akan dianggap sebagai bentuk-tertutup. Namun, pilihan apa yang akan dipanggil bentuk tertutup dan apa yang tidak agak sewenang-wenang karena fungsi "bentuk tertutup" baru dapat dengan mudah didefinisikan dalam istilah jumlah tak terbatas. - Wolfram Alpha

dan

"Dalam matematika, sebuah ekspresi dikatakan sebagai ekspresi bentuk tertutup jika dapat diekspresikan secara analitik dalam bentuk sejumlah terbatas dari fungsi" terkenal "tertentu. Biasanya, fungsi-fungsi terkenal ini didefinisikan sebagai fungsi elementer— konstanta, satu variabel x, operasi elementer aritmatika (+ - × ÷), akar ke-n, eksponen dan logaritma (yang dengan demikian juga mencakup fungsi trigonometrik dan fungsi trigonometri terbalik). Seringkali masalah dikatakan dapat dilacak jika dapat diselesaikan secara istilah dari ekspresi bentuk tertutup. " - Wikipedia

Contoh solusi bentuk tertutup dalam regresi linier adalah persamaan kuadrat terkecil

\hat{β} = (X^{T} X)^{- 1} X^{T} y

$\hat\beta=(X^TX)^{-1}X^Ty$

sumber

Mempertimbangkan bahwa semua skenario regresi dapat dilemparkan sebagai masalah penyelesaian sistem persamaan, kapan tidak akan ada solusi bentuk tertutup? Masalah yang keliru atau jarang akan membutuhkan solusi perkiraan, jadi apakah kasus di mana solusi bentuk tertutup tidak ada? Bagaimana kalau seseorang menggunakan keturunan gradien konjugat dengan regularisasi?

arjsgh21

Saya menemukan diskusi ini bermanfaat - "Memecahkan parameter regresi dalam bentuk tertutup vs gradient descent" tautan

arjsgh21

@ arjsgh21 apakah Anda masih perlu klarifikasi lebih lanjut tentang apa artinya menjadi solusi formulir tertutup? Karena pertanyaan baru Anda tampaknya tentang kapan ada solusi bentuk tertutup (atau tidak) dalam masalah regresi yang merupakan topik yang sama sekali baru dan harus ditanyakan sebagai pertanyaan baru, menurut pendapat saya.

Terima kasih BabakP. Saya rasa saya mengerti sekarang, dengan referensi regresi dan juga sebaliknya.

arjsgh21

1

Ini membingungkan saya mengapa CrossValidated adalah satu-satunya "forum stackexchange" yang secara konsisten mendukung jawaban yang membingungkan tetapi benar atas jawaban yang memberikan pemahaman. Jawaban terbaik dari pemotongan saat ini adalah @ Luca, dan tidak dihargai. Benar, itu hanya menyediakan tautan, tetapi tautan bagus yang mudah dimengerti. Jawaban yang terlalu ilmiah ini hanya membantu menyelesaikan masalah bagi orang-orang yang sudah tahu jawabannya. :(

Mike Williamson

17

Sebagian besar prosedur estimasi melibatkan menemukan parameter yang meminimalkan (atau memaksimalkan) beberapa fungsi objektif. Misalnya, dengan OLS, kami meminimalkan jumlah residu kuadrat. Dengan Estimasi Kemungkinan Maksimum, kami memaksimalkan fungsi kemungkinan log. Perbedaannya sepele: minimalisasi dapat dikonversi menjadi maksimalisasi dengan menggunakan fungsi objektif yang negatif.

Kadang-kadang masalah ini dapat diselesaikan secara aljabar, menghasilkan solusi bentuk tertutup. Dengan OLS, Anda memecahkan sistem kondisi urutan pertama dan mendapatkan rumus yang sudah dikenal (meskipun Anda mungkin masih membutuhkan komputer untuk mengevaluasi jawabannya). Dalam kasus lain, ini tidak mungkin secara matematis dan Anda perlu mencari nilai parameter menggunakan komputer. Dalam hal ini, komputer dan algoritma memainkan peran yang lebih besar. Nonlinear Least Squares adalah salah satu contohnya. Anda tidak mendapatkan formula eksplisit; semua yang Anda dapatkan adalah resep yang perlu diterapkan oleh komputer. Resepnya mungkin dimulai dengan tebakan awal tentang apa parameternya dan bagaimana mungkin bervariasi. Anda kemudian mencoba berbagai kombinasi parameter dan melihat mana yang memberi Anda nilai fungsi objektif terendah / tertinggi. Ini adalah pendekatan brute force dan membutuhkan waktu lama. Sebagai contoh, $10^5$ kombinasi, dan itu hanya menempatkan Anda di lingkungan jawaban yang tepat jika Anda beruntung. Pendekatan ini disebut pencarian grid.

Atau Anda mungkin mulai dengan tebakan, dan memperbaiki tebakan itu ke beberapa arah hingga peningkatan dalam fungsi tujuan kurang dari beberapa nilai. Ini biasanya disebut metode gradien (meskipun ada orang lain yang tidak menggunakan gradien untuk memilih ke arah mana masuk, seperti algoritma genetika dan simulasi anil). Beberapa masalah seperti jaminan ini bahwa Anda menemukan jawaban yang tepat dengan cepat (fungsi tujuan kuadratik). Yang lain tidak memberikan jaminan seperti itu. Anda mungkin khawatir bahwa Anda terjebak di lokal, daripada global, optimal, jadi Anda mencoba berbagai tebakan awal. Anda mungkin menemukan bahwa parameter yang sangat berbeda memberi Anda nilai fungsi objektif yang sama, sehingga Anda tidak tahu harus memilih yang mana.

Inilah cara yang bagus untuk mendapatkan intuisi. Misalkan Anda memiliki model regresi eksponensial sederhana di mana satu-satunya regresi adalah intersep:

E [y] = \exp {α}

$\begin{equation} E[y]=\exp\{\alpha\} \end{equation}$

Fungsi objektifnya adalah

Q_{N} (α) = - \frac{1}{2 N} \sum_{i}^{N} {(y_{i} - \exp {α})}^{2}

$\begin{equation} Q_N(\alpha)=-\frac{1}{2N} \sum_i^N \left( y_i - \exp\{\alpha\} \right)^2 \end{equation}$

Dengan masalah sederhana ini, kedua pendekatan itu layak. Solusi bentuk tertutup yang Anda dapatkan dengan mengambil turunannya adalah . Anda juga dapat memverifikasi bahwa hal lain memberi Anda nilai lebih tinggi dari fungsi tujuan dengan memasukkan sebagai gantinya. Jika Anda memiliki beberapa regresi, solusi analitis keluar jendela. $\alpha^* = \ln \bar y$ $\ln (\bar y + k)$

Dimitriy V. Masterov
sumber

Apakah Anda secara implisit menyamakan "analitis" dengan "bentuk tertutup" dalam kalimat terakhir?

whuber

2

Saya kemudian berpikir sinonim: mathworld.wolfram.com/Analytic.html

Dimitriy V. Masterov

Apakah Anda melihat komentar disambiguasi di akhir halaman MathWorld itu? Masalahnya adalah bahwa dalam konteks sekarang "analitik" dapat dipahami secara wajar dalam beberapa cara berbeda. Juga, "analitis" dan "analitik" tidak berarti hal yang persis sama (seperti "historis" dan "historis" memiliki arti yang berbeda).

Whuber

Saya tidak menyadari bahwa ada perbedaan antara "solusi analitik", "solusi analitis," dan "bentuk tertutup". MathWorld tidak memiliki entri terpisah untuk analitik dan mendefinisikan solusi analitik untuk masalah sebagai salah satu yang dapat ditulis dalam "bentuk tertutup" dalam hal fungsi yang diketahui, konstanta, dll. MW mengatakan bahwa analitik dan analitik adalah varian . Perbedaan antara historis dan historis adalah sah, tetapi saya tidak mengikuti apa yang ada hubungannya dengan kasus ini. Jika saya salah, mohon koreksi saya.

Dimitriy V. Masterov

2

Dalam banyak konteks matematika, "analitik" adalah istilah seni yang tepat yang diterapkan pada fungsi apa pun yang dapat diekspresikan secara lokal sebagai rangkaian daya dengan jari-jari konvergensi positif, sedangkan "analitik" jauh lebih luas terkait dengan dekomposisi menjadi bagian-bagian dasar. Seperti kutipan BabakP menunjukkan, "bentuk tertutup" memperoleh makna hanya dalam beberapa konteks prosedur yang diterima secara umum untuk menggabungkan nilai-nilai (biasanya diasumsikan terdiri dari fungsi-fungsi elementer tetapi bukan transendental).

Whuber

13

Saya pikir situs web ini menyediakan intuisi sederhana, kutipan di antaranya adalah:

Solusi bentuk tertutup (atau ekspresi bentuk tertutup) adalah rumus apa pun yang dapat dievaluasi dalam jumlah terbatas operasi standar. ... Solusi numerik adalah setiap pendekatan yang dapat dievaluasi dalam jumlah terbatas dari operasi standar. Solusi bentuk tertutup dan solusi numerik serupa karena keduanya dapat dievaluasi dengan sejumlah operasi standar. Mereka berbeda bahwa solusi bentuk tertutup tepat sedangkan solusi numerik hanya perkiraan.

Luca Bertinetto
sumber

2

Meskipun hanya menyediakan tautan, ini jelas merupakan jawaban yang paling membantu.

Mike Williamson

2

Dimasukkannya Wayne dari kutipan dari tautan jelas meningkatkan jawabannya.

Glen_b

2

Apalagi tautan Luca sudah mati.

Naramsim

-2

Mencari istilah awam atau kata-kata menyakitkan yang dengan keras mendefinisikan maknanya? Saya akan menganggap istilah awam karena yang lain dapat ditemukan di mana-mana. Katakanlah Anda menginginkan solusi bentuk tertutup dari akar kuadrat 8. Solusi bentuk tertutup adalah 2 * (2) ^ 1/2 atau dua kali akar kuadrat dari dua. Ini berbeda dengan solusi bentuk non-tertutup 2.8284. (Lihat wikipedia akar kuadrat dari 2 untuk melihat dari pada 69 tempat desimal akurat untuk dalam 1 / 10.000) Satu didefinisikan secara absolut dalam istilah matematika sedangkan yang lain tidak. Solusi formulir tertutup memberikan jawaban yang pasti dan jawaban yang tidak tertutup adalah perkiraan, tetapi Anda bisa mendapatkan solusi formulir tidak tertutup sedekat dengan solusi formulir tertutup seperti yang Anda inginkan. Kedengarannya kontra-intuitif, tetapi jika Anda membutuhkannya lebih akurat, maka cukup singkirkan sedikit lebih banyak perhitungan.

Kue keju
sumber

3

Ini adalah penggunaan istilah "bentuk tertutup" yang tidak biasa. Bisakah Anda memberikan referensi?

Whuber

1

Tidak yakin bahwa saya dapat memberikan tingkat dokumentasi pendukung yang memadai untuk memenangkan debat tentang hal ini tanpa lebih banyak pekerjaan daripada yang ingin saya kemukakan, tapi begini saja. Lihat di Wikipedia untuk Ekspresi Formulir Tertutup. Dalam dua bagian terakhir ini menjelaskan bagaimana solusi formulir tertutup tidak selalu diperlukan karena perhitungan numerik biasanya dapat berhasil digunakan untuk sampai pada solusi dan bagian berikut yang menjelaskan bagaimana beberapa program matematika berusaha untuk menghasilkan solusi formulir tertutup dari nilai numerik. Solusi bentuk tertutup tepat (di luar ruang)

Cheesepipe

5

Wikipedia baik-baik saja sebagai referensi. Dalam hal ini tampaknya Anda mungkin telah menyatukan "ekspresi formulir tertutup" dengan "nomor formulir tertutup". Mereka tidak bermaksud hal yang sama.

Whuber

-2

Bentuk tertutup = bentuk tertutup (fungsional)

Tertutup berarti tidak ada lagi yang bisa masuk ke dalam; artinya, tidak ada alternatif => hanya satu solusi => hanya satu fungsi yang dapat membangun hubungan antara hasil dan prediktor.

Vivek Astvansh
sumber

3

Ini juga merupakan penggunaan istilah yang tidak biasa. Bisakah Anda memberikan beberapa contoh yang digunakan dalam konteks ini? Saya kebanyakan terkejut karena orang sering mendengar bentuk tertutup / tidak ada bentuk tertutup tentang integral, yang tidak benar-benar memiliki hasil atau prediksi.

Matt Krause

Apa yang dimaksud dengan "solusi bentuk tertutup"?

Jawaban: