Asal usul istilah "regularisasi"

Ketika saya memperkenalkan konsep kepada murid-murid saya, saya sering merasa senang memberi tahu mereka dari mana asal usul istilah itu ("regresi", misalnya, adalah istilah dengan asal yang menarik). Saya belum dapat menemukan sejarah / latar belakang istilah "regularisasi" dalam pembelajaran statistik / mesin.

Jadi, apa asal usul istilah regularisasi ?

Mirip dengan kontribusi Matthew Gunn , ini juga bukan jawaban yang sebenarnya, tetapi lebih merupakan kandidat yang masuk akal.

Saya juga pertama kali mendengar tentang istilah "regularisasi" dalam konteks Regulasi Tikhonov , dan khususnya dalam konteks masalah invers (linear) dalam geofisika. Menariknya, sementara saya berpikir itu kemungkinan karena bidang studi saya (yaitu melihat nama pengguna saya), ternyata Tikhonov sebenarnya melakukan banyak pekerjaannya di bidang itu!

Firasat saya adalah bahwa pendekatan "regularisasi" modern sepertinya memang berasal dari karya Tikhonov. Membangun spekulasi ini, kontribusi saya di sini memiliki dua bagian.

Bagian pertama adalah (kursi -) historis di alam (berdasarkan meneliti judul-judul kertas dan bias saya sendiri sebelumnya!). Sementara Solusi kertas 1963 dari masalah yang dirumuskan secara tidak benar dan metode regularisasi tampaknya menjadi penggunaan pertama dari istilah "regularisasi", saya tidak akan terlalu yakin bahwa ini benar. Referensi ini dikutip di Wikipedia sebagai

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501-504. Diterjemahkan dalam "Solusi masalah yang diformulasikan secara tidak benar dan metode regularisasi". Matematika Soviet. 4: 1035–1038.

memberi kesan bahwa Tikhonov sendiri menulis setidaknya sebagian dari karya ini dalam bahasa Rusia, jadi frasa "regularisasi" bisa saja diciptakan oleh penerjemah yang kemudian. [PEMBARUAN: Tidak, "регуляризации" = regularisasi , lihat komentar oleh Cagdas Ozgenc.] Selain itu, karya ini tampaknya menjadi bagian dari garis penelitian berkelanjutan yang dilakukan oleh Tikhonov dalam waktu yang lebih lama . Misalnya kertas

Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Tentang kestabilan masalah terbalik]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

menunjukkan bahwa ia terlibat dalam topik umum yang sama setidaknya 20 tahun sebelumnya. Namun timeline ini menunjukkan bahwa mungkin pekerjaan invers-masalah mulai lebih dekat ke 1963 daripada 1943.

[ PEMBARUAN: Terjemahan makalah 1943 ini menunjukkan bahwa terminologi " keteraturan " di sini digunakan untuk merujuk pada "stabilitas masalah terbalik (atau kesinambungan pemetaan terbalik)" .]

Bagian kedua dari kontribusi saya adalah hipotesis tentang bagaimana "regularisasi" mungkin awalnya dimaksudkan dalam konteks ini. Cukup umum "biasa" digunakan sebagai sinonim untuk "halus", khususnya dalam menggambarkan kurva dan / atau geometri permukaan. Dalam sebagian besar aplikasi geofisika, solusi yang diinginkan adalah beberapa perkiraan grid dari bidang yang didistribusikan secara spasial , dan regularisasi Tikhonov digunakan untuk memaksakan kehalusan sebelumnya.

(Matriks Tikhonov biasanya akan menjadi operator turunan spasial diskrit , mirip dengan matriks PDE, vs. matriks identitas regresi ridge. Ini karena untuk kisi-kisi / model maju ini, ruang kosong dari matriks model maju cenderung untuk mencakup hal-hal seperti "mode kotak-kotak" yang akan mencemari hasil kecuali dikenakan sanksi; mirip dengan ini ).

Pembaruan: Masalah-masalah ini diilustrasikan dalam jawaban saya di sini .

Ringkasan

1. Saya juga memberikan suara saya untuk Tikhonov sebagai pencetusnya (kemungkinan sekitar tahun 1963)
2. Aplikasi asli mungkin pemodelan geofisika terbalik, sehingga istilah "regularisasi" dapat merujuk pada membuat peta yang dihasilkan * lebih halus, yaitu "biasa".

$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Ini adalah sebagian jawaban, sebagian komentar panjang. Daftar kandidat yang tidak lengkap:

1. Tikhonov, Andrey. "Solusi dari masalah yang dirumuskan secara tidak benar dan metode regularisasi." Matematika Soviet. Dokl .. Vol. 5. 1963. Tikhonov dikenal karena regularisasi Tikhonov (juga dikenal sebagai regresi ridge).

2. Ada konsep regularisasi dalam fisika yang kembali setidaknya ke tahun 1940-an, tapi saya tidak melihat ada hubungannya dengan regularisasi Tikhonov? (Aku bukan fisikawan.)

3. Teks rekayasa berbicara tentang regularisasi sungai (untuk meningkatkan navigasi) kembali setidaknya ke tahun 1880-an.

Mencari melalui http://books.google.com , saya tidak melihat penggunaan luas istilah "regularisasi" hingga tahun 1970-an, ketika mulai muncul berulang-ulang dalam konteks buku matematika dan fisika.

Sederhananya, istilah tersebut selamat dari evolusi alami istilah-istilah ilmiah karena ia menangkap tujuan inti dari teknik: dari banyak solusi hingga masalah yang keliru, ia memilih solusi yang teratur , yaitu,

sesuai aturan

( definisi kamus gratis )

Ini juga digunakan dalam bahasa umum untuk merancang permukaan yang halus di pertukangan misalnya. Demikian pula, solusi dari masalah regresi akan terlihat lebih teratur jika aturannya adalah untuk meminimalkan variasi total (TV) dari bit yang tidak mulus dari sinyal yang direkonstruksi (yang diukur dengan energi total dari gradien misalnya).

$\ell_0$