Saya akan melalui sebuah makalah yang menggunakan ketimpangan oracle untuk membuktikan sesuatu tetapi saya tidak dapat memahami apa yang bahkan coba dilakukan. Ketika saya mencari secara online tentang 'Oracle Inequality', beberapa sumber mengarahkan saya ke artikel "Candes, Emmanuel J. 'Estimasi statistik modern melalui ketidaksetaraan oracle." "yang dapat ditemukan di sini https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Tetapi buku ini tampaknya terlalu berat bagi saya dan saya yakin saya tidak memiliki beberapa prasyarat.
Pertanyaan saya adalah: Bagaimana Anda menjelaskan apa yang dimaksud dengan ketimpangan oracle untuk jurusan non-matematika (termasuk insinyur)? Kedua, bagaimana Anda merekomendasikan mereka untuk mempelajari prasyarat / topik sebelum mencoba mempelajari sesuatu seperti buku yang disebutkan di atas.
Saya akan sangat menyarankan bahwa seseorang yang memiliki pemahaman yang konkret dan jumlah pengalaman yang baik dalam statistik dimensi tinggi harus menjawab ini.
Jawaban:
Saya akan mencoba menjelaskannya dalam kasus linear. Pertimbangkan model linier Ketika (jumlah variabel independen kurang atau sama dengan jumlah pengamatan) dan matriks desain memiliki peringkat penuh, penaksir kuadrat terkecil dari adalah dan kesalahan prediksi adalah dari mana kita dapat menyimpulkan Ini berarti bahwa setiap parameter diperkirakan dengan akurasi kuadratJadi akurasi kuadrat keseluruhan Anda adalah
Sekarang bagaimana jika jumlah pengamatan kurang dari jumlah variabel independen ? Kami "percaya" bahwa tidak semua variabel independen kami berperan dalam menjelaskan , jadi hanya beberapa, katakanlah , dari mereka yang tidak nol. Jika kita tahu variabel mana yang bukan nol, kita bisa mengabaikan semua variabel lain dan dengan argumen di atas, akurasi kuadrat keseluruhan adalah(p>n) Y k (σ2/n)k.
Karena himpunan variabel bukan nol tidak diketahui, kita perlu beberapa penalti regularisasi (misalnya ) dengan parameter regularisasi (yang mengontrol jumlah variabel). Sekarang Anda ingin mendapatkan hasil yang mirip dengan yang dibahas di atas, Anda ingin memperkirakan akurasi kuadrat. Masalahnya adalah estimator optimal Anda sekarang tergantung pada . Tetapi fakta besarnya adalah bahwa dengan pilihan yang tepat untuk Anda bisa mendapatkan batas atas kesalahan prediksi dengan probabilitas tinggi, yaitu "ketidaksetaraan oracle" Perhatikan faktor tambahanl1 λ β^ λ λ
sumber