Cara terbaik untuk mengevaluasi metode estimasi PDF

10

Saya ingin menguji beberapa ide saya yang menurut saya lebih baik daripada apa pun yang saya lihat. Saya bisa saja salah tetapi saya ingin menguji ide-ide saya dan mengalahkan keraguan saya dengan pengamatan yang lebih pasti.

Apa yang saya pikirkan untuk lakukan adalah sebagai berikut:

  1. Mendefinisikan secara analitik seperangkat distribusi. Beberapa di antaranya adalah yang mudah seperti Gaussian, seragam, atau Tophat. Tetapi beberapa di antaranya pasti sulit dan menantang seperti distribusi Simpsons.
  2. Menerapkan perangkat lunak berdasarkan distribusi analitik tersebut, dan menggunakannya untuk menghasilkan beberapa sampel.
  3. Karena distribusi didefinisikan secara analitis, saya sudah -dengan definisi- tahu PDF mereka yang sebenarnya. Ini bagus.
  4. Maka saya akan menguji metode estimasi PDF berikut terhadap sampel di atas:
    • Metode estimasi PDF yang ada (seperti KDE dengan berbagai kernel dan bandwidth).
    • Ide saya sendiri yang menurut saya layak untuk dicoba.
  5. Kemudian saya akan mengukur kesalahan estimasi terhadap PDF yang benar.
  6. Maka saya akan lebih tahu metode estimasi PDF mana yang bagus.

Pertanyaan saya adalah:

  • T1: Apakah ada perbaikan atas rencana saya di atas?
  • T2: Saya merasa sulit bagi saya untuk secara analitis mendefinisikan banyak PDF yang benar. Apakah sudah ada daftar lengkap banyak PDF benar yang didefinisikan secara analitis dengan berbagai kesulitan (termasuk yang sangat sulit) yang dapat saya gunakan kembali di sini?
hypothesis-testing estimation pdf kernel-smoothing model-evaluation manusia gua
sumber
Ini kedengarannya seperti simulasi Monte Carlo bagi saya?
Christoph Hanck
en.wikipedia.org/wiki/…
whuber

Jawaban:

2

A2: Anda bisa menguji metode Anda dalam 1D pada set tolok ukur berikut .

Tom
sumber
Itulah tepatnya yang saya cari. Dan ya kasus saya yang menarik saat ini adalah 1D.
manusia gua
11

  • A1. Ini terdengar seperti rencana yang masuk akal bagi saya. Hanya untuk menyebutkan beberapa poin. Anda akan ingin menguji dengan metrik kesalahan yang berbeda ( , KL divergence, dll.) Karena metode akan tampil berbeda tergantung pada fungsi kerugian. Anda juga harus menguji jumlah sampel yang berbeda. Akhirnya, banyak metode estimasi kepadatan berkinerja sangat buruk di dekat diskontinuitas / batas, jadi pastikan untuk menyertakan pdf terpotong dalam set Anda.Lp

  • A2. Apakah Anda hanya tertarik pada pdf 1-D atau apakah Anda berencana menguji kasus multivarian? Adapun suite benchmark pdf, saya mengajukan pertanyaan yang agak terkait di masa lalu dengan tujuan menguji algoritma MCMC , tapi saya tidak menemukan apa pun seperti set pdf yang sudah mapan.

Jika Anda memiliki banyak waktu dan sumber daya komputasi, Anda dapat mempertimbangkan untuk melakukan semacam uji permusuhan terhadap ide Anda:

  • Tetapkan keluarga parametrik pdf yang sangat fleksibel (mis., Campuran besar dari sejumlah pdf yang diketahui), dan bergerak di sekitar ruang parameter campuran melalui beberapa metode optimisasi global non-konveks (*) sehingga dapat meminimalkan kinerja metode Anda dan memaksimalkan kinerja beberapa metode estimasi kepadatan state-of-the-art lainnya (dan mungkin sebaliknya). Ini akan menjadi ujian kuat dari kekuatan / kelemahan metode Anda.

Akhirnya, persyaratan untuk menjadi lebih baik daripada semua metode lain adalah standar yang terlalu tinggi; tidak boleh ada prinsip makan siang gratis di tempat kerja (algoritma apa pun memiliki beberapa asumsi yang mendasari sebelumnya, seperti kelancaran, skala panjang, dll.). Agar metode Anda menjadi kontribusi yang berharga, Anda hanya perlu menunjukkan bahwa ada rezim / domain yang memiliki minat umum di mana algoritme Anda bekerja lebih baik (tes permusuhan di atas dapat membantu Anda menemukan / menentukan domain semacam itu).

(*) Karena metrik kinerja Anda bersifat stokastik (Anda akan mengevaluasinya melalui pengambilan sampel Monte Carlo), Anda mungkin juga ingin memeriksa jawaban ini tentang optimalisasi fungsi obyektif yang bising dan mahal.

Lacerbi
sumber
1

T1: Apakah ada perbaikan atas rencana saya di atas?

Itu tergantung. Residu distribusi campuran sering merupakan hasil dari melakukan hal-hal konyol seperti menentukan distribusi campuran yang tidak perlu sebagai model data untuk memulai. Jadi, pengalaman saya sendiri menyarankan untuk setidaknya menentukan sebanyak istilah distribusi campuran dalam output seperti yang ada dalam model. Selain itu, output campuran PDF tidak seperti PDF dalam model. Pencarian standar Mathematica mencakup distribusi campuran dengan dua istilah, dan dapat ditentukan sebagai angka yang lebih besar.

T2: Apakah sudah ada daftar lengkap dari banyak PDF benar yang didefinisikan secara analitis dengan berbagai kesulitan (termasuk yang sangat sulit) yang dapat saya gunakan kembali di sini?

Ini adalah daftar dari rutin FindDistribution Mathematica :

Kemungkinan distribusi kontinu untuk TargetFunctions adalah: BetaDistribution, CauchyDistribution, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, distribusi gamma, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, LaplaceDistribution, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, ParetoDistribution, RayleighDistribution, StudentTDistribution, UniformDistribution, Distribusi Weibull , Distribusi Histogram.

Kemungkinan distribusi diskrit untuk Fungsi Sasaran adalah: Distribusi Benford, Distribusi Binomial, Distribusi BorelTanner, Distribusi DiscreteUniform, Distribusi Geometris, Distribusi Log, SeriBagian Distribusi, NegatifBinomialDistribusi, PascalDistribusi, Distribusi Poisson, Distribusi, DistribusiFac, Distribusi

Kriteria informasi internal menggunakan kriteria informasi Bayesian bersama-sama dengan prior atas FunctionFunctions.

Carl
sumber