Bagaimana cara mendapatkan interval kepercayaan untuk persentil?

14

Saya memiliki banyak nilai data mentah yang merupakan jumlah dolar dan saya ingin mencari interval kepercayaan untuk persentil dari data itu. Apakah ada formula untuk interval kepercayaan diri seperti itu?

Grafik
sumber

Jawaban:

19

Pertanyaan ini, yang mencakup situasi umum, layak mendapatkan jawaban sederhana dan tidak perkiraan. Untungnya ada satu.

Misalkan adalah nilai independen dari distribusi yang tidak diketahui yang quantile saya akan menulis . Ini berarti setiap memiliki peluang (setidaknya) kurang dari atau sama dengan . Akibatnya jumlah kurang dari atau sama dengan memiliki distribusi Binomial .X1,,XnFqthF1(q)XiqF1(q)XiF1(q)(n,q)

Termotivasi oleh pertimbangan sederhana ini, Gerald Hahn dan William Meeker dalam Interval Statistik buku pegangan mereka (Wiley 1991) menulis

Interval kepercayaan 100 distribusi bebas dua sisi untuk diperoleh ... seperti100(1α)%F1(q)[X(l),X(u)]

di mana adalah statistik urutan sampel. Mereka melanjutkan untuk mengatakanX(1)X(2)X(n)

Seseorang dapat memilih bilangan bulat simetris (atau hampir simetris) di sekitar dan sedekat mungkin tergantung pada persyaratan yang0lunq(n+1)

(1)B(u1;n,q)B(l1;n,q)1α.

Ekspresi di sebelah kiri adalah peluang bahwa variabel Binomial memiliki salah satu nilai . Jelas, ini adalah kesempatan bahwa jumlah nilai data jatuh dalam lebih rendah dari distribusi tidak terlalu kecil (kurang dari ) atau terlalu besar ( atau lebih besar).(n,q){l,l+1,,u1}Xi100q%lu

Hahn dan Meeker mengikuti dengan beberapa komentar berguna, yang akan saya kutip.

Interval sebelumnya adalah konservatif karena tingkat kepercayaan aktual, yang diberikan oleh sisi kiri Persamaan , lebih besar dari nilai yang ditentukan . ...(1)1α

Terkadang mustahil untuk membangun interval statistik bebas distribusi yang setidaknya memiliki tingkat kepercayaan yang diinginkan. Masalah ini sangat akut ketika memperkirakan persentil di ekor distribusi dari sampel kecil. ... Dalam beberapa kasus, analis dapat mengatasi masalah ini dengan memilih dan simetris. Alternatif lain mungkin menggunakan tingkat kepercayaan yang dikurangi.lu


Mari kita bekerja melalui contoh (juga disediakan oleh Hahn & Meeker). Mereka memasok serangkaian "pengukuran senyawa dari proses kimia" dan meminta interval kepercayaan untuk persentil. Mereka mengklaim dan akan bekerja.n=100100(1α)=95%q=0.90l=85u=97

Gambar menunjukkan distribusi Binomial (100, 0,90)

Probabilitas total interval ini, seperti yang ditunjukkan oleh bilah biru pada gambar, adalah : sedekat yang bisa dicapai hingga , namun masih di atasnya, dengan memilih dua cutoff dan menghilangkan semua peluang di ekor kiri dan ekor kanan yang berada di luar batas itu.95.3%95%

Berikut adalah data, ditunjukkan dalam urutan, meninggalkan dari nilai-nilai dari tengah:81

1.491.662.0524.3324.7225.4625.6725.7726.6428.2828.2829.0729.1631.1431.8333.2437.3253.4358.11

The terbesar adalah dan terbesar adalah . Intervalnya adalah .85th24.3397th33.24[24.33,33.24]

Mari kita tafsirkan ulang itu. Prosedur ini seharusnya memiliki setidaknya peluang untuk mencakup persentil . Jika persentil itu benar-benar melebihi , itu berarti kita akan mengamati atau lebih dari nilai dalam sampel kami yang di bawah persentil . Terlalu banyak. Jika persentil itu kurang dari , itu berarti kita akan mengamati atau lebih sedikit nilai dalam sampel kami yang di bawah persentil . Itu terlalu sedikit.95%90th33.249710090th24.338490th Dalam kedua kasus - persis seperti yang ditunjukkan oleh bilah merah pada gambar - itu akan menjadi bukti terhadap persentil dalam interval ini.90th


Salah satu cara untuk menemukan pilihan dan adalah dengan mencari sesuai dengan kebutuhan Anda. Berikut adalah metode yang dimulai dengan interval perkiraan simetris dan kemudian mencari dengan memvariasikan baik dan hingga untuk menemukan interval dengan cakupan yang baik (jika mungkin). Diilustrasikan dengan kode. Sudah diatur untuk memeriksa cakupan pada contoh sebelumnya untuk distribusi Normal. Outputnya adalahlulu2R

Cakupan rata-rata simulasi adalah 0,9503; cakupan yang diharapkan adalah 0,9523

Kesepakatan antara simulasi dan ekspektasi sangat baik.

#
# Near-symmetric distribution-free confidence interval for a quantile `q`.
# Returns indexes into the order statistics.
#
quantile.CI <- function(n, q, alpha=0.05) {
  #
  # Search over a small range of upper and lower order statistics for the 
  # closest coverage to 1-alpha (but not less than it, if possible).
  #
  u <- qbinom(1-alpha/2, n, q) + (-2:2) + 1
  l <- qbinom(alpha/2, n, q) + (-2:2)
  u[u > n] <- Inf
  l[l < 0] <- -Inf
  coverage <- outer(l, u, function(a,b) pbinom(b-1,n,q) - pbinom(a-1,n,q))
  if (max(coverage) < 1-alpha) i <- which(coverage==max(coverage)) else
    i <- which(coverage == min(coverage[coverage >= 1-alpha]))
  i <- i[1]
  #
  # Return the order statistics and the actual coverage.
  #
  u <- rep(u, each=5)[i]
  l <- rep(l, 5)[i]
  return(list(Interval=c(l,u), Coverage=coverage[i]))
}
#
# Example: test coverage via simulation.
#
n <- 100      # Sample size
q <- 0.90     # Percentile
#
# You only have to compute the order statistics once for any given (n,q).
#
lu <- quantile.CI(n, q)$Interval
#
# Generate many random samples from a known distribution and compute 
# CIs from those samples.
#
set.seed(17)
n.sim <- 1e4
index <- function(x, i) ifelse(i==Inf, Inf, ifelse(i==-Inf, -Inf, x[i]))
sim <- replicate(n.sim, index(sort(rnorm(n)), lu))
#
# Compute the proportion of those intervals that cover the percentile.
#
F.q <- qnorm(q)
covers <- sim[1, ] <= F.q & F.q <= sim[2, ]
#
# Report the result.
#
message("Simulation mean coverage was ", signif(mean(covers), 4), 
        "; expected coverage is ", signif(quantile.CI(n,q)$Coverage, 4))
whuber
sumber
4

Penurunan

The -quantile (ini adalah konsep yang lebih umum daripada persentil) dari suatu variabel acak diberikan oleh . Contoh pendamping dapat ditulis sebagai - ini hanya sampel kuantil. Kami tertarik pada distribusi:τqτXFX1(τ)q^τ=F^1(τ)

n(q^τqτ)

Pertama, kita membutuhkan distribusi asimptotik dari cirik empiris.

Karena , Anda dapat menggunakan teorema limit pusat. adalah variabel acak , jadi rata-rata adalah dan adalah .F^(x)=1n1{Xi<x}1{Xi<x}P(Xi<x)=F(x)F(x)(1F(x))

n(F^(x)F(x))N(0,F(x)(1F(x)))(1)

Sekarang, karena invers adalah fungsi kontinu, kita dapat menggunakan metode delta.

[** Metode delta mengatakan bahwa jika , dan adalah fungsi kontinu, maka **]n(y¯μy)N(0,σ2)g()n(g(y¯)g(μy))N(0,σ2(g(μy))2)

Di sisi kiri (1), ambil , danx=qτg()=F1()

n(F1(F^(qτ))F1(F(qτ)))=n(q^τqτ)

[** catat bahwa ada sedikit tangan dalam langkah terakhir karena , tetapi keduanya asimtotik sama jika membosankan untuk ditampilkan **]F1(F^(qτ))F^1(F^(qτ))=q^τ

Sekarang, terapkan metode delta yang disebutkan di atas.

Karena (fungsi terbalik dalil)ddxF1(x)=1f(F1(x))

n(q^τqτ)N(0,F(qτ)(1F(qτ))f(F1(F(qτ)))2)=N(0,F(qτ)(1F(qτ))f(qτ)2)

Kemudian, untuk membangun interval kepercayaan, kita perlu menghitung kesalahan standar dengan memasukkan sampel rekan dari setiap istilah dalam varian di atas:

Hasil

Jadise(q^τ)=F^(q^τ)(1F^(q^τ))nf^(q^τ)2= τ(1τ)nf^(q^τ)2

DanCI0.95(q^τ)=q^τ±1.96se(q^τ)

Ini akan mengharuskan Anda untuk memperkirakan kepadatan , tetapi ini harus cukup mudah. Atau, Anda juga bisa mem-bootstrap CI dengan mudah.X

bmciv
sumber
1
Bisakah Anda memperluas jawaban Anda dengan konten dari artikel yang ditautkan? Tautan mungkin tidak berfungsi selamanya dan kemudian jawaban ini akan menjadi kurang bermanfaat
Andy
1
Apa keuntungan dari hasil asimptotik ini berdasarkan pada estimasi kepadatan dibandingkan dengan distribusi bebas cibased pada distribusi binomial?
Michael M
Apakah ini masih berdasarkan artikel yang Anda tautkan pada awalnya ?
Nick Stauner
Ya, haruskah saya menambahkan tautan itu kembali? Saya pikir ini adalah hasil yang terkenal. Saya pernah melihatnya di kelas sebelumnya dan tidak sulit untuk menemukannya oleh google. Dalam kasus seperti ini, apakah lebih baik untuk menautkannya atau mengetiknya, atau keduanya?
bmciv
Saya akan mengatakan keduanya, dan Anda harus mengeditnya kembali jika ini dikutip / berasal sepenuhnya dari itu demi atribusi yang tepat. Kalau tidak, mungkin tidak masalah apakah Anda mengeditnya, tetapi secara umum, kebijakan Stack Exchange adalah untuk mencegah jawaban hanya tautan untuk menghindari pembusukan tautan dan sebagai prinsipnya (idenya adalah menjadi repositori independen, bukan indeks tautan - tetapi Saya tidak yakin berapa banyak skenario yang lebih dari sekadar "lereng licin" imajiner).
Nick Stauner