Mengapa menggunakan teori nilai ekstrem?

Saya berasal dari Teknik Sipil, di mana kami menggunakan Teori Nilai Ekstrim , seperti distribusi GEV untuk memprediksi nilai peristiwa tertentu, seperti Kecepatan angin terbesar , yaitu nilai 98,5% dari kecepatan angin akan lebih rendah.

Pertanyaan saya adalah mengapa menggunakan distribusi nilai ekstrem seperti itu ? Bukankah lebih mudah jika kita hanya menggunakan distribusi keseluruhan dan mendapatkan nilai untuk probabilitas 98,5% ?

Penafian: Pada poin-poin berikut ini, GROSSLY menganggap bahwa data Anda terdistribusi secara normal. Jika Anda benar-benar merekayasa apa pun, bicarakan dengan profesional statistik yang kuat dan biarkan orang itu masuk di telepon untuk mengatakan apa levelnya. Bicaralah dengan lima dari mereka, atau 25 dari mereka. Jawaban ini dimaksudkan untuk seorang mahasiswa teknik sipil yang bertanya "mengapa" bukan untuk seorang profesional teknik yang bertanya "bagaimana".

Saya pikir pertanyaan di balik pertanyaan adalah "apa distribusi nilai ekstrim?". Ya itu adalah beberapa aljabar - simbol. Terus? Baik?

Mari kita pikirkan banjir 1000 tahun. Mereka besar.

• http://www.huffingtonpost.com/2013/09/20/1000-year-storm_n_3956897.html
• http://science.time.com/2013/09/17/the-science-behind-colorados-thousand-year-flood/
• http://gizmodo.com/why-we-dont-design-our-cities-to-withstand-1-000-year-1325451888

Ketika mereka terjadi, mereka akan membunuh banyak orang. Banyak jembatan turun.
Anda tahu jembatan apa yang tidak turun? Saya lakukan. Kamu belum ... belum.

Pertanyaan: Jembatan mana yang tidak akan tenggelam dalam banjir 1000 tahun?
Jawab: Jembatan dirancang untuk menahannya.

Data yang perlu Anda lakukan dengan cara Anda:
Jadi katakanlah Anda memiliki data air harian 200 tahun. Apakah banjir 1000 tahun ada di sana? Tidak jauh. Anda memiliki sampel satu ekor distribusi. Anda tidak memiliki populasi. Jika Anda tahu semua sejarah banjir maka Anda akan memiliki total populasi data. Mari kita pikirkan hal ini. Berapa tahun data yang perlu Anda miliki, berapa banyak sampel, untuk memiliki setidaknya satu nilai yang kemungkinannya adalah 1 dalam 1000? Di dunia yang sempurna, Anda membutuhkan setidaknya 1000 sampel. Dunia nyata berantakan, jadi Anda membutuhkan lebih banyak. Anda mulai mendapatkan peluang 50/50 di sekitar 4000 sampel. Anda mulai dijamin memiliki lebih dari 1 di sekitar 20.000 sampel. Sampel tidak berarti "air satu detik vs yang berikutnya" tetapi ukuran untuk setiap sumber variasi yang unik - seperti variasi tahun-ke-tahun. Satu ukuran lebih dari satu tahun, bersama dengan ukuran lain selama satu tahun lagi merupakan dua sampel. Jika Anda tidak memiliki 4.000 tahun data yang baik, maka kemungkinan besar Anda tidak memiliki contoh banjir data 1000 tahun. Yang bagus adalah - Anda tidak perlu banyak data untuk mendapatkan hasil yang baik.

Berikut adalah cara mendapatkan hasil yang lebih baik dengan data lebih sedikit:
Jika Anda melihat maksimal tahunan, Anda dapat menyesuaikan "distribusi nilai ekstrim" dengan nilai 200 dari level maksimum tahun dan Anda akan memiliki distribusi yang berisi banjir 1000 tahun -tingkat. Itu akan menjadi aljabar, bukan "seberapa besar" sebenarnya. Anda dapat menggunakan persamaan untuk menentukan seberapa besar banjir 1000 tahun yang akan terjadi. Kemudian, mengingat volume air itu - Anda dapat membangun jembatan Anda untuk menahannya. Jangan menembak untuk nilai yang tepat, menembak untuk yang lebih besar, jika tidak Anda berencana untuk gagal pada banjir 1000 tahun. Jika Anda berani, maka Anda dapat menggunakan resampling untuk mencari tahu seberapa jauh di baliknya pada nilai 1000 tahun yang Anda butuhkan untuk membangunnya agar dapat menolaknya.

Inilah sebabnya mengapa EV / GEV adalah bentuk analitik yang relevan:
Distribusi nilai ekstrem umum adalah tentang seberapa besar maks. Variasi dalam perilaku maksimum benar-benar berbeda dari variasi dalam mean. Distribusi normal, melalui teorema batas pusat, menjelaskan banyak "kecenderungan sentral".

Prosedur:

1. lakukan 1000 kali berikut ini:
   i. pilih 1000 angka dari distribusi normal standar
   ii. hitung maks kelompok sampel itu dan simpan

2. sekarang plot distribusi hasilnya

   #libraries
   library(ggplot2)
   
   #parameters and pre-declarations
   nrolls <- 1000
   ntimes <- 10000
   store <- vector(length=ntimes)
   
   #main loop
   for (i in 1:ntimes){
   
        #get samples
        y <- rnorm(nrolls,mean=0,sd=1)
   
        #store max
        store[i] <- max(y)
   }
   
   #plot
   ggplot(data=data.frame(store), aes(store)) + 
        geom_histogram(aes(y = ..density..),
                       col="red", 
                       fill="green", 
                       alpha = .2) + 
        geom_density(col=2) + 
        labs(title="Histogram for Max") +
        labs(x="Max", y="Count")
   

Ini BUKAN "distribusi normal standar":

Puncaknya adalah di 3.2 tetapi max naik ke 5.0. Itu miring. Tidak sampai di bawah 2,5. Jika Anda memiliki data aktual (standar normal) dan Anda hanya memilih ekornya, maka Anda secara acak memilih sesuatu di sepanjang kurva ini. Jika Anda beruntung maka Anda menuju ke tengah dan bukan ekor bawah. Rekayasa adalah kebalikan dari keberuntungan - ini adalah tentang mencapai secara konsisten hasil yang diinginkan setiap saat. " Angka acak terlalu penting untuk dibiarkan kebetulan " (lihat catatan kaki), terutama untuk seorang insinyur. Keluarga fungsi analitik yang paling cocok dengan data ini - keluarga nilai distribusi yang ekstrem.

Kesesuaian sampel:
Katakanlah kita memiliki 200 nilai acak dari maksimum tahun dari distribusi normal standar, dan kita akan berpura-pura bahwa itu adalah 200 tahun sejarah tingkat ketinggian air maksimum kita (apa pun artinya). Untuk mendapatkan distribusi kami akan melakukan hal berikut:

1. Cicipi variabel "store" (untuk membuat kode pendek / mudah)
2. cocok dengan distribusi nilai ekstrim umum
3. temukan rata-rata distribusi
4. gunakan bootstrap untuk menemukan batas atas 95% CI dalam variasi rata-rata, sehingga kami dapat menargetkan rekayasa kami untuk itu.

(kode menganggap di atas telah dijalankan terlebih dahulu)

library(SpatialExtremes) #if it isn't here install it, it is the ev library
y2 <- sample(store,size=200,replace=FALSE)  #this is our data

myfit <- gevmle(y2)

Ini memberikan hasil:

> gevmle(y2)    
       loc      scale      shape     
 3.0965530  0.2957722 -0.1139021     

Ini dapat dicolokkan ke fungsi pembangkit untuk membuat 20.000 sampel

y3 <- rgev(20000,loc=myfit[1],scale=myfit[2],shape=myfit[3])

Membangun hal-hal berikut akan memberikan peluang 50/50 untuk gagal pada tahun apa pun:

berarti (y3)
3,23681

Berikut adalah kode untuk menentukan level "banjir" 1000 tahun:

p1000 <- qgev(1-(1/1000),loc=myfit[1],scale=myfit[2],shape=myfit[3])
p1000

Membangun hal-hal berikut ini akan memberi Anda 50/50 kemungkinan gagal pada banjir 1000 tahun.

p1000
4.510931

Untuk menentukan 95% CI atas saya menggunakan kode berikut:

myloc <- 3.0965530
myscale <- 0.2957722
myshape <- -0.1139021

N <- 1000
m <- 200
p_1000 <- vector(length=N)
yd <- vector(length=m)

for (i in 1:N){

      #generate samples
    yd <- rgev(m,loc=myloc,scale=myscale,shape=myshape)

    #compute fit
    fit_d <- gevmle(yd)

    #compute quantile
    p_1000[i] <- qgev(1-(1/1000),loc=fit_d[1],scale=fit_d[2],shape=fit_d[3])

}

mytarget <- quantile(p_1000,probs=0.95)

Hasilnya adalah:

> mytarget
     95% 
4.812148

Ini berarti, bahwa untuk menahan sebagian besar banjir 1000 tahun, mengingat data Anda sangat normal (tidak mungkin), Anda harus membangun untuk ...

> out <- pgev(4.812148,loc=fit_d[1],scale=fit_d[2],shape=fit_d[3])
> 1/(1-out)

atau

> 1/(1-out)
   shape 
1077.829 

... 1078 tahun banjir.

Garis bawah:

• Anda memiliki sampel data, bukan total populasi aktual. Itu berarti kuantil Anda adalah perkiraan, dan bisa mati.
• Distribusi seperti distribusi nilai ekstrem umum dibuat untuk menggunakan sampel untuk menentukan ekor yang sebenarnya. Mereka jauh lebih buruk dalam memperkirakan daripada menggunakan nilai sampel, bahkan jika Anda tidak memiliki cukup sampel untuk pendekatan klasik.
• Jika Anda kuat, langit-langitnya tinggi, tetapi hasilnya adalah - Anda tidak gagal.

Semoga berhasil

PS:

• $$1/(1-0.985) \approx 67$$
• Mengingat poin sebelumnya, rata-rata setiap 67 tahun orang sipil harus membangun kembali. Jadi dengan biaya penuh untuk rekayasa dan konstruksi setiap 67 tahun, mengingat umur operasional struktur sipil (saya tidak tahu apa itu), pada titik tertentu mungkin lebih murah untuk merekayasa untuk periode antar-badai yang lebih lama. Infrastruktur sipil berkelanjutan adalah salah satu yang dirancang untuk bertahan setidaknya satu umur manusia tanpa kegagalan, kan?

PS: lebih menyenangkan - video youtube (bukan milikku)
https://www.youtube.com/watch?v=EACkiMRT0pc

Catatan Kaki: Coveyou, Robert R. "Pembuatan angka acak terlalu penting untuk dibiarkan kebetulan." Probabilitas Terapan dan Metode Monte Carlo dan aspek dinamika modern. Studi dalam matematika terapan 3 (1969): 70-111.

Anda menggunakan teori nilai ekstrim untuk mengekstrapolasi dari data yang diamati. Seringkali, data yang Anda miliki tidak cukup besar untuk memberi Anda perkiraan kemungkinan ekor yang masuk akal. Mengambil contoh @ EngrStudent dari peristiwa 1-dalam-1000 tahun: yang terkait dengan menemukan 99,9% kuantil dari suatu distribusi. Tetapi jika Anda hanya memiliki data 200 tahun, Anda hanya dapat menghitung estimasi kuantil empiris hingga 99,5%.

Teori nilai ekstrim memungkinkan Anda memperkirakan 99,9% kuantil, dengan membuat berbagai asumsi tentang bentuk distribusi Anda di bagian ekor: bahwa itu halus, bahwa ia meluruh dengan pola tertentu, dan seterusnya.

Anda mungkin berpikir bahwa perbedaan antara 99,5% dan 99,9% kecil; itu hanya 0,4% setelah semua. Tetapi itu adalah perbedaan dalam probabilitas , dan ketika Anda berada di buntut, itu dapat diterjemahkan menjadi perbedaan besar dalam kuantil . Berikut adalah ilustrasi tentang bagaimana distribusi gamma, yang tidak memiliki ekor yang sangat panjang saat ini. Garis biru sesuai dengan 99,5% kuantil, dan garis merah adalah 99,9% kuantil. Sementara perbedaan antara ini kecil pada sumbu vertikal, pemisahan pada sumbu horizontal sangat besar. Pemisahan ini semakin besar untuk distribusi yang benar-benar berekor panjang; gamma sebenarnya merupakan kasus yang tidak berbahaya.

Jika Anda hanya tertarik pada ekor, masuk akal jika Anda memfokuskan pengumpulan data dan upaya analisis pada ekor. Seharusnya lebih efisien untuk melakukannya. Saya menekankan pengumpulan data karena aspek ini sering diabaikan ketika menyajikan argumen untuk distribusi EVT. Bahkan, tidak mungkin mengumpulkan data yang relevan untuk memperkirakan apa yang Anda sebut distribusi keseluruhan di beberapa bidang. Saya akan jelaskan lebih detail di bawah ini.

Jika Anda melihat banjir 1 dalam 1000 tahun seperti pada contoh @ EngrStudent, maka untuk membangun tubuh distribusi normal, Anda memerlukan banyak data untuk mengisinya dengan pengamatan. Secara potensial Anda membutuhkan setiap banjir yang telah terjadi dalam ratusan tahun terakhir.

Sekarang berhentilah sejenak dan pikirkan apa sebenarnya banjir itu? Ketika halaman belakang saya banjir setelah hujan lebat, apakah itu banjir? Mungkin tidak, tetapi di mana tepatnya garis yang menggambarkan banjir dari peristiwa yang bukan banjir? Pertanyaan sederhana ini menyoroti masalah pengumpulan data. Bagaimana Anda bisa memastikan bahwa kami mengumpulkan semua data pada tubuh mengikuti standar yang sama selama beberapa dekade atau bahkan berabad-abad? Praktis mustahil untuk mengumpulkan data pada tubuh distribusi banjir.

Oleh karena itu, itu bukan hanya soal efisiensi dari analisis , tetapi soal kelayakan data koleksi : apakah untuk model seluruh distribusi atau hanya ekor?

Secara alami, dengan ekor, pengumpulan data jauh lebih mudah. Jika kita mendefinisikan ambang batas yang cukup tinggi untuk apa itu banjir besar , maka kita dapat memiliki peluang lebih besar bahwa semua atau hampir semua peristiwa semacam itu mungkin dicatat dalam beberapa cara. Sulit untuk melewatkan banjir yang dahsyat, dan jika ada peradaban apa pun yang hadir, akan ada sejumlah kenangan yang tersimpan tentang peristiwa itu. Dengan demikian masuk akal untuk membangun alat analitik yang fokus secara khusus pada ekor mengingat bahwa pengumpulan data jauh lebih kuat pada peristiwa ekstrem daripada pada yang non-ekstrem di banyak bidang seperti studi reliabilitas.

Biasanya, distribusi data yang mendasarinya (misalnya, kecepatan angin Gaussian) adalah untuk titik sampel tunggal. Persentil ke-98 akan memberi tahu Anda bahwa untuk setiap titik yang dipilih secara acak, ada peluang 2% dari nilai yang lebih besar daripada persentil ke-98.

Saya bukan seorang insinyur sipil, tetapi saya akan membayangkan apa yang ingin Anda ketahui bukanlah kemungkinan kecepatan angin pada suatu hari berada di atas angka tertentu, tetapi distribusi hembusan terbesar yang mungkin terjadi, katakanlah, jalannya tahun. Dalam hal ini, jika maksimum hembusan angin harian, katakanlah, terdistribusi secara eksponensial, maka yang Anda inginkan adalah distribusi hembusan angin maksimum selama 365 hari ... inilah yang ingin diselesaikan oleh distribusi nilai ekstrim.

Penggunaan kuantil membuat perhitungan lebih mudah. Insinyur sipil dapat mengganti nilai (kecepatan angin, misalnya) ke dalam rumus prinsip pertama mereka dan mereka mendapatkan perilaku sistem untuk kondisi ekstrem yang sesuai dengan kuantil 98,5%.

Penggunaan seluruh distribusi tampaknya dapat memberikan lebih banyak informasi, tetapi akan mempersulit perhitungan. Namun, hal itu dapat memungkinkan penggunaan pendekatan manajemen risiko tingkat lanjut yang akan secara optimal menyeimbangkan biaya terkait (i) konstruksi dan (ii) risiko kegagalan.