Deteksi outlier mana yang dapat mendeteksi outlier ini?

Saya memiliki vektor dan ingin mendeteksi outlier di dalamnya.

Gambar berikut menunjukkan distribusi vektor. Poin merah adalah outlier. Poin biru adalah poin normal. Titik kuning juga normal.

Saya memerlukan metode deteksi outlier (metode non-parametrik) yang hanya dapat mendeteksi titik merah sebagai outlier. Saya menguji beberapa metode seperti IQR, standar deviasi tetapi mereka mendeteksi titik kuning sebagai outlier juga.

Saya tahu sulit mendeteksi hanya titik merah tapi saya pikir harus ada cara (bahkan kombinasi metode) untuk menyelesaikan masalah ini.

Poin adalah pembacaan sensor selama sehari. Tetapi nilai-nilai sensor berubah karena konfigurasi ulang sistem (lingkungan tidak statis). Waktu konfigurasi ulang tidak diketahui. Poin biru adalah untuk periode sebelum konfigurasi ulang. Poin kuning adalah untuk setelah konfigurasi ulang yang menyebabkan penyimpangan dalam distribusi bacaan (tetapi normal). Poin merah adalah hasil modifikasi ilegal dari poin kuning. Dengan kata lain, mereka adalah anomali yang harus dideteksi.

Saya ingin tahu apakah estimasi fungsi pemulusan Kernel ('pdf', 'survivor', 'cdf', dll.) Dapat membantu atau tidak. Adakah yang bisa membantu tentang fungsi utama mereka (atau metode perataan lainnya) dan pembenaran untuk digunakan dalam konteks untuk menyelesaikan masalah?

Anda dapat melihat data sebagai deret waktu di mana pengukuran biasa menghasilkan nilai yang sangat dekat dengan nilai sebelumnya dan kalibrasi ulang menghasilkan nilai dengan perbedaan besar dengan pendahulunya.

Berikut adalah contoh data yang disimulasikan berdasarkan distribusi normal dengan tiga cara berbeda yang serupa dengan contoh Anda.

Dengan menghitung selisih dengan nilai sebelumnya (semacam derivasi) Anda mendapatkan data berikut:

Interpretasi saya dari deskripsi Anda adalah, bahwa Anda mentolerir kalibrasi ulang (yaitu menunjuk pada jarak yang lebih besar dari nol, merah dalam diagram), tetapi mereka harus bertukar antara nilai positif dan negatif (yaitu sesuai dengan pergeseran dari kondisi biru ke warna kuning dan kembali).

Ini berarti Anda dapat mengatur alarm melihat titik merah kedua di sisi negatif atau positif .

Jika Anda menggunakan pencatatan Anda dapat menggunakan rata-rata berjalan yang me-reset jika konfigurasi berubah. Namun, ini akan memiliki kelemahan yang Anda butuhkan setidaknya beberapa data sebelum Anda dapat mendeteksi pencilan seperti itu.

Data Anda terlihat agak "bagus" (tidak terlalu berisik). Saya akan merekomendasikan mengambil rata-rata selama 10-20 poin terakhir dalam konfigurasi yang sama. Jika nilai-nilai ini adalah semacam jumlah yang dihitung, Anda dapat mengambil kesalahan poisson untuk masing-masing poin data dan menghitung rata-rata kesalahan.

Berapa banyak data historis yang Anda miliki? Jika Anda memiliki banyak, Anda dapat menggunakannya untuk menyempurnakan tingkat alarm Anda sedemikian rupa sehingga Anda mendapatkan rasio yang dapat diterima dari semua pencilan nyata saat mendapatkan sedikit peringatan palsu. Apa yang dapat diterima tergantung pada masalah spesifik. (Biaya Positif Palsu atau tidak terdeteksi outlier dan kelimpahannya).

Mari kita ilustrasikan pendekatan yang diusulkan dalam jawaban lain dengan contoh sederhana

Dapatkan Data

Kami akan mensimulasikan data dengan tujuh potongan yang diproduksi dengan distribusi normal dengan cara yang berbeda.

Ini penting karena memungkinkan kita untuk secara jelas membedakan antara kelompok dan untuk mendeteksi titik-titik pemecahan. Jawaban ini menggunakan pendekatan ambang batas dasar, beberapa cara yang lebih maju mungkin diperlukan untuk data Anda yang sebenarnya.

dt <- rbind(
data.frame(color=1, x =  round(runif(50, min = 0, max = 50)), y = rnorm (50,mean=3.9, sd=.03)), 
data.frame(color=2, x =  round(runif(15, min = 50, max = 65)), y = rnorm (15,mean=4.5, sd=.03)),
data.frame(color=2, x =  round(runif(15, min = 65, max = 80)), y = rnorm (15,mean=3.3, sd=.03)),
data.frame(color=1, x =  round(runif(70, min = 80, max = 150)), y = rnorm (70,mean=3.9, sd=.03)), 
data.frame(color=2, x =  round(runif(15, min = 150, max = 165)), y = rnorm (15,mean=3.3, sd=.03)), 
data.frame(color=3, x =  round(runif(15, min = 165, max = 180)), y = rnorm (15,mean=2.9, sd=.03)), 
data.frame(color=1, x =  round(runif(120, min = 180, max = 300)), y = rnorm (120,mean=3.9, sd=.03))
)
dt$color <- as.factor(dt$color)
dt <- as_tibble(dt)

Turunkan Breaking Points

Dengan perbedaan sederhana ke titik sebelumnya lag(y) kita mendapatkan outlier. Mereka diklasifikasi menggunakan ambang.

Perubahan Klasifikasi Perilaku

Berdasarkan aturan yang Anda jelaskan, titik puncaknya diklasifikasikan sebagai OKdan problem.

Aturan menyatakan bahwa tidak ada dua perubahan dalam arah yang sama diizinkan. Langkah kedua dalam arah previos dianggap sebagai masalah.

Anda mungkin perlu menyesuaikan interpretasi sederhana ini jika logik Anda lebih maju.

## extract outliers and get previous value
dt2 <- filter(dt2, diff != 0) %>%
   mutate(cs = cumsum(diff),
          prev = lag(diff),
          cls = case_when(
                      diff * prev >  0 ~ "problem",
                      TRUE ~ "OK"))
## show 
dt2 %>% select(x,y,diff,prev,cls)                       
## # A tibble: 6 x 5
##       x     y  diff  prev cls    
##   <dbl> <dbl> <dbl> <dbl> <chr>  
## 1    50  4.53     1    NA OK     
## 2    66  3.32    -1     1 OK     
## 3    80  3.87     1    -1 OK     
## 4   151  3.32    -1     1 OK     
## 5   167  2.91    -1    -1 problem
## 6   180  3.87     1    -1 OK

Presentasi

Akhirnya Anda memproyeksikan outlier yang diakui ke data asli

## project in the original data
ggplot(data=dt, mapping = aes(x=x, y=y) )  +
  geom_point(mapping = aes(color = color) )  +
  scale_color_manual(values=c("blue", "yellow", "red","green","red")) +
  theme(legend.position="none") +
  geom_vline(data=dt2, aes(xintercept=x, color=cls),
             linetype="dashed", size = 2)