Pencilan adalah pengamatan yang tampaknya tidak biasa atau tidak dijelaskan dengan baik relatif terhadap karakterisasi sederhana suatu dataset. Kemungkinan yang mengecewakan adalah bahwa data ini berasal dari populasi yang berbeda dari yang dimaksudkan untuk dipelajari.
Misalkan saya memiliki satu set besar data multivarian dengan setidaknya tiga variabel. Bagaimana saya bisa menemukan outlier? Scatterplots berpasangan tidak akan berfungsi karena dimungkinkan untuk pencilan yang ada dalam 3 dimensi yang bukan pencilan di salah satu dari subruang 2 dimensi. Saya...
Dalam peran pekerjaan saya, saya sering bekerja dengan kumpulan data orang lain, non-pakar membawakan saya data klinis dan saya membantu mereka untuk meringkasnya dan melakukan tes statistik. Masalah yang saya miliki adalah bahwa dataset yang saya bawa hampir selalu penuh dengan kesalahan ketik,...
Saya punya pertanyaan tentang menafsirkan grafik yang dihasilkan oleh plot (lm) dalam R. Saya bertanya-tanya apakah kalian bisa memberi tahu saya bagaimana menafsirkan lokasi skala dan plot leverage-residual? Setiap komentar akan dihargai. Asumsikan pengetahuan dasar tentang statistik, regresi dan...
Saya bekerja dengan sejumlah besar deret waktu. Rangkaian waktu ini pada dasarnya adalah pengukuran jaringan yang datang setiap 10 menit, dan beberapa di antaranya periodik (yaitu bandwidth), sementara beberapa lainnya tidak (yaitu jumlah lalu lintas perutean). Saya ingin algoritma sederhana untuk...
Saat memecahkan masalah bisnis menggunakan data, sudah umum bahwa setidaknya satu asumsi utama bahwa statistik klasik under-pin tidak valid. Sebagian besar waktu, tidak ada yang mengganggu untuk memeriksa asumsi-asumsi itu sehingga Anda tidak pernah benar-benar tahu. Misalnya, bahwa begitu banyak...
Saya mulai mencoba-coba penggunaan glmnetdengan LASSO Regression di mana hasil yang saya minati menjadi dikotomis. Saya telah membuat bingkai data mock kecil di bawah ini: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
Sering kali seorang analis statistik menyerahkan set dataset dan diminta untuk mencocokkan suatu model menggunakan teknik seperti regresi linier. Seringkali dataset disertai dengan penafian yang mirip dengan "Oh yeah, kami mengacaukan mengumpulkan beberapa poin data ini - lakukan apa yang Anda...
Untuk studi simulasi saya harus membuat variabel acak yang menunjukkan korelasi (populasi) prefined ke variabel .YYY Saya melihat ke dalam Rpaket copuladan CDVineyang dapat menghasilkan distribusi multivarian acak dengan struktur ketergantungan yang diberikan. Namun, tidak mungkin untuk...
Saya berurusan dengan data linear dengan outlier, beberapa di antaranya berada pada 5 standar deviasi dari garis regresi yang diperkirakan. Saya mencari teknik regresi linier yang mengurangi pengaruh poin-poin ini. Sejauh ini yang saya lakukan adalah memperkirakan garis regresi dengan semua data,...
Orang sering membicarakan tentang berurusan dengan pencilan dalam statistik. Hal yang menggangguku tentang hal ini adalah, sejauh yang bisa saya katakan, definisi pencilan adalah sepenuhnya subjektif. Misalnya, jika distribusi sebenarnya dari beberapa variabel acak sangat berekor atau bimodal,...
Komentar: Pertama saya ingin mengatakan besar terima kasih kepada penulis yang baru tsoutliers paket yang menerapkan Chen dan Liu deteksi time series outlier yang diterbitkan dalam Journal of American Association statistik pada tahun 1993 dalam perangkat lunak Open Source .RRR Paket mendeteksi 5...
Saya telah membaca di beberapa sumber, termasuk yang satu ini , bahwa Random Forests tidak sensitif terhadap pencilan (dalam cara Regresi Logistik dan metode ML lainnya, misalnya). Namun, dua intuisi mengatakan sebaliknya: Setiap kali pohon keputusan dibangun, semua poin harus diklasifikasikan....
Saya mencari cara untuk menghapus outlier dari dataset dan saya menemukan pertanyaan ini . Namun, dalam beberapa komentar dan jawaban untuk pertanyaan ini, orang-orang menyebutkan bahwa itu adalah praktik yang buruk untuk menghapus pencilan dari data. Dalam dataset saya, saya memiliki beberapa...
Saya menemukan makalah ini yang menggunakan deteksi anomali tautan untuk memprediksi topik yang sedang tren, dan saya merasa sangat menarik: Makalah ini adalah "Menemukan Topik Muncul di Streaming Sosial melalui Tautan Anomali Deteksi" . Saya ingin mereplikasi pada kumpulan data yang berbeda, tapi...
Pertanyaan ini diajukan oleh teman saya yang tidak mengerti internet. Saya tidak memiliki latar belakang statistik dan saya telah mencari di internet untuk pertanyaan ini. Pertanyaannya adalah: apakah mungkin untuk mengganti outlier dengan nilai rata-rata? jika memungkinkan, apakah ada referensi...
Mengikuti pertanyaan saya di sini , saya bertanya-tanya apakah ada pandangan yang kuat untuk atau menentang penggunaan deviasi standar untuk mendeteksi outlier (misalnya setiap titik data yang lebih dari 2 deviasi standar adalah outlier). Saya tahu ini tergantung pada konteks penelitian, misalnya...
Berasal dari bidang visi komputer, saya sering menggunakan metode RANSAC (Random Sample Consensus) untuk memasang model ke data dengan banyak outlier. Namun, saya belum pernah melihatnya digunakan oleh ahli statistik, dan saya selalu mendapat kesan bahwa itu tidak dianggap metode...
Ada banyak posting di SE ini yang membahas pendekatan yang kuat untuk analisis komponen utama (PCA), tetapi saya tidak dapat menemukan penjelasan yang baik tentang mengapa PCA sensitif terhadap outlier di tempat
Saya sudah mulai bekerja dengan cara saya melalui Tutorial Statistik Data Mining oleh Andrew Moore (sangat disarankan untuk orang lain yang pertama kali menjelajah ke bidang ini). Saya mulai dengan membaca PDF yang sangat menarik ini yang berjudul "Tinjauan Pengantar tentang algoritma pendeteksian...
Dalam analisis regresi linier, kami menganalisis pencilan, menyelidiki multikolinieritas, uji heteroskedastisitas. Pertanyaannya adalah: Apakah ada perintah untuk menerapkan ini? Maksud saya, apakah kita harus menganalisis outlier terlebih dahulu, dan kemudian memeriksa multikolinieritas? Atau...