Menemukan SEMUA baris duplikat, termasuk "elemen dengan subskrip yang lebih kecil"

R duplicatedmengembalikan vektor yang menunjukkan apakah setiap elemen dari vektor atau bingkai data adalah duplikat elemen dengan subskrip yang lebih kecil. Jadi jika baris 3, 4, dan 5 dari data frame 5 baris adalah sama, duplicatedsaya akan memberikan vektornya

FALSE, FALSE, FALSE, TRUE, TRUE

Tetapi dalam hal ini saya sebenarnya ingin mendapatkan

FALSE, FALSE, TRUE, TRUE, TRUE

yaitu, saya ingin tahu apakah sebuah baris diduplikasi oleh baris dengan subskrip yang lebih besar juga.

duplicatedmemiliki fromLastargumen. Bagian "Contoh" ?duplicatedmenunjukkan cara menggunakannya. Panggil saja duplicateddua kali, sekali dengan fromLast=FALSEdan sekali dengan fromLast=TRUEdan ambil baris di mana saja TRUE.

Beberapa Edit terlambat: Anda tidak memberikan contoh yang dapat direproduksi, jadi inilah ilustrasi yang disumbangkan oleh @jbaums

vec <- c("a", "b", "c","c","c") 
vec[duplicated(vec) | duplicated(vec, fromLast=TRUE)]
## [1] "c" "c" "c"

Edit: Dan contoh untuk kasus bingkai data:

df <- data.frame(rbind(c("a","a"),c("b","b"),c("c","c"),c("c","c")))
df[duplicated(df) | duplicated(df, fromLast=TRUE), ]
##   X1 X2
## 3  c  c
## 4  c  c

Anda perlu mengumpulkan kumpulan duplicatednilai, menerapkan unique, dan kemudian mengujinya dengan %in%. Seperti biasa, masalah sampel akan membuat proses ini menjadi hidup.

> vec <- c("a", "b", "c","c","c")
> vec[ duplicated(vec)]
[1] "c" "c"
> unique(vec[ duplicated(vec)])
[1] "c"
>  vec %in% unique(vec[ duplicated(vec)]) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

Saya memiliki pertanyaan yang sama , dan jika saya tidak salah, ini juga sebuah jawaban.

vec[col %in% vec[duplicated(vec$col),]$col]

Entah mana yang lebih cepat, meskipun, kumpulan data yang saya gunakan saat ini tidak cukup besar untuk melakukan pengujian yang menghasilkan kesenjangan waktu yang signifikan.

Baris duplikat dalam kerangka data dapat diperoleh dengan dplyrmelakukan

df = bind_rows(iris, head(iris, 20)) # build some test data
df %>% group_by_all() %>% filter(n()>1) %>% ungroup()

Untuk mengecualikan kolom tertentu group_by_at(vars(-var1, -var2))dapat digunakan untuk mengelompokkan data.

Jika indeks baris dan bukan hanya data yang benar-benar dibutuhkan, Anda dapat menambahkannya terlebih dahulu seperti pada:

df %>% add_rownames %>% group_by_at(vars(-rowname)) %>% filter(n()>1) %>% pull(rowname)

Berikut adalah solusi @Joshua Ulrich sebagai fungsi. Format ini memungkinkan Anda untuk menggunakan kode ini dengan cara yang sama seperti Anda menggunakan duplikat ():

allDuplicated <- function(vec){
  front <- duplicated(vec)
  back <- duplicated(vec, fromLast = TRUE)
  all_dup <- front + back > 0
  return(all_dup)
}

Menggunakan contoh yang sama:

vec <- c("a", "b", "c","c","c") 
allDuplicated(vec) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

Jika Anda tertarik pada baris mana yang diduplikasi untuk kolom tertentu, Anda dapat menggunakan pendekatan plyr :

ddply(df, .(col1, col2), function(df) if(nrow(df) > 1) df else c())

Menambahkan variabel hitungan dengan dplyr :

df %>% add_count(col1, col2) %>% filter(n > 1)  # data frame
df %>% add_count(col1, col2) %>% select(n) > 1  # logical vector

Untuk baris duplikat (mempertimbangkan semua kolom):

df %>% group_by_all %>% add_tally %>% ungroup %>% filter(n > 1)
df %>% group_by_all %>% add_tally %>% ungroup %>% select(n) > 1

Manfaat dari pendekatan ini adalah Anda dapat menentukan berapa banyak duplikat sebagai batas.

Saya memiliki masalah serupa tetapi saya perlu mengidentifikasi baris yang digandakan berdasarkan nilai di kolom tertentu. Saya datang dengan solusi dplyr berikut :

df <- df %>% 
  group_by(Column1, Column2, Column3) %>% 
  mutate(Duplicated = case_when(length(Column1)>1 ~ "Yes",
                            TRUE ~ "No")) %>%
  ungroup()

Kode mengelompokkan baris menurut kolom tertentu. Jika panjang grup lebih dari 1 kode menandai semua baris dalam grup sebagai duplikat. Setelah selesai, Anda dapat menggunakan Duplicatedkolom untuk memfilter, dll.