Menemukan rekaman duplikat di lapangan menggunakan ArcGIS untuk Desktop?

Saya mencari rekaman duplikat dalam file dbf berdasarkan atribut yang disebut 'ID'. Saya memiliki berbagai file dbf dari 500.000 catatan hingga 1,5 juta dan saya tahu ada sejumlah duplikat.

Saya ingin menambahkan bidang 'Duplikat' yang bertuliskan Ya atau Tidak (atau 1 atau 0 baik-baik saja) ketika atribut ID ada di tempat lain. Menggunakan skrip python berikut dalam Field Calculator menghasilkan 1 untuk entri duplikat dan 0 untuk entri unik;

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

Namun, catatan pertama, misalnya, 5 ID duplikat juga akan dikembalikan sebagai 0 (4 berikutnya dianggap duplikat). Saya perlu semua 5 ditandai sebagai duplikat karena ID ada di tempat lain.

Menggunakan kode berikut akan memberi Anda penghitungan tambahan berapa kali ID terjadi dengan 1 yang berarti kejadian pertama dan seterusnya;

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

Saya hanya ingin 1 (atau Ya) jika ID dari catatan itu ada di tempat lain! (ArcGIS versi 10.1)

Saya telah melihat jawaban lain seperti skrip Python untuk mengidentifikasi catatan duplikat (tindak lanjut) tetapi tidak cukup berhasil.

Solusi alternatif adalah dengan menggunakan alat " ringkasan statistik " di ArcGIS, kemudian Anda bergabung dengan tabel yang dihasilkan berdasarkan bidang ID Anda. Duplikat akan memiliki "COUNT" lebih besar dari 1, sehingga mudah untuk menghitungnya dengan kalkulator bidang Anda.

Solusi alternatif lain ( hanya bekerja dengan lingkungan SDE ) adalah dengan menggunakan fungsionalitas SQL yang ada di ArcGIS untuk menunjukkan rekaman duplikat

Dapatkan Duplikat Catatan di Tabel (Pilih berdasarkan Atribut)

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

Contoh:

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

Script berikut membuat bidang baru dengan jumlah kemunculan setiap nilai dari bidang yang ditentukan. Jadi, misalnya, jika Anda memiliki "Paris" 6 kali di bidang itu, setiap baris dengan "Paris" akan mendapatkan 6.

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

Ini dapat dengan mudah dimodifikasi sehingga Anda dapat memiliki "Ya" atau 1 jika hitung> 1, tetapi saya rasa memiliki nomor hitung yang sebenarnya lebih bermanfaat.

Edit Nanti: Atau Anda bisa menggunakan ini di kalkulator lapangan. Kode skrip Pra-Logika:

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

bidang duplikat =

duplicates(!sample_field!)