Apakah ada batasan efektif untuk tugas geoproses Alamat Geocode?

8

Masalah yang saya hadapi memiliki latar belakang sebagai berikut:

Kami melakukan geocoding pada direktori catatan yang sangat luas. Ini adalah sesuatu yang melebihi 100 juta alamat. Saya telah membagi alamat menjadi alasan geografis sekecil yang saya rasa layak, menyatakan. Meski begitu, satu negara dapat memiliki lebih dari 5 juta catatan untuk di-geocode. Script arcpy yang saya buat akan mengulangi setiap alamat negara dan menjalankan proses geocoding yang tepat dengan locator yang sesuai.

Masalah:

Terkadang butuh 36 jam, terkadang hanya 20, tetapi skrip akan berhenti dengan kesalahan yang belum pernah saya lihat sebelumnya (ini dari file log XML):
ERROR 001143: Background server threw an excecption.

  • Jika skrip dijalankan di ArcCatalog atau jendela Python Arcmap, itu akan menampilkan pesan kesalahan merah Runtime error <class 'arcgisscripting.ExecuteError'>: ERROR 001143: Background server threw an excecption.
  • Jika skrip dijalankan di IDLE, itu hanya akan berhenti memproses tanpa kesalahan dan memulai kembali shell (dengan =====RESTART=====judul khas ).

Saya tahu skrip arcpy ini bekerja dengan kumpulan data yang lebih kecil, karena saya telah menggunakannya selama berbulan-bulan sekarang. Apa yang mungkin menjadi penyebab kesalahan ini? Apakah saya perlu membagi daftar alamat saya menjadi jumlah yang lebih kecil agar dapat di-geocode dengan andal?

EDIT: Saya melacak Log Peraga Peristiwa per @ DE Wright dan ini adalah apa yang saya temukan terdaftar di bawah kegagalan terbaru

Faulting application name: pythonw.exe, version: 0.0.0.0, time stamp: 0x4ba3e4e2
Faulting module name: Geocoding.dll, version: 10.0.1.2800, time stamp: 0x4cbcbb71
Exception code: 0xc0000005
Fault offset: 0x000be1f3
Faulting process id: 0x%9
Faulting application start time: 0x%10
Faulting application path: %11
Faulting module path: %12
Report Id: %13

Tidak persis menerangi ...

arcgis-10.0 geoprocessing geocoding large-datasets Nathanus
sumber
Apakah Anda menjalankan ini dengan layanan Server yang Anda geocoding menentang? Kedengarannya seperti itu; dan jika demikian Anda mungkin melihat batas waktu Layanan Web atau jumlah transaksi yang mendaur ulang layanan yang melanggar proses Anda.
DEWright
Semua data bersifat lokal, saya khawatir, itulah yang sangat membingungkan saya.
Nathanus
Apakah Anda menggunakan ArcGIS 10? Ada proses yang diperbarui saat perangkat lunak berjalan, Anda dapat melihatnya di task-manager Anda yang disebut ARCSOCM.exe yang pada dasarnya adalah proses Server ESRI yang berjalan secara lokal di mesin Anda untuk menangani proses latar belakang. Apa yang Anda lihat adalah proses ini gagal atau meledak pada Anda; Anda dapat mencoba memeriksa penampil acara di mesin dan melihat apakah ada kesalahan aplikasi yang dicatat; yang terkadang dapat memberikan informasi.
DEWright
Maaf, mereka disebut ArcSOCP.exe dan ArcSOMP.exe yang merupakan proses lokal ini yang berjalan.
DEWright
1
Lokasi saya berukuran negara. Saya mungkin akan melakukan preprocessing dengan perintah split * nix untuk hanya membagi file teks menjadi 1-2 juta potongan berukuran rekor sebelum mengubahnya menjadi tabel. Meskipun langkah ekstra untuk membuat mereka tabel mungkin membuang-buang waktu karena Anda dapat melakukan geocode file teks.
Nathanus

Jawaban:

1

Berikut ini adalah kertas putih dari 09 yang memiliki beberapa topik bagus juga tentang membuat pengaturan data Anda menjadi lebih efisien - http://esri.com/library/whitepapers/pdfs/arcgis-server-in-practice.pdf - dan di sini adalah tautan ke unduhan yang seharusnya lebih membantu - http://resources.arcgis.com/gallery/file/geocoding/ ... - Anda harus menemukan keduanya untuk banyak membantu Anda.

Anda juga dapat mengirimi saya pesan langsung dengan lebih banyak pertanyaan karena kami melakukan banyak proses skala penuh dan selalu ingin berkolaborasi.

Benar
sumber
Saya pikir saya bisa menggunakan beberapa diskusi dengan seseorang yang akrab dengan "standar" geocoding ESRI. Bagaimana saya bisa menghubungi Anda?
Nathanus
Anda dapat menemukan alamat gmail saya di bawah profil saya, kita bisa mulai dari sana.
DEWright
0

Mungkin jawaban ini akan membantu Anda. 100 juta alamat seharusnya tidak perlu lebih dari satu hari untuk diproses dan di-geocode. Perlu diingat bahwa kami tidak hanya melakukan geocoding pada alamat-alamat tetapi juga membuat standar dan memverifikasi mereka juga. Jika geocoding adalah satu-satunya tugas, itu akan lebih cepat.

Jeffrey
sumber