Cara untuk Mempercepat Skrip Python Berjalan Sebagai Alat ArcGIS [ditutup]

Ini pertanyaan yang cukup umum. Saya hanya ingin tahu tips dan trik apa yang telah digunakan programmer GIS untuk mempercepat skrip arcpy yang Anda impor ke dalam kotak peralatan dan jalankan.

Saya bekerja paling banyak setiap hari menulis skrip kecil untuk membantu pengguna non-GIS di kantor saya memproses data GIS. Saya telah menemukan bahwa pemrosesan ArcGIS 10.0 secara umum lebih lambat dari 9.3.1 dan kadang-kadang bahkan lebih lambat ketika menjalankan skrip python.

Saya akan mencantumkan contoh skrip tertentu yang berjalan lebih dari 24 jam. Itu adalah loop yang menabulasi area raster di buffer untuk setiap bentuk di buffer. Buffer memiliki sekitar 7000 bentuk. Saya tidak percaya itu harus berjalan selama ini. SEBUAH

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Sebelum ada yang mengatakannya, saya telah menjalankan area tabulasi pada seluruh buffer, tetapi menghasilkan kesalahan jika dijalankan pada lebih dari 1 record. Ini alat yang cacat, tapi saya harus menggunakannya.

Bagaimanapun, jika ada yang punya ide tentang bagaimana mengoptimalkan, atau mempercepat skrip ini, itu akan sangat dihargai. Jika tidak, apakah Anda punya trik mempercepat untuk python, ketika digunakan di ArcGIS?

Beberapa saran potensial untuk membantu mempercepat proses Anda adalah:

1. Select Layer By Attribute dapat dibuat dalam skrip Python saja, tanpa pernah meluncurkan ArcGIS Desktop. Anda perlu mengonversi referensi "buff" Anda dari referensi berbasis file ke referensi "ArcGIS layer", yang ArcGIS dapat memproses kueri pemilihan terhadap. Gunakan arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") di atas loop "while" Anda, dan kemudian ubah referensi Anda di bawah loop while untuk menggunakan "buff_lyr".

2. Memproses sebanyak mungkin operasi GP Anda menggunakan ruang kerja in_memory sebanyak mungkin ... Gunakan arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") untuk memindahkan sumber Anda ke dalam memori. Ini hanya berfungsi dengan baik jika Anda memiliki RAM yang cukup untuk membaca semua kelas fitur yang Anda butuhkan ke dalam memori. Berhati-hatilah, bagaimanapun, bahwa ada beberapa operasi GP yang tidak dapat berjalan menggunakan in_memory workspace (Eg: the Project tool).

Dari artikel bantuan online ArcGIS 9.3 " Data antara dan ruang kerja awal " (catatan, bahasa ini telah dihapus dari bantuan 10.0 & 10.1):

CATATAN: Hanya tabel dan kelas fitur (titik, garis, poligon) yang dapat ditulis ke ruang kerja in_memory. Ruang kerja in_memory tidak mendukung elemen geodatabase yang diperluas seperti subtipe, domain, representasi, topologi, jaringan geometris, dan dataset jaringan. Hanya fitur dan tabel sederhana yang dapat ditulis.

Dari ArcGIS 10.1 artikel bantuan online " Menggunakan ruang kerja di-memori ":

Pertimbangan berikut harus dibuat dalam memutuskan untuk menulis output ke ruang kerja di-memori:

• Data yang ditulis ke ruang kerja di memori bersifat sementara dan akan dihapus ketika aplikasi ditutup.
• Tabel, kelas fitur, dan raster dapat ditulis ke ruang kerja di-memori.
• Ruang kerja di-memori tidak mendukung elemen geodatabase yang diperluas seperti subtipe, domain, representasi, topologi, jaringan geometris, dan kumpulan data jaringan.
• Dataset atau folder fitur tidak dapat dibuat di ruang kerja di memori.

Teknik optimasi python umum dapat menghemat banyak waktu.

Salah satu teknik yang sangat bagus untuk mendapatkan lowdown di mana penahanan dalam skrip Anda adalah menggunakan modul cProfile bawaan:

from cProfile import run
run("code") # replace code with your code or function

Pengujian menggunakan sampel data kecil akan memungkinkan Anda menentukan dengan tepat panggilan fungsi mana yang paling banyak menghabiskan waktu.

Petunjuk umum untuk kode python yang lebih cepat:

• Pemahaman daftar umumnya lebih cepat daripada pengulangan
• Generator menghasilkan satu item sekaligus dan bukannya menghasilkan seluruh daftar sekaligus
• Gunakan xrange alih-alih rentang dalam python 2 (tidak perlu dalam 3)
• Set bisa mengeluarkan daftar sebelumnya ketika datang untuk menentukan apakah suatu item hadir dalam set tetapi umumnya lebih lambat dari daftar ketika datang untuk beralih pada isinya Sumber
• Panggilan fungsi dapat mahal untuk Sumber kinerja
• Lebih banyak tips dan detail periksa di sini Tips Kinerja Python dan di sini 10 Tips dan Masalah Optimasi Python

Sehubungan dengan skrip Anda, saya tidak dapat mengomentari aspek ArcPy karena saya tidak memiliki Arc yang diinstal pada komputer ini, tetapi Anda mungkin ingin mencoba menggunakan for loop alih-alih loop sementara melihat apakah itu meningkatkan sesuatu. Juga x = x + 1 dapat ditulis sebagai x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Pastikan Anda menulis ke drive internal di komputer. Menjangkau seluruh jaringan ketika tidak perlu dapat benar-benar memperlambat pemrosesan. Bahkan bisa lebih cepat untuk menyalin data sebagai langkah pertama dalam proses untuk menjaga baca-tulis berikutnya secepat mungkin

Menjalankan skrip sepenuhnya di luar ArcMap bisa jauh lebih cepat. Jika Peta tidak diperlukan selama pemrosesan, maka jangan gunakan ArcMap.

Ini mungkin tidak menjawab pertanyaan Anda untuk menjalankan alat ArcPy di ​​dalam ArcMap tetapi ketika saya perlu melakukan pengolahan gemuk dengan alat geo-processing dan Python saya cenderung menjalankannya di luar sistem GIS menggunakan IDE PyScripter . Saya menemukan ini berjalan lebih cepat. Saya juga menggunakan RAMDISK untuk dataset output sementara kecil (sedikit seperti ruang kerja in_memory )

Yah mereka adalah tips utama saya! :)

Coba komentari arcpy.SetProgressorLabel dan lihat seberapa cepat Anda mempercepatnya. Saya telah menemukan bahwa setiap output layar, kembali ke DOS linglung, secara drastis memperlambat waktu pemrosesan. Jika Anda benar-benar perlu melihat output itu, coba perlihatkan setiap loop ke-N.

Pastikan Anda menghapus import xxxxbaris yang tidak digunakan.

(mis. jika Anda belum menggunakan fungsi matematika apa pun yang Anda miliki import Math, ini akan memakan waktu dari pemuatan skrip)

Meskipun ini tidak akan berdampak besar pada skrip tunggal yang berjalan (seperti skrip Anda), ini akan memengaruhi skrip apa pun yang sering berjalan dan berulang.