RuntimeError di windows mencoba multiprocessing python

123

Saya mencoba program python formal pertama saya menggunakan Threading dan Multiprocessing pada mesin windows. Saya tidak dapat meluncurkan prosesnya, dengan python memberikan pesan berikut. Masalahnya, saya tidak meluncurkan utas saya di modul utama . Utas ditangani dalam modul terpisah di dalam kelas.

EDIT : Ngomong-ngomong kode ini berjalan dengan baik di ubuntu. Tidak cukup di jendela

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Kode asli saya cukup panjang, tetapi saya dapat mereproduksi kesalahan dalam versi kode yang diringkas. Itu dibagi menjadi dua file, yang pertama adalah modul utama dan melakukan sangat sedikit selain mengimpor modul yang menangani proses / utas dan memanggil metode. Modul kedua adalah tempat inti kode.


testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()
NG Algo
sumber
@doctorlove Saya menjalankannya sebagai python testMain.py
NG Algo
1
Tentu - Anda memerlukan if name == ' main ' lihat jawabannya dan
dokumennya
1
@NGAlgo Skrip Anda sangat membantu saya saat saya men-debug masalah dengan pymongo dan multiprocessing. Terima kasih!
Clay

Jawaban:

175

Pada Windows, subproses akan mengimpor (mengeksekusi) modul utama di awal. Anda perlu memasukkan if __name__ == '__main__':pelindung di modul utama untuk menghindari pembuatan subproses secara rekursif.

Dimodifikasi testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)
Janne Karila
sumber
3
(menepuk keningnya dengan telapak tangan) Doh! Berhasil!!!! Terima kasih banyak! Saya melewatkan fakta bahwa itu adalah modul utama asli yang diimpor ulang! Selama ini saya mencoba cek " name ==" tepat sebelum saya meluncurkan proses saya.
NG Algo
1
Sepertinya saya tidak dapat mengimpor 'parallelTestModule'. Saya menggunakan Python 2.7. Haruskah itu berhasil di luar kotak?
Jonny
2
@Jonny Kode untuk parallelTestModule.py adalah bagian dari pertanyaan.
Janne Karila
1
@DeshDeepSingh Potongan kode ini bukan contoh yang berdiri sendiri; itu adalah modifikasi dari kode OP
Janne Karila
1
@DeshDeepSingh Modul itu adalah bagian dari pertanyaan.
Janne Karila
25

Coba letakkan kode Anda di dalam fungsi utama di testMain.py

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Lihat dokumennya :

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

yang mengatakan

"Pastikan bahwa modul utama dapat diimpor dengan aman oleh interpreter Python baru tanpa menyebabkan efek samping yang tidak diinginkan (seperti memulai proses baru)."

... dengan menggunakan if __name__ == '__main__'

doctorlove
sumber
9

Meskipun jawaban sebelumnya benar, ada sedikit kerumitan yang perlu dikomentari.

Jika modul utama Anda mengimpor modul lain di mana variabel global atau variabel anggota kelas ditentukan dan diinisialisasi ke (atau menggunakan) beberapa objek baru, Anda mungkin harus mengondisikan impor dengan cara yang sama:

if __name__ ==  '__main__':
  import my_module
Ofer
sumber
3

Seperti yang dikatakan @Ofer, saat Anda menggunakan pustaka atau modul lain, Anda harus mengimpor semuanya di dalam if __name__ == '__main__':

Jadi, dalam kasus saya, berakhir seperti ini:

if __name__ == '__main__':       
    import librosa
    import os
    import pandas as pd
    run_my_program()
Luis Abdi
sumber
0

Dalam kasus saya, itu adalah bug sederhana dalam kode, menggunakan variabel sebelum dibuat. Layak untuk memeriksanya sebelum mencoba solusi di atas. Mengapa saya mendapat pesan kesalahan khusus ini, Tuhan yang tahu.

arame3333
sumber