Bagaimana cara membuat larik numpy dari generator?

Bagaimana saya bisa membangun array numpy dari objek generator?

Biarkan saya menggambarkan masalahnya:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

Dalam contoh ini, gimme()adalah generator yang outputnya ingin saya ubah menjadi sebuah array. Namun, konstruktor array tidak beralih di atas generator, ia hanya menyimpan generator itu sendiri. Perilaku yang saya inginkan adalah dari numpy.array(list(gimme())), tetapi saya tidak ingin membayar overhead memori memiliki daftar perantara dan array terakhir dalam memori pada saat yang sama. Apakah ada cara yang lebih efisien ruang?

Array yang numpy membutuhkan panjangnya untuk diatur secara eksplisit pada waktu pembuatan, tidak seperti daftar python. Ini diperlukan agar ruang untuk setiap item dapat dialokasikan secara berurutan dalam memori. Alokasi berturut-turut adalah fitur utama array numpy: ini dikombinasikan dengan implementasi kode asli yang memungkinkan operasi pada mereka menjalankan jauh lebih cepat daripada daftar biasa.

Dengan mengingat hal ini, secara teknis tidak mungkin untuk mengambil objek generator dan mengubahnya menjadi sebuah array kecuali Anda:

1. dapat memprediksi berapa banyak elemen yang akan dihasilkan saat dijalankan:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el
   

2. bersedia menyimpan elemen-elemennya dalam daftar perantara:

   my_array = numpy.array(list(gimme()))

3. dapat membuat dua generator identik, jalankan melalui yang pertama untuk menemukan total panjang, menginisialisasi array, dan kemudian jalankan melalui generator lagi untuk menemukan setiap elemen:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el
   

1 mungkin yang Anda cari. 2 tidak efisien ruang, dan 3 tidak efisien waktu (Anda harus melewati generator dua kali).

Satu google di belakang hasil stackoverflow ini, saya menemukan bahwa ada numpy.fromiter(data, dtype, count). Default count=-1mengambil semua elemen dari iterable. Ini membutuhkan dtypeuntuk diatur secara eksplisit. Dalam kasus saya, ini berhasil:

numpy.fromiter(something.generate(from_this_input), float)

Meskipun Anda bisa membuat array 1D dari generator dengan numpy.fromiter(), Anda bisa membuat array ND dari generator dengan numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Ini juga berfungsi untuk array 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Catatan yang numpy.stackmengkonsumsi generator internal dan membuat daftar perantara dengan arrays = [asanyarray(arr) for arr in arrays]. Implementasinya dapat ditemukan di sini .

Agak menyinggung, tetapi jika generator Anda adalah pemahaman daftar, Anda dapat menggunakan numpy.whereuntuk lebih efektif mendapatkan hasil Anda (saya menemukan ini dalam kode saya sendiri setelah melihat posting ini)

Fungsi vstack , hstack , dan dstack dapat digunakan sebagai generator input yang menghasilkan array multi-dimensi.