Manajemen memori R / tidak dapat mengalokasikan vektor ukuran n Mb

Saya mengalami masalah saat mencoba menggunakan objek besar di R. Misalnya:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Saya mengerti bahwa ini terkait dengan kesulitan mendapatkan blok memori yang berdekatan (dari sini ):

Pesan kesalahan yang dimulai tidak dapat mengalokasikan vektor ukuran menunjukkan kegagalan untuk mendapatkan memori, baik karena ukurannya melebihi batas ruang alamat untuk suatu proses atau, lebih mungkin, karena sistem tidak dapat menyediakan memori. Perhatikan bahwa pada build 32-bit mungkin ada cukup memori bebas yang tersedia, tetapi tidak cukup besar ruang alamat yang berdekatan untuk memetakannya.

Bagaimana saya bisa mengatasi ini? Kesulitan utama saya adalah bahwa saya sampai pada titik tertentu dalam skrip saya dan R tidak dapat mengalokasikan 200-300 Mb untuk sebuah objek ... Saya tidak dapat benar-benar mengalokasikan blok karena saya membutuhkan memori untuk pemrosesan lainnya. Ini terjadi bahkan ketika saya dengan rajin menghapus objek yang tidak dibutuhkan.

EDIT: Ya, maaf: Windows XP SP3, 4Gb RAM, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Pertimbangkan apakah Anda benar-benar membutuhkan semua data ini secara eksplisit, atau bisakah matriksnya jarang? Ada dukungan yang baik di R (lihat Matrixpaket untuk misalnya) untuk matriks jarang.

Simpan semua proses dan objek lainnya dalam R seminimal mungkin saat Anda perlu membuat objek dengan ukuran ini. Gunakan gc()untuk menghapus memori yang tidak digunakan sekarang, atau, lebih baik hanya membuat objek yang Anda butuhkan dalam satu sesi .

Jika hal di atas tidak dapat membantu, dapatkan mesin 64-bit dengan RAM sebanyak yang Anda mampu, dan instal 64-bit R.

Jika Anda tidak dapat melakukan itu, ada banyak layanan online untuk komputasi jarak jauh.

Jika Anda tidak dapat melakukannya, alat pemetaan memori seperti paket ff(atau bigmemoryseperti yang disebutkan Sascha) akan membantu Anda membangun solusi baru. Dalam pengalaman saya yang terbatas ffadalah paket yang lebih maju, tetapi Anda harus membaca High Performance Computingtopik tentang CRAN Task Views.

Untuk pengguna Windows, berikut ini banyak membantu saya untuk memahami beberapa keterbatasan memori:

• sebelum membuka R, buka Windows Resource Monitor (Ctrl-Alt-Delete / Start Task Manager / Performance tab / klik tombol bawah 'Resource Monitor' / Memory tab)
• Anda akan melihat berapa banyak memori RAM yang telah kami gunakan sebelum Anda membuka R, dan dengan aplikasi mana. Dalam kasus saya, 1,6 GB dari total 4GB digunakan. Jadi saya hanya akan bisa mendapatkan 2,4 GB untuk R, tapi sekarang menjadi lebih buruk ...
• buka R dan buat kumpulan data 1,5 GB, lalu kurangi ukurannya menjadi 0,5 GB, Resource Monitor menunjukkan RAM saya digunakan hampir 95%.
• gunakan gc()untuk melakukan pengumpulan sampah => itu bekerja, saya bisa melihat penggunaan memori turun ke 2 GB

Saran tambahan yang berfungsi pada mesin saya:

• menyiapkan fitur, simpan sebagai file RData, tutup R, buka kembali R, dan muat fitur kereta. Manajer Sumber Daya biasanya menunjukkan penggunaan Memori yang lebih rendah, yang berarti bahwa bahkan gc () tidak memulihkan semua memori yang mungkin dan menutup / membuka kembali R berfungsi paling baik untuk memulai dengan memori maksimum yang tersedia .
• trik lainnya adalah dengan hanya memuat set kereta untuk pelatihan (jangan memuat set tes, yang biasanya bisa setengah dari set kereta). Fase pelatihan dapat menggunakan memori secara maksimal (100%), sehingga apa pun yang tersedia bermanfaat. Semua ini untuk mengambil dengan sebutir garam saat saya bereksperimen dengan batas memori R.

Berikut ini adalah presentasi tentang topik ini yang mungkin menarik bagi Anda:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Saya belum pernah mencoba hal-hal yang dibahas, tetapi bigmemorypaket itu tampaknya sangat berguna

Cara paling sederhana untuk menghindari batasan ini adalah beralih ke 64 bit R.

Saya mengalami masalah yang sama, dan saya menggunakan 2 flash drive sebagai 'ReadyBoost'. Kedua drive memberikan tambahan memori 8GB (untuk cache) dan itu memecahkan masalah dan juga meningkatkan kecepatan sistem secara keseluruhan. Untuk menggunakan Readyboost, klik kanan pada drive, pergi ke properti dan pilih 'ReadyBoost' dan pilih tombol radio 'gunakan perangkat ini' dan klik berlaku atau ok untuk mengkonfigurasi.

Saya mengikuti halaman bantuan dari memor.limit dan menemukan bahwa di komputer saya R secara default dapat menggunakan hingga ~ 1,5 GB RAM dan bahwa pengguna dapat meningkatkan batas ini. Menggunakan kode berikut,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

membantu saya untuk menyelesaikan masalah saya.

Jika Anda menjalankan skrip di lingkungan linux, Anda dapat menggunakan perintah ini:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

dan server akan mengalokasikan memori yang diminta untuk Anda (sesuai dengan batas server, tetapi dengan server yang baik - hugefile dapat digunakan)

Metode simpan / muat yang disebutkan di atas berfungsi untuk saya. Saya tidak yakin bagaimana / jika gc()defrag memori tetapi tampaknya ini berfungsi.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")