Bagaimana cara mengisi 90% dari memori bebas?

Saya ingin melakukan beberapa pengujian sumber daya rendah dan untuk itu saya perlu memiliki 90% dari memori bebas penuh.

Bagaimana saya bisa melakukan ini pada *nixsistem?

stress-ng adalah generator beban kerja yang mensimulasikan tekanan cpu / mem / io / hdd pada sistem POSIX. Panggilan ini harus melakukan trik di Linux <3.14:

stress-ng --vm-bytes $(awk '/MemFree/{printf "%d\n", $2 * 0.9;}' < /proc/meminfo)k --vm-keep -m 1

Untuk Linux> = 3.14, Anda dapat menggunakan MemAvailableuntuk memperkirakan memori yang tersedia untuk proses baru tanpa bertukar:

stress-ng --vm-bytes $(awk '/MemAvailable/{printf "%d\n", $2 * 0.9;}' < /proc/meminfo)k --vm-keep -m 1

Sesuaikan /proc/meminfopanggilan dengan free(1)/ vm_stat(1)/ etc. jika Anda membutuhkannya portabel.

Anda dapat menulis program C ke malloc()memori yang diperlukan dan kemudian menggunakannya mlock()untuk mencegah memori tidak ditukar.

Kemudian biarkan program menunggu input keyboard, dan membuka kunci memori, membebaskan memori dan keluar.

Saya akan menyarankan menjalankan VM dengan memori terbatas dan menguji perangkat lunak yang akan menjadi tes yang lebih efisien daripada mencoba mengisi memori pada mesin host.

Metode itu juga memiliki keuntungan bahwa jika situasi memori rendah menyebabkan kesalahan OOM di tempat lain dan menggantung seluruh OS, Anda hanya menggantung VM yang Anda uji di mesin Anda dan Anda mungkin memiliki proses berguna lainnya berjalan.

Juga jika pengujian Anda bukan CPU atau IO intensif, Anda dapat secara bersamaan menjalankan contoh pengujian pada keluarga VM dengan berbagai ukuran memori rendah.

Dari komentar HN ini: https://news.ycombinator.com/item?id=6695581

Cukup isi / dev / shm melalui dd atau serupa.

swapoff -a
dd if=/dev/zero of=/dev/shm/fill bs=1k count=1024k

1. jalankan linux;
2. boot dengan mem=nn[KMG]parameter boot kernel

(lihat di linux / Documentation / kernel-parameter.txt untuk detailnya).

Jika Anda memiliki alat GNU dasar ( sh, grep, yesdan head) Anda dapat melakukan ini:

yes | tr \\n x | head -c $BYTES | grep n
# Protip: use `head -c $((1024*1024*2))` to calculate 2MB easily

Ini berfungsi karena grep memuat seluruh baris data dalam RAM (saya mempelajari ini dengan cara yang agak disayangkan ketika grepping gambar disk). Garis, yang dihasilkan oleh yes, menggantikan baris baru, akan panjang tak terhingga, tetapi dibatasi oleh headke $BYTESbyte, sehingga grep akan memuat $ BYTES dalam memori. Grep sendiri menggunakan seperti 100-200KB untuk saya, Anda mungkin perlu mengurangi itu untuk jumlah yang lebih tepat.

Jika Anda juga ingin menambahkan batasan waktu, ini dapat dilakukan dengan mudah di bash(tidak akan berfungsi sh):

cat <(yes | tr \\n x | head -c $BYTES) <(sleep $NumberOfSeconds) | grep n

The <(command)hal tampaknya sedikit diketahui tetapi sering sangat berguna, info lebih lanjut tentang di sini: http://tldp.org/LDP/abs/html/process-sub.html

Kemudian untuk penggunaan cat: catakan menunggu input selesai sampai keluar, dan dengan menjaga salah satu pipa terbuka, itu akan membuat grep tetap hidup.

Jika Anda telah pvdan ingin secara perlahan meningkatkan penggunaan RAM:

yes | tr \\n x | head -c $BYTES | pv -L $BYTESPERSEC | grep n

Sebagai contoh:

yes | tr \\n x | head -c $((1024*1024*1024)) | pv -L $((1024*1024)) | grep n

Akan menggunakan hingga satu gigabyte dengan kecepatan 1MB per detik. Sebagai bonus tambahan, pvakan menunjukkan tingkat penggunaan saat ini dan total penggunaan sejauh ini. Tentu ini juga bisa dilakukan dengan varian sebelumnya:

yes | tr \\n x | head -c $BYTES | pv | grep n

Hanya memasukkan | pv |bagian akan menunjukkan kepada Anda status saat ini (throughput dan total, secara default, saya pikir - kalau tidak lihat halaman man (ual)).

Mengapa ada jawaban lain? Jawaban yang diterima merekomendasikan untuk menginstal paket (saya yakin ada rilis untuk setiap chipset tanpa memerlukan manajer paket); jawaban pilihan teratas merekomendasikan kompilasi program C (saya tidak memiliki kompiler atau toolchain yang diinstal untuk dikompilasi untuk platform target Anda); jawaban pilihan kedua teratas merekomendasikan untuk menjalankan aplikasi dalam VM (ya biarkan aku hanya dd sdcard internal ponsel ini melalui usb atau sesuatu dan membuat gambar virtualbox); yang ketiga menyarankan untuk memodifikasi sesuatu dalam urutan boot yang tidak mengisi RAM seperti yang diinginkan; yang keempat hanya berfungsi sejauh / dev / shm mountpoint (1) ada dan (2) besar (remounting membutuhkan root); yang kelima menggabungkan banyak hal di atas tanpa kode sampel; keenam adalah jawaban yang bagus tetapi saya tidak melihat jawaban ini sebelum datang dengan pendekatan saya sendiri, jadi saya pikir saya akan menambahkan sendiri, juga karena itu lebih pendek untuk diingat atau ketik jika Anda tidak melihat bahwa garis memblob sebenarnya adalah inti dari masalah ini; ketujuh lagi tidak menjawab pertanyaan (menggunakan ulimit untuk membatasi proses sebagai gantinya); yang kedelapan mencoba membuat Anda menginstal python; yang kesembilan berpikir kita semua sangat tidak kreatif dan akhirnya yang kesepuluh menulis program C ++ sendiri yang menyebabkan masalah yang sama dengan jawaban pilihan teratas.

Saya menjaga fungsi untuk melakukan sesuatu yang serupa di dotfiles saya. https://github.com/sagotsky/.dotfiles/blob/master/.functions#L248

function malloc() {
  if [[ $# -eq 0 || $1 -eq '-h' || $1 -lt 0 ]] ; then
    echo -e "usage: malloc N\n\nAllocate N mb, wait, then release it."
  else 
    N=$(free -m | grep Mem: | awk '{print int($2/10)}')
    if [[ $N -gt $1 ]] ;then 
      N=$1
    fi
    sh -c "MEMBLOB=\$(dd if=/dev/urandom bs=1MB count=$N) ; sleep 1"
  fi
}

Bagaimana abount solusi python sederhana?

#!/usr/bin/env python

import sys
import time

if len(sys.argv) != 2:
    print "usage: fillmem <number-of-megabytes>"
    sys.exit()

count = int(sys.argv[1])

megabyte = (0,) * (1024 * 1024 / 8)

data = megabyte * count

while True:
    time.sleep(1)

Bagaimana dengan ramf jika ada? Pasang dan salin ke file besar? Jika tidak ada /dev/shmdan tidak ada ramf - saya kira program C kecil yang melakukan malloc besar berdasarkan pada beberapa nilai input? Mungkin harus menjalankannya beberapa kali sekaligus pada sistem 32 bit dengan banyak memori.

Jika Anda ingin menguji proses tertentu dengan memori terbatas, Anda mungkin lebih baik menggunakan ulimituntuk membatasi jumlah memori yang dapat dialokasikan.

Saya pikir ini adalah kasus mengajukan pertanyaan yang salah dan kewarasan ditenggelamkan oleh orang-orang yang bersaing untuk mendapatkan jawaban paling kreatif. Jika Anda hanya perlu mensimulasikan kondisi OOM, Anda tidak perlu mengisi memori. Cukup gunakan pengalokasi khusus dan gagal setelah sejumlah alokasi tertentu. Pendekatan ini tampaknya bekerja cukup baik untuk SQLite .

Saya menulis program C ++ kecil ini untuk itu: https://github.com/rmetzger/dynamic-ballooner

Keuntungan dari implementasi ini adalah secara berkala memeriksa apakah perlu membebaskan atau mengalokasikan kembali memori.