“Java.lang.OutOfMemoryError: tidak dapat membuat Thread asli baru”

Kami mendapatkan "java.lang.OutOfMemoryError : unable to create new native Thread"pada VM RAM 8GB setelah 32k utas (ps -eLF | grep -c java)

Namun "top" and "free -m" shows 50% free memory available,. JDk 64 bit dan dicoba dengan HotSpot dan JRockit. Server memiliki Linux 2.6.18

Kami juga mencoba OS stack size (ulimit -s)tweaker dan proses max (ulimit -u) batas, limit.conf meningkat tetapi semuanya sia-sia.

Kami juga mencoba hampir semua kemungkinan kombinasi ukuran heap, menjaganya tetap rendah, tinggi, dll.

Script yang kami gunakan untuk menjalankan aplikasi adalah

/opt/jrockit-jdk1.6/bin/java -Xms512m -Xmx512m -Xss128k -jar JavaNatSimulator.jar /opt/tools/jnatclients/natSimulator.properties

Terima kasih balasannya.

Kami telah mencoba mengedit /etc/security/limits.conf dan ulimit tetapi masih tetap sama

[root@jboss02 ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 72192
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65535
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 72192
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Ini bukan masalah memori meskipun nama pengecualian sangat menyarankannya, tetapi masalah sumber daya sistem operasi. Anda kehabisan utas asli, yaitu berapa banyak utas yang diizinkan oleh sistem operasi untuk digunakan JVM Anda.

Ini adalah masalah yang jarang terjadi, karena Anda jarang membutuhkan sebanyak itu. Apakah Anda memiliki banyak pemijahan benang tanpa syarat di mana benang seharusnya tetapi tidak selesai?

Anda dapat mempertimbangkan untuk menulis ulang menggunakan Callable / Runnables di bawah kendali Executor jika memungkinkan. Ada banyak eksekutor standar dengan berbagai perilaku yang dapat dikontrol kode Anda dengan mudah.

(Ada banyak alasan mengapa jumlah utas dibatasi, tetapi bervariasi dari sistem operasi ke sistem operasi)

Saya mengalami masalah yang sama selama uji beban, alasannya adalah karena JVM tidak dapat membuat utas Java baru lebih lanjut. Di bawah ini adalah kode sumber JVM

if (native_thread->osthread() == NULL) {    
// No one should hold a reference to the 'native_thread'.    
    delete native_thread;   
if (JvmtiExport::should_post_resource_exhausted()) {      
    JvmtiExport::post_resource_exhausted(        
        JVMTI_RESOURCE_EXHAUSTED_OOM_ERROR | 
        JVMTI_RESOURCE_EXHAUSTED_THREADS, 
        "unable to create new native thread");    
    } THROW_MSG(vmSymbols::java_lang_OutOfMemoryError(), "unable to create new native thread");  
} Thread::start(native_thread);`

Akar penyebab: JVM menampilkan pengecualian ini ketika JVMTI_RESOURCE_EXHAUSTED_OOM_ERROR (sumber daya habis (berarti kehabisan memori)) atau JVMTI_RESOURCE_EXHAUSTED_THREADS (Thread habis).

Dalam kasus saya, Jboss membuat terlalu banyak utas, untuk melayani permintaan, tetapi semua utas diblokir. Karena itu, JVM kehabisan thread juga dengan memori (setiap thread menyimpan memori, yang tidak dirilis, karena setiap thread diblokir).

Menganalisis java thread dumps mengamati hampir 61K utas diblokir oleh salah satu metode kami, yang menyebabkan masalah ini. Di bawah ini adalah bagian dari Thread dump

"SimpleAsyncTaskExecutor-16562" #38070 prio=5 os_prio=0 tid=0x00007f9985440000 nid=0x2ca6 waiting for monitor entry [0x00007f9d58c2d000]
   java.lang.Thread.State: BLOCKED (on object monitor)

Sepertinya OS Anda tidak mengizinkan jumlah utas yang Anda coba buat, atau Anda mencapai beberapa batasan di JVM. Terutama jika itu adalah angka bulat seperti 32k, batas satu jenis atau lainnya adalah penyebabnya.

Apakah Anda yakin Anda benar-benar membutuhkan 32k utas? Sebagian besar bahasa modern memiliki semacam dukungan untuk kumpulan utas yang dapat digunakan kembali - Saya yakin Java juga memiliki sesuatu (seperti ExecutorService, seperti yang disebutkan pengguna Jesper). Mungkin Anda dapat meminta utas dari kumpulan seperti itu, daripada membuat yang baru secara manual.

Saya akan merekomendasikan untuk juga melihat Ukuran Tumpukan Benang dan melihat apakah Anda mendapatkan lebih banyak utas yang dibuat. Ukuran Thread Stack default untuk JRockit 1.5 / 1.6 adalah 1 MB untuk VM 64-bit di OS Linux. Utas 32K akan membutuhkan sejumlah besar memori fisik dan virtual untuk memenuhi persyaratan ini.

Cobalah untuk mengurangi Ukuran Stack menjadi 512 KB sebagai titik awal dan lihat apakah itu membantu membuat lebih banyak utas untuk aplikasi Anda. Saya juga merekomendasikan untuk menjelajahi penskalaan horizontal, misalnya membagi pemrosesan aplikasi Anda di lebih banyak mesin fisik atau virtual.

Saat menggunakan VM 64-bit, batas sebenarnya akan bergantung pada ketersediaan memori fisik dan virtual OS serta parameter penyetelan OS seperti ulimitc. Saya juga merekomendasikan artikel berikut sebagai referensi:

OutOfMemoryError: tidak dapat membuat utas asli baru - Masalah Demystified

Jika jvm dimulai melalui systemd, mungkin ada maxTasks per batas proses (tugas sebenarnya berarti utas) di beberapa OS linux.

Anda dapat memeriksa ini dengan menjalankan "status layanan" dan memeriksa apakah ada batas maxTasks. Jika ada, Anda dapat menghapusnya dengan mengedit /etc/systemd/system.conf, menambahkan konfigurasi: DefaultTasksMax = infinity

Saya memiliki masalah yang sama karena proses hantu yang tidak muncul saat menggunakan top in bash. Ini mencegah JVM menelurkan lebih banyak utas.

Bagi saya, itu diselesaikan ketika mendaftar semua proses java dengan jps (cukup jalankan jpsdi shell Anda) dan bunuh mereka secara terpisah menggunakan kill -9 pidperintah bash untuk setiap proses hantu.

Ini mungkin membantu dalam beberapa skenario.

Anda memiliki kesempatan untuk menghadapi java.lang.OutOfMemoryError: Unable to create new native threadkapan pun JVM meminta utas baru dari OS. Setiap kali OS yang mendasarinya tidak dapat mengalokasikan utas asli baru, OutOfMemoryError ini akan dilempar. Batas pasti untuk utas asli sangat bergantung pada platform, oleh karena itu disarankan untuk mencari tahu batas tersebut dengan menjalankan pengujian yang mirip dengan contoh tautan di bawah ini. Namun secara umum penyebab situasi java.lang.OutOfMemoryError: Unable to create new native threadmelalui tahapan sebagai berikut:

1. Utas Java baru diminta oleh aplikasi yang berjalan di dalam JVM
2. Kode asli JVM memproksikan permintaan untuk membuat utas asli baru ke OS OS mencoba membuat utas asli baru yang membutuhkan memori untuk dialokasikan ke utas
3. OS akan menolak alokasi memori asli karena ukuran proses Java 32-bit telah menghabiskan ruang alamat memorinya - misalnya (2-4) batas ukuran proses GB telah tercapai - atau memori virtual OS telah sepenuhnya habis
4. Java.lang.OutOfMemoryError: Tidak dapat membuat kesalahan utas asli baru dilempar.

Referensi: https://plumbr.eu/outofmemoryerror/unable-to-create-new-native-thread

Untuk menemukan proses mana yang membuat utas coba:

ps huH

Saya biasanya mengarahkan output ke file dan menganalisis file secara offline (apakah jumlah utas untuk setiap proses seperti yang diharapkan atau tidak)

Jika Job Anda gagal karena OutOfMemmory pada node, Anda dapat mengubah jumlah max map dan reducer dan JVM memilih untuk masing-masing node. mapred.child.java.opts (default adalah 200Xmx) biasanya harus ditingkatkan berdasarkan perangkat keras spesifik node data Anda.

Tautan ini mungkin bisa membantu ... tolong periksa

konfigurasi JBoss Anda memiliki beberapa masalah, /opt/jrockit-jdk1.6/bin/java -Xms512m -Xmx512m Xms dan Xmx membatasi penggunaan memori JBoss Anda, ke nilai yang dikonfigurasi, jadi dari 8Gb yang Anda miliki server hanya menggunakan 512M + beberapa tambahan untuk tujuannya sendiri, tingkatkan jumlah itu, ingatlah untuk meninggalkan beberapa gratis untuk OS dan hal-hal lain yang berjalan di sana dan mungkin Anda menjalankannya meskipun ada kode yang tidak menyenangkan. Memperbaiki kode juga akan menyenangkan, jika Anda bisa.

Kesalahan ini dapat muncul karena dua alasan berikut:

• Tidak ada ruang di memori untuk menampung utas baru.

• Jumlah utas melebihi batas Sistem Operasi.

Saya ragu bahwa jumlah utas telah melebihi batas untuk proses java

Jadi kemungkinan besar masalahnya adalah karena memori. Satu hal yang perlu dipertimbangkan adalah

utas tidak dibuat dalam heap JVM. Mereka dibuat di luar heap JVM. Jadi jika ada sedikit ruang tersisa di RAM, setelah alokasi heap JVM, aplikasi akan menjalankan "java.lang.OutOfMemoryError: tidak dapat membuat utas asli baru".

Solusi yang mungkin adalah mengurangi memori heap atau meningkatkan ukuran ram secara keseluruhan

Saya memiliki masalah yang sama dan ternyata itu adalah penggunaan yang tidak tepat dari API java. Saya menginisialisasi pembangun dalam metode pemrosesan batch yang seharusnya tidak dimulai lebih dari sekali.

Pada dasarnya saya melakukan sesuatu seperti:

for (batch in batches) {
    process_batch(batch)
}

def process_batch(batch) {
    var client = TransportClient.builder().build()
    client.processList(batch)
}

ketika saya seharusnya melakukan ini:

for (batch in batches) {
    var client = TransportClient.builder().build()
    process_batch(batch, client)
}

def process_batch(batch, client) {
    client.processList(batch)
}

Pertama-tama saya tidak akan menyalahkan OS / VM sebanyak itu .. melainkan pengembang yang menulis kode yang membuat begitu banyak Thread . Pada dasarnya di suatu tempat di kode Anda (atau pihak ke-3) banyak utas dibuat tanpa kontrol .

Tinjau stacktraces / kode dengan hati-hati dan kendalikan jumlah utas yang dibuat. Biasanya aplikasi Anda tidak memerlukan thread dalam jumlah besar, jika memang masalahnya berbeda.