Saya memiliki aplikasi Spark yang sedang berjalan yang menempati semua inti di mana aplikasi saya yang lain tidak akan dialokasikan sumber daya apa pun.
Saya melakukan beberapa penelitian cepat dan orang menyarankan menggunakan YARN kill atau / bin / spark-class untuk mematikan perintah. Namun, saya menggunakan versi CDH dan / bin / spark-class bahkan tidak ada sama sekali, aplikasi YARN kill juga tidak berfungsi.
Adakah yang bisa dengan saya dengan ini?
apache-spark
yarn
pyspark
B.Mr.W.
sumber
sumber
Jawaban:
yarn application -kill application_1428487296152_25597
sumber
web UI
?Spark History UI
atauRUNNING
UI aplikasi YARN ( thread-host: 8088 / cluster / apps / RUNNING ) atau dariSpark Job Web UI
URL ( yarn-host: 8088 / proxy / application_ <timestamp> _ <id> )Mungkin memakan waktu lama untuk mendapatkan semua ID aplikasi dari YARN dan mematikannya satu per satu. Anda dapat menggunakan Bash for loop untuk menyelesaikan tugas berulang ini dengan cepat dan lebih efisien seperti yang ditunjukkan di bawah ini:
Bunuh semua aplikasi di YARN yang dalam status DITERIMA:
for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done
Matikan semua aplikasi di YARN yang berada dalam status BERJALAN:
for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done
sumber
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API
PUT http: // {rm http address: port} / ws / v1 / cluster / apps / {appid} / state
sumber
Ini mungkin bukan solusi etis dan pilihan tetapi membantu dalam lingkungan di mana Anda tidak dapat mengakses konsol untuk menghentikan pekerjaan menggunakan perintah aplikasi benang.
Langkah-langkahnya adalah
Pergi ke halaman master aplikasi pekerjaan percikan. Klik pada bagian pekerjaan. Klik pada tahapan aktif pekerjaan aktif. Anda akan melihat tombol "kill" tepat di sebelah stage aktif.
Ini berfungsi jika tahapan berikutnya bergantung pada tahapan yang sedang berjalan. Meskipun itu menandai pekerjaan sebagai "Dibunuh Oleh Pengguna"
sumber