Apakah stack overflow terdeteksi oleh perangkat keras atau perangkat lunak?

Apakah tugas perangkat lunak (sistem operasi) untuk mendeteksi stack overflow atau apakah stack overflow terdeteksi di perangkat keras, menyebabkan pengecualian pada CPU?

Ini bisa berupa perangkat lunak, atau perangkat keras, atau keduanya, atau tidak sama sekali.

Ada dua jenis overflow: overflow saat menumbuhkan stack (saat memasukkan fungsi), dan overflow saat mengakses array pada stack. Meluap ketika menumbuhkan tumpukan dapat dideteksi dengan membuat batas memeriksa entri fungsi, untuk memverifikasi bahwa ada cukup ruang (dan memberi sinyal kesalahan atau menumbuhkan tumpukan jika tidak ada). Meluap saat mengakses array di stack hanya merupakan masalah dalam bahasa tingkat rendah yang tidak memverifikasi batas array; solusinya adalah memverifikasi batas array.

Pendekatan perangkat lunak ini memiliki keunggulan bahwa mereka bekerja sepenuhnya andal: Anda dapat yakin bahwa setiap stack overflow akan terdeteksi. Kelemahan mereka adalah mereka meningkatkan ukuran kode dan waktu eksekusi. Perangkat keras dapat membantu dengan menyediakan metode untuk mendeteksi sebagian besar luapan tanpa biaya selama tidak terjadi luapan. Pada arsitektur dengan MMU ¹, lingkungan runtime dapat mengatur untuk memetakan tumpukan pada batas halaman, dengan halaman berikutnya tetap tidak dipetakan.

+---------------+---------------+---------------+---------------+
| stack                         | unmapped      | other stuff   |
|    ----> direction of growth  |               |               |
+---------------+---------------+---------------+---------------+
^               ^               ^               ^               ^  page boundaries

Dengan begitu, jika perangkat lunak mencoba mengakses data di luar batas halaman (apakah karena penunjuk tumpukan telah bergerak di luar batas atau karena akses array di luar batas dan di luar batas), itu akan menyebabkan kesalahan dengan mengakses area yang tidak dipetakan . Ini hanya terjadi jika overflow cukup kecil: jika jumlah overflow terlalu besar, program mungkin pada akhirnya mengakses hal-hal lain di sisi lain dari celah di ruang alamat.

Kelemahan dari pendekatan perangkat keras adalah bahwa itu tidak sepenuhnya dapat diandalkan karena meluap dengan jumlah besar mungkin tidak terdeteksi, dan bahwa itu tidak mendeteksi limpahan array yang tetap dalam ruang addressable.

Untuk mendeteksi kelebihan array, teknik perangkat lunak lain adalah kenari : letakkan nilai khusus di bagian atas tumpukan atau di antara frame, dan periksa bahwa nilai kenari tidak berubah pada pengembalian fungsi. Ini juga merupakan teknik yang tidak sempurna karena overflow mungkin menghindari kenari sama sekali atau mungkin tidak terdeteksi karena nilai kenari telah dipulihkan pada saat diperiksa. Meskipun demikian, akan berguna untuk membuatnya lebih sulit untuk mengeksploitasi beberapa kerentanan keamanan.

Cara teraman dan termurah untuk menghindari tumpukan berlebih adalah dengan menghitung jumlah tumpukan yang diperlukan program sebelum mulai menjalankannya, dengan analisis statis. Namun ini tidak selalu praktis: jumlah tumpukan yang dibutuhkan oleh suatu program secara umum tidak dapat ditentukan dan tergantung pada data yang dimanipulasi oleh program tersebut.

¹ _{Prinsip yang sama juga dapat diterapkan hanya dengan MPU, atau tanpa perlindungan memori jika ada utas tunggal yang tumpukannya berada di tepi pemetaan fisik yang ada.}