Komputasi paralel sering dimodelkan menggunakan laju perhitungan lokal deterministik, overhead latensi, dan bandwidth jaringan. Pada kenyataannya, ini adalah variabel spasial dan non-deterministik. Studi seperti Skinner dan Kramer (2005) mengamati distribusi multi-modal, tetapi analisis kinerja tampaknya selalu menggunakan distribusi deterministik atau Gaussian (bukan hanya tidak akurat, itu tidak konsisten karena probabilitas positif latensi negatif).
Sudahkah model statistik kesetiaan tinggi dikembangkan? Apakah ada akun untuk korelasi silang dalam komputasi lokal / memori, latensi, dan variabilitas bandwidth?
performance
hpc
statistics
Jed Brown
sumber
sumber
Jawaban:
Dari perspektif Ilmu Komputer saya tidak berpikir masuk akal untuk membuat model statistik umum untuk waktu akses memori (latensi) dan bandwidth memori.
Masuk akal untuk membuat model statistik untuk suatu algoritma . Itu karena setiap algoritma memiliki pola akses memori tertentu, pola akses memori relevan dengan hierarki cache, misalnya algoritma dengan lokalitas data tinggi akan mengambil keuntungan dari cache level rendah yang menguntungkan waktu akses memori yang sangat cepat sementara algoritma lain harus lanjutkan ke RAM (atau bahkan terburuk swap memory) dan memiliki waktu akses yang sangat lambat.
Nilai tujuan umum diberikan dari sudut pandang arsitektur, Anda dapat memeriksa arsitektur Anda dan mencari waktu akses dari inti yang diberikan ke lokasi memori yang diberikan (katakanlah L3 cache). Ketahuilah bahwa arsitektur terkini adalah Non Uniform Memory Access NUMA yang akan membuat pekerjaan Anda sedikit lebih sulit.
sumber