Uji perbedaan signifikan dalam rasio variabel acak yang berdistribusi normal

Terkait dengan Menganalisa rasio variabel dan Cara parameterisasi rasio dua variabel terdistribusi normal, atau kebalikan dari satu? .

Misalkan saya memiliki sejumlah sampel dari empat distribusi acak kontinu yang berbeda, yang semuanya dapat kita anggap normal. Dalam kasus saya, ini terkait dengan beberapa metrik kinerja dua sistem file yang berbeda (katakanlah, ext4 dan XFS), baik dengan dan tanpa enkripsi. Metriknya mungkin, misalnya, jumlah file yang dibuat per detik, atau latensi rata-rata untuk beberapa operasi file. Kita dapat mengasumsikan bahwa semua sampel yang diambil dari distribusi ini akan selalu benar-benar positif. Sebut distribusi ini mana dan .$\textrm{Perf}_{fstype,encryption}$$fstype \in \{xfs,ext4\}$$encryption \in \{crypto,nocrypto\}$

Sekarang, hipotesis saya adalah enkripsi memperlambat salah satu sistem file dengan faktor yang lebih besar dari yang lain. Apakah ada beberapa tes sederhana untuk hipotesis ?$\frac{E[\textrm{Perf}_{xfs,crypto}]}{E[\textrm{Perf}_{xfs,nocrypto}]} < \frac{E[\textrm{Perf}_{ext4,crypto}]}{E[\textrm{Perf}_{ext4,nocrypto}]}$

Salah satu alternatif jawaban StasK adalah menggunakan tes permutasi. Langkah pertama adalah menentukan statistik uji , mungkin:$T$

$T = \frac{\widehat{Perf}_{ext4,crypto}}{\widehat{Perf}_{ext4,nocrypto}} - \frac{\widehat{Perf}_{xfs,crypto}}{\widehat{Perf}_{xfs,nocrypto}}$

di mana adalah, mungkin, rata-rata sampel dari pengamatan , dll. (Ini sesuai dengan definisi hipotesis Anda sebagai rasio dari ekspektasi daripada kemungkinan alternatif dari ekspektasi rasio - alternatif mana yang mungkin Anda inginkan.) Langkah kedua adalah mengubah secara acak label dalam data berkali-kali, katakanlah, , dan hitung untuk setiap permutasi. Langkah terakhir adalah membandingkan asli Anda dengan diamati ; p-value permutasi-diperkirakan akan menjadi sebagian kecil dari . Perfext4,cryptoext4,xfsi=1,…,10000TiTTiTi≤$\widehat{Perf}_{ext4,crypto}$$\text{Perf}_{ext4,crypto}$$ext4, \space xfs$$i=1, \dots, 10000$$T_i$$T$$T_i$$T_i \leq T$

Tes permutasi membebaskan Anda dari ketergantungan pada asimptotik, tetapi tentu saja tergantung pada ukuran sampel Anda (dan data juga, tentu saja), metode delta, yang saya gunakan sesekali juga, dapat bekerja dengan baik.

Anda dapat menghitung kesalahan standar (asimptotik) dari rasio menggunakan metode delta . Jika Anda memiliki dua variabel acak dan sehingga dalam distribusi (yang akan terjadi jika Anda memiliki data independen, tetapi juga berlaku pada kasus yang lebih umum dari data yang dikelompokkan ketika Anda menjalankan tes pada mesin yang berbeda), maka untuk rasio dengan analog populasi , kami memiliki Y $X$$Y$ r= ˉ Y / ˉ X ro=μY/μX

$$\sqrt{n}\left(\begin{array}{c} \bar X-\mu_X \\ \bar Y-\mu_Y\end{array}\right) \rightarrow N\left( \left( \begin{array}{c} 0 \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma_{XX} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{YY} \end{array} \right) \right)$$ $r=\bar Y/\bar X$$r_o = \mu_Y/\mu_X$XYσXYCV2[r]=CV2[ ˉ X ]+CV2[ ˉ Y ]zH0 $$\sqrt{n}(r-r_0) \to N(0,\frac{\mu_Y^2}{\mu_X^4}\sigma_{XX} - 2\frac{\mu_Y}{\mu_X^3}\sigma_{XY} + \frac1{\mu_X^2}\sigma_{YY})$$ Jika dan independen, karena mungkin masuk akal untuk mengasumsikan dalam kasus Anda, maka ungkapan ini agak disederhanakan dengan menjatuhkan , jadi kita dapatkan bahwa koefisien kuadrat variasi meringkas: Ia memiliki keuntungan tambahan bahwa ukuran sampel mungkin berbeda. Selain itu, jika RHS dan LHS Anda independen, Anda dapat membentuk statistik untuk$X$$Y$$\sigma_{XY}$ $${\rm CV}^2[r] = {\rm CV}^2[\bar X] + {\rm CV}^2[\bar Y]$$ $z$$H_0:$ tidak ada perbedaan dengan mengambil perbedaan rasio dan membaginya dengan kesalahan standar yang sesuai yang diperoleh dari CV ini.

Saya harap Anda dapat mengambilnya dari sana dan melakukan sisa perhitungan amplop untuk mendapatkan formula akhir.

Perhatikan bahwa hasilnya asimtotik, dan rasio adalah penaksir bias dalam sampel kecil. Bias memiliki orde , dan menghilang secara asimptotik bila dibandingkan dengan variabilitas sampel yang merupakan orde .r 0 O ( 1 / n ) O ( 1 / $r$$r_0$$O(1/n)$$O(1/\sqrt{n})$

Rasio varian Normal didistribusikan Cauchy. Mengetahui hal itu, Anda cukup melakukan Uji Faktor Bayes.

Ini adalah ide yang agak spontan. Saya sekarang tidak yakin dengan mekanisme penghasil data. Apakah Anda menginstal sistem file yang berbeda pada PC yang sama dan kemudian melakukan benchmark untuk kedua kasus tersebut, sehingga kami dapat mengasumsikan struktur data hierarkis?

Juga saya tidak yakin mencari rasio sebenarnya masuk akal.

Dan kemudian Anda menulis rasio dari nilai yang diharapkan, sedangkan saya memikirkan nilai yang diharapkan dari rasio. Saya kira saya perlu informasi lebih lanjut tentang pembuatan data sebelum melanjutkan.

Dalam kasus di mana Anda tidak dapat melakukan permutasi, misalnya ketika ukuran sampel menciptakan jutaan kemungkinan, solusi lain adalah pemasangan ulang Monte Carlo.

Hipotesis nol adalah bahwa tidak ada perbedaan dalam kecepatan antara dan , untuk dan . Oleh karena itu, rasio rata-rata dari semua sampel tidak berbeda dari rasio .x f s n o c r y p t o c r y p t o e x t $ext4$$xfs$$nocrypto$$crypto$ nocryptocrypt$\frac{ext4}{xfs}$$nocrypto$$crypto$

$H_{0}:T_{observed}=\frac{\sum x_{nocrypto} }{n_{nocrypto}}-\frac{\sum x_{crypto} }{n_{crypto}}=0$

di mana $x=\frac{ext4}{xfs}$

dan $n=sample\, size$

Jika benar, memilih hasil secara acak untuk rasio atau juga akan menghasilkan . Satu akan menghitung:$H_{0}$$nocrypto$$crypto$$T_{observed}=0$

$T_{resampling}=\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{nocrypto}}-\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{crypto}}$

dan melakukan, katakanlah, 10.000 putaran resampling. Distribusi nilai dihasilkan adalah interval kepercayaan untuk . Perbedaan antara dan ratio signifikan jika nilai dihitung berada di luar kisaran, misalnya, 95% dari nilai . H 0 n o c r y p t o c r y p t o T o b s e r v e d ( p < 0,05 ) T r e s a m p l i n $T_{resampling}$$H_{0}$$nocrypto$$crypto$$T_{observed}$$(p < 0.05)$$T_{resampling}$