Mengapa standar deviasi didefinisikan sebagai sqrt dari varians dan bukan sebagai sqrt dari jumlah kuadrat atas N?

Hari ini saya mengajar kelas pengantar statistik dan seorang siswa mendatangi saya dengan sebuah pertanyaan, yang saya ulangi di sini sebagai: "Mengapa standar deviasi didefinisikan sebagai sqrt of variance dan bukan sebagai sqrt dari jumlah kuadrat atas N?"

Kami mendefinisikan varians populasi:$\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

Dan standar deviasi: .$\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$

Interpretasi kami dapat memberikan ke adalah memberikan deviasi rata-rata unit dalam populasi dari mean populasi .$\sigma$$X$

Namun, dalam definisi sd kita membagi sqrt dari jumlah kuadrat melalui . Pertanyaan yang diajukan siswa adalah mengapa kita tidak membagi squme dari sume of squares dengan sebagai gantinya. Jadi kita sampai pada formula yang bersaing:Siswa berpendapat bahwa rumus ini lebih mirip deviasi "rata-rata" dari rata-rata daripada ketika membagi melalui seperti dalam .$\sqrt{N}$$N$

$$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$$ $\sqrt{N}$$\sigma$

Saya pikir pertanyaan ini tidak bodoh. Saya ingin memberikan jawaban kepada siswa yang lebih jauh daripada mengatakan bahwa sd didefinisikan sebagai sqrt dari varians yang merupakan deviaton kuadrat rata-rata. Dengan kata lain, mengapa siswa harus menggunakan formula yang benar dan tidak mengikuti idenya?

Pertanyaan ini berkaitan dengan utas yang lebih lama dan jawaban yang diberikan di sini . Jawaban ada tiga arah:

1. $\sigma$ adalah deviasi root-mean-squared (RMS), bukan deviasi "khas" dari mean (yaitu,$\sigma_{new}$ ). Dengan demikian, didefinisikan secara berbeda.
2. Ini memiliki sifat matematika yang bagus.
3. Selanjutnya, sqrt akan mengembalikan "unit" ke skala aslinya. Namun, ini juga akan menjadi kasus untuk , yang membaginya dengan N sebagai gantinya.$\sigma_{new}$$N$

Kedua poin 1 dan 2 adalah argumen yang mendukung sd sebagai RMS, tapi saya tidak melihat argumen yang menentang penggunaan . Apa argumen yang baik untuk meyakinkan siswa tingkat pengantar tentang penggunaan jarak RMS rata-rata σ dari mean?$\sigma_{new}$$\sigma$

Setidaknya ada tiga masalah dasar yang dapat dijelaskan kepada pemula:

1. SD "baru" bahkan tidak didefinisikan untuk populasi tak terbatas. (Seseorang dapat menyatakannya selalu sama dengan nol dalam kasus seperti itu, tetapi itu tidak akan membuatnya lebih berguna.)

2. SD baru tidak berperilaku seperti rata-rata harus dilakukan di bawah pengambilan sampel acak.

3. Meskipun SD baru dapat digunakan dengan semua ketelitian matematika untuk menilai penyimpangan dari rata-rata (dalam sampel dan populasi terbatas), interpretasinya tidak perlu rumit.

1. Penerapan SD baru terbatas

Poin (1) dapat dibawa pulang, bahkan kepada mereka yang tidak berpengalaman dalam integrasi, dengan menunjukkan bahwa karena varians jelas merupakan rata-rata aritmatika (penyimpangan kuadrat), ia memiliki ekstensi yang berguna untuk model populasi "tak terbatas" di mana intuisi tentang keberadaan aritmatika berarti masih berlaku. Oleh karena itu akar kuadratnya - SD biasa - juga didefinisikan dengan baik dalam kasus-kasus seperti itu, dan sama berguna dalam perannya sebagai varian (non-linear reekspresi) varians. Namun, SD membagi baru yang rata dengan sewenang-wenang besar , membuat generalisasi yang bermasalah di luar populasi terbatas dan sampel terbatas: apa yang harus1/$\sqrt{N}$ dianggap sama dalam kasus-kasus seperti itu?$1/\sqrt{N}$

2. SD baru bukan rata-rata

Statistik apa pun yang layak untuk nama "rata-rata" harus memiliki properti yang menyatu dengan nilai populasi karena ukuran sampel acak dari populasi meningkat. Setiap kelipatan tetap dari SD akan memiliki properti ini, karena pengganda akan berlaku baik untuk menghitung SD sampel dan populasi SD. (Meskipun tidak secara langsung bertentangan dengan argumen yang ditawarkan oleh Alecos Papadopoulos, pengamatan ini menunjukkan bahwa argumen hanya bersinggungan dengan masalah nyata.) Namun, SD "baru", sama dengan kali yang biasa, jelas konvergen ke0dalam semua keadaan sebagai ukuran sampelNtumbuh besar. Oleh karena itu,meskipun untuk setiap ukuran sampel tetapNSD baru (sesuai ditafsirkan) adalah ukuran variasi yang cukup memadai di sekitar rata-rata,itu tidak dapat dibenarkan dianggap sebagaiukuranuniversal yangberlaku, dengan interpretasi yang sama, untuk semua ukuran sampel, juga tidak bisa itu benar disebut "rata-rata" dalam arti yang bermanfaat.$1/\sqrt{N}$$0$$N$$N$

3. SD baru rumit untuk ditafsirkan dan digunakan

Pertimbangkan untuk mengambil sampel ukuran (katakanlah) . SD baru dalam kasus ini adalah 1 / $N=4$kali SD biasa. Oleh karena itu ia menikmati interpretasi yang sebanding, seperti analog dari aturan 68-95-99 (sekitar 68% dari data harus berada dalamduaSD baru dari rata-rata, 95% dari mereka dalamempatSD baru dari rata-rata,dll; dan versi ketidaksetaraan klasik seperti Chebychev akan berlaku (tidak lebih dari1/k2data dapat terletak lebih dari2kSD baru dari rata-rata mereka), dan Teorema Limit Sentral dapat secara analog disajikan kembali dalam hal SD baru (satu dibagi dengan$1/\sqrt{N}=1/2$$1/k^2$$2k$ kali SD baru untuk membakukan variabel). Dengan demikian, dalam pengertian yang spesifik dan terbatas ini,tidak ada yang salah dengan proposal siswa. Namun, kesulitannya adalah bahwa semua pernyataan ini mengandung - cukup eksplisit - faktor$\sqrt{N}$. Meskipun tidak ada masalah matematika yang melekat dengan ini, itu tentu mempersulit pernyataan dan interpretasi dari hukum statistik yang paling mendasar.$\sqrt{N}=2$

---

Perlu dicatat bahwa Gauss dan yang lainnya pada awalnya parameter parameter distribusi Gaussian oleh , efektif menggunakan$\sqrt{2}\sigma$ kali SD untuk mengukur penyebaran variabel acak Normal. Penggunaan historis ini menunjukkan kepatutan dan efektivitas penggunaankelipatantetapSD lainnya sebagai gantinya.$\sqrt{2}$

Asumsikan bahwa sampel Anda hanya berisi dua realisasi. Saya kira ukuran dispersi intuitif akan menjadi rata-rata deviasi absolut (AAD)

$$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$$

Jadi kita ingin ukuran dispersi lain pada level unit pengukuran yang sama "dekat" dengan yang di atas.

Varians sampel didefinisikan sebagai

$$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$$

$$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$$

$$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$$

Untuk kembali ke unit pengukuran asli, jika kita melakukan apa yang diminta / disarankan oleh siswa, kita akan mendapatkan ukurannya, sebut saja $q$

$$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$$

i.e. we would have "downplayed" the "intuitive" measure of dispersion, while if we have considered the standard deviation as defined,

$$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$$

Since we want to "stay as close as possible" to the intuitive measure, we should use $SD$.

ADDENDUM
Let's consider now a sample of size $n$ We have

$$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$$

and

$$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$$

we can write the right-hand side of the variance expression as

$$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

$$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

Then the dispersion measure $q_n$ will be

$$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Now think informally: note that $\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ contains $n^2-n$ terms, and so divided by $n^2$ will left us with "one term in the second power". But also "one term in the 2nd power" is what we have in $AAD^2$: this is a primitive way to "sense" why $q_n$ will tend to zero as $n$ grows large. On the other hand the Standard Deviation as defined would be

$$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Continuing are informal thinking, the first term gives us $n$ "terms in the 2nd power", while the second term gives us $n-1$ "terms in the second power" . So we will be left eventually with one such term, as $n$ grows large, and then we will take its square root.
This does not mean that the Standard Deviation as defined will equal the Average Absolute Deviation in general (it doesn't), but it does show that it is suitably defined so as to be "on a par" with it for any $n$, as well as for the case when $n\rightarrow \infty$.