Mengapa varians tidak didefinisikan sebagai perbedaan antara setiap nilai yang mengikuti satu sama lain?

Ini mungkin pertanyaan sederhana bagi banyak orang tetapi ini dia:

Mengapa varians tidak didefinisikan sebagai perbedaan antara setiap nilai yang mengikuti satu sama lain, bukannya perbedaan dengan rata-rata nilai?

Ini akan menjadi pilihan yang lebih logis bagi saya, saya kira saya jelas mengawasi beberapa kelemahan. Terima kasih

EDIT:

Biarkan saya ulangi sejelas mungkin. Inilah yang saya maksud:

1. Asumsikan Anda memiliki sejumlah angka, dipesan: 1,2,3,4,5
2. Hitung dan simpulkan perbedaan (absolut) (kontinu, antara setiap nilai berikut, bukan berpasangan) antara nilai (tanpa menggunakan rata-rata).
3. Dibagi berdasarkan jumlah perbedaan
4. (Follow-up: apakah jawabannya berbeda jika nomornya tidak diurutkan)

-> Apa kerugian dari pendekatan ini dibandingkan dengan formula standar untuk varian?

Alasan yang paling jelas adalah bahwa seringkali tidak ada urutan waktu dalam nilai. Jadi, jika Anda mengacaukan data, tidak ada perbedaan dalam informasi yang disampaikan oleh data. Jika kami mengikuti metode Anda, maka setiap kali Anda mencampuradukkan data, Anda mendapatkan varians sampel yang berbeda.

Jawaban yang lebih teoretis adalah bahwa varians sampel memperkirakan varians sebenarnya dari variabel acak. Varians sebenarnya dari variabel acak adalah E [ ( X - E X ) 2 ]$X$

$$E\left[ (X - EX)^2 \right].$$

Di sini mewakili ekspektasi atau "nilai rata-rata". Jadi definisi varians adalah jarak kuadrat rata-rata antara variabel dari nilai rata-rata. Ketika Anda melihat definisi ini, tidak ada "urutan waktu" di sini karena tidak ada data. Ini hanyalah atribut dari variabel acak.$E$

Ketika Anda mengumpulkan data id dari distribusi ini, Anda memiliki realisasi . Cara terbaik untuk memperkirakan ekspektasi adalah dengan mengambil rata-rata sampel. Kuncinya di sini adalah bahwa kita mendapatkan data id, dan dengan demikian tidak ada pemesanan ke data. Sampel x 1 , x 2 , ... , x n sama dengan sampel x 2 , x 5 , x 1 , x n . $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

EDIT

Varians sampel mengukur jenis dispersi tertentu untuk sampel, yang mengukur jarak rata-rata dari rata-rata. Ada jenis dispersi lain seperti rentang data, dan rentang Inter-Kuantil.

Bahkan jika Anda mengurutkan nilai-nilai Anda dalam urutan menaik, itu tidak mengubah karakteristik sampel. Sampel (data) yang Anda dapatkan adalah realisasi dari suatu variabel. Menghitung varians sampel mirip dengan memahami berapa banyak dispersi dalam variabel. Jadi misalnya, jika Anda mengambil sampel 20 orang, dan menghitung tinggi badan mereka, maka itu adalah 20 "realisasi" dari variabel acak tinggi orang. Sekarang varians sampel seharusnya mengukur variabilitas dalam ketinggian individu secara umum. Jika Anda memesan data 100 , 110 , 123 , 124 , ... $X =$

$$100, 110, 123, 124, \dots,$$

itu tidak mengubah informasi dalam sampel.

Mari kita lihat satu contoh lagi. katakanlah Anda memiliki 100 observasi dari variabel acak memerintahkan cara ini Kemudian jarak rata-rata berikutnya adalah 1 unit, jadi dengan metode Anda varians akan 1.

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

Cara untuk menafsirkan "varians" atau "dispersi" adalah memahami kisaran nilai apa yang mungkin untuk data. Dalam hal ini Anda akan mendapatkan kisaran 0,99 unit, yang tentu saja tidak mewakili variasi dengan baik.

Jika alih-alih mengambil rata-rata Anda hanya menjumlahkan perbedaan berikutnya, maka varians Anda akan menjadi 99. Tentu saja itu tidak mewakili variabilitas dalam sampel, karena 99 memberi Anda rentang data, bukan rasa variabilitas.

Hal ini didefinisikan seperti itu!

Ini aljabarnya. Biarkan nilainya menjadi . Dilambangkan dengan F fungsi distribusi empiris nilai-nilai ini (yang berarti setiap x saya memberikan kontribusi probabilitas massa 1 / n di nilai x i ) dan membiarkan X dan Y variabel-variabel acak independen dengan distribusi F . Berdasarkan sifat-sifat dasar varians (yaitu, itu adalah bentuk kuadrat) serta definisi F dan fakta$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$$F$ dan Y memiliki mean yang sama,$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

Formula ini tidak tergantung pada caranya dipesan:menggunakan semua pasangan komponen yang memungkinkan, membandingkannya menggunakan setengah perbedaan kuadratnya. Hal ini dapat, bagaimanapun, terkait denganrata-rataatas semua orderings mungkin (kelompok S ( n ) dari semua n ! Permutasi dari indeks 1 , 2 , ... , n ). Yaitu,$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

Penjumlahan batin itu mengambil nilai-nilai yang disusun ulang dan menjumlahkan (setengah) perbedaan kuadrat antara semuapasangan berturut-turut n - 1 . Pembagian oleh n pada dasarnya rata-rataperbedaan kuadrat berturut-turutini. Ini menghitung apa yang dikenal sebagaisemi-1 lag. Penjumlahan bagian luar melakukan iniuntuk semua kemungkinan pemesanan.$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

Dua pandangan aljabar yang setara dari rumus varian standar ini memberikan wawasan baru tentang arti varians. Semivarians adalah ukuran kebalikan dari kovarians serial dari urutan: kovarians tinggi (dan angka-angka berkorelasi positif) ketika semivarians rendah, dan sebaliknya. Varian dari dataset yang tidak berurutan , kemudian, adalah sejenis rata-rata dari semua semivarian yang mungkin dapat diperoleh di bawah pengurutan ulang sewenang-wenang.

Hanya sebagai pelengkap jawaban lainnya, varians dapat dihitung sebagai perbedaan kuadrat antara istilah:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

Saya pikir ini adalah yang paling dekat dengan proposisi OP. Ingat varians adalah ukuran dispersi dari setiap pengamatan sekaligus, tidak hanya antara angka "tetangga" di set.

---

MEMPERBARUI

Menggunakan contoh Anda: . Kita tahu variansnya adalah V a r ( X ) $X = {1, 2, 3, 4, 5}$ .$Var(X) = 2$

Dengan metode yang Anda usulkan $Var(X) = 1$ , jadi kami tahu sebelumnya mengambil perbedaan antara tetangga karena varians tidak bertambah. Yang saya maksudkan adalah mengambil setiap perbedaan yang mungkin kuadrat kemudian menyimpulkan:

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Others have answered about the usefulness of variance defined as usual. Anyway, we just have two legitimate definitions of different things: the usual definition of variance, and your definition.

Then, the main question is why the first one is called variance and not yours. That is just a matter of convention. Until 1918 you could have invented anything you want and called it "variance", but in 1918 Fisher used that name to what is still called variance, and if you want to define anything else you will need to find another name to name it.

The other question is if the thing you defined might be useful for anything. Others have pointed its problems to be used as a measure of dispersion, but it's up to you to find applications for it. Maybe you find so useful applications that in a century your thing is more famous than variance.

@GreenParker answer is more complete, but an intuitive example might be useful to illustrate the drawback to your approach.

In your question, you seem to assume that the order in which realisations of a random variable appear matters. However, it is easy to think of examples in which it doesn't.

Consider the example of the height of individuals in a population. The order in which individuals are measured is irrelevant to both the mean height in the population and the variance (how spread out those values are around the mean).

Your method would seem odd applied to such a case.

Although there are many good answers to this question I believe some important points where left behind and since this question came up with a really interesting point I would like to provide yet another point of view.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

The first thing to have in mind is that the variance is a particular kind of parameter, and not a certain type of calculation. There is a rigorous mathematical definition of what a parameter is but for the time been we can think of then as mathematical operations on the distribution of a random variable. For example if $X$ is a random variable with distribution function $F_X$ then its mean $\mu_x$, which is also a parameter, is:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.