Bagaimana mengukur dispersi dalam data frekuensi kata?

Bagaimana saya bisa menghitung jumlah dispersi dalam vektor jumlah kata? Saya mencari statistik yang akan tinggi untuk dokumen A, karena berisi banyak kata berbeda yang jarang terjadi, dan rendah untuk dokumen B, karena berisi satu kata (atau beberapa kata) yang sering muncul.

Lebih umum, bagaimana cara mengukur dispersi atau "menyebar" dalam data nominal?

Apakah ada cara standar untuk melakukan ini di komunitas analisis teks?

$p_i$$\sum p_i^a [\ln (1/p_i)]^b$

1. $a = 0, b = 0$

2. $a = 2, b = 0$$1 - \sum p_i^2$$1 / \sum p_i^2$$k$$1/k$$\sum p_i^2 = k (1/k)^2 = 1/k$$k$

3. $a = 1, b = 1$$H$$\exp(H)$$k$$H = \sum^k (1/k) \ln [1/(1/k)] = \ln k$$\exp(H) = \exp(\ln k)$$k$

Formulasi ini ditemukan di IJ Good. 1953. Frekuensi populasi spesies dan estimasi parameter populasi. Biometrika 40: 237-264. www.jstor.org/stable/2333344 .

Basis lain untuk logaritma (mis. 10 atau 2) sama-sama mungkin sesuai dengan selera atau preseden atau kenyamanan, dengan hanya variasi sederhana yang tersirat untuk beberapa formula di atas.

Penemuan kembali yang independen (atau reinvention) dari langkah kedua bermacam-macam di beberapa disiplin ilmu dan nama-nama di atas jauh dari daftar lengkap.

Mengikat langkah-langkah umum dalam keluarga tidak hanya menarik secara matematis. Ini menggarisbawahi bahwa ada pilihan ukuran tergantung pada bobot relatif yang diterapkan pada barang langka dan umum, dan dengan demikian mengurangi kesan adhockery yang dibuat oleh sejumlah kecil proposal yang tampaknya sewenang-wenang. Literatur di beberapa bidang dilemahkan oleh kertas dan bahkan buku-buku berdasarkan klaim lemah bahwa beberapa ukuran disukai oleh penulis (s) adalah ukuran terbaik yang harus digunakan semua orang.

Perhitungan saya menunjukkan bahwa contoh A dan B tidak begitu berbeda kecuali pada ukuran pertama:

----------------------------------------------------------------------
          |  Shannon H      exp(H)     Simpson   1/Simpson      #items
----------+-----------------------------------------------------------
        A |      0.656       1.927       0.643       1.556          14
        B |      0.684       1.981       0.630       1.588           9 
----------------------------------------------------------------------

(Beberapa orang mungkin tertarik untuk mencatat bahwa Simpson yang dinamai di sini (Edward Hugh Simpson, 1922-) sama dengan yang dihormati dengan nama Simpson's paradox. Ia melakukan pekerjaan yang sangat baik, tetapi ia bukan yang pertama kali menemukan kedua hal yang karenanya dia dinamai, yang pada gilirannya adalah paradoks Stigler, yang pada gilirannya ....)

Saya tidak tahu apakah ada cara umum untuk melakukannya, tetapi bagi saya ini analog dengan pertanyaan ketidaksetaraan di bidang ekonomi. Jika Anda memperlakukan setiap kata sebagai individu dan jumlah mereka sebanding dengan pendapatan, Anda tertarik untuk membandingkan di mana kantong kata berada di antara ekstrem dari setiap kata yang memiliki jumlah yang sama (persamaan lengkap), atau satu kata yang memiliki semua hitungan dan yang lainnya nol. Kerumitannya adalah bahwa "nol" tidak muncul, Anda tidak dapat memiliki kurang dari 1 hitungan dalam sekumpulan kata seperti yang biasanya didefinisikan ...

Koefisien Gini dari A adalah 0,18, dan B adalah 0,43, yang menunjukkan bahwa A lebih "sama" daripada B.

library(ineq)

A <- c(3, 2, 2, rep(1, 11))
B <- c(9, 2, rep(1, 7))
Gini(A)
Gini(B)

Saya tertarik pada jawaban lain juga. Jelas varians kuno dalam hitungan akan menjadi titik awal juga, tetapi Anda harus mengukurnya entah bagaimana membuatnya sebanding dengan tas dengan ukuran yang berbeda dan karenanya jumlah rata-rata yang berbeda per kata.

Artikel ini memiliki ulasan tentang ukuran dispersi standar yang digunakan oleh ahli bahasa. Mereka terdaftar sebagai langkah-langkah dispersi kata tunggal (Mereka mengukur dispersi kata-kata di seluruh bagian, halaman dll) tetapi mungkin dapat digunakan sebagai langkah-langkah dispersi frekuensi kata. Yang statistik standar tampaknya adalah:

1. maks-mnt
2. standar deviasi
3. $CV$
4. $\chi^2$

Klasiknya adalah:

1. $D = 1-\frac{CV}{\sqrt{n-1}}$
2. $S = N\frac{(\sum_{i=1}^{n}\sqrt{n_i})^2}{n}$
3. $D_2 = (\log_2N - \frac{\sum_{i=1}^n{n_i \log_2 n_i}}{N})/{\log_2(n)}$
4. $D_3 = \frac{1-\chi^2}{4N}$

$N$$n$$n_i$

Teks juga menyebutkan dua ukuran dispersi lagi, tetapi mereka bergantung pada penempatan spasial kata-kata, jadi ini tidak dapat diterapkan pada model tas kata-kata.

• Catatan : Saya mengubah notasi asli dari artikel, untuk membuat formula lebih konsisten dengan notasi standar.

Yang pertama saya lakukan adalah menghitung entropi Shannon. Anda dapat menggunakan paket R infotheo, fungsi entropy(X, method="emp"). Jika Anda membungkusnya natstobits(H), Anda akan mendapatkan entropi dari sumber ini dalam bit.

Salah satu ukuran kesetaraan yang mungkin bisa Anda gunakan adalah skala entropi Shannon . Jika Anda memiliki vektor proporsi maka ukuran ini diberikan oleh:$\boldsymbol{p} \equiv (p_1, ... , p_n)$

Ini adalah ukuran skala dengan rentang dengan nilai ekstrim yang terjadi pada ekstrem kesetaraan atau ketidaksetaraan. Entropi Shannon adalah ukuran informasi, dan versi berskala memungkinkan perbandingan antara kasus dengan jumlah kategori yang berbeda.$0 \leqslant \bar{H}(\boldsymbol{p}) \leqslant 1$

• Ketidaksetaraan Ekstrim: Semua hitungan ada dalam beberapa kategori . Dalam hal ini kita memiliki dan ini memberi kita .$k$$p_i = \mathbb{I}(i=k)$$\bar{H}(\boldsymbol{p}) = 0$

• Kesetaraan Ekstrem: Semua jumlah sama untuk semua kategori. Dalam hal ini kita memiliki dan ini memberi kita .$p_i = 1/n$$\bar{H}(\boldsymbol{p}) = 1$