Bagaimana mengukur "menyeluruh" dari kontributor SE?

12

Stack Exchange, seperti yang kita semua tahu, adalah kumpulan situs Q&A dengan beragam topik. Dengan asumsi bahwa masing-masing situs independen dari satu sama lain, mengingat statistik yang dimiliki pengguna, bagaimana cara menghitung "kesempurnaannya" dibandingkan dengan orang berikutnya? Apa alat statistik yang harus saya gunakan?

Sejujurnya, saya tidak tahu bagaimana mendefinisikan secara matematis "kebulatan", tetapi harus memiliki karakteristik sebagai berikut:

Semua hal dianggap sama, semakin banyak rep yang dimiliki pengguna, semakin dia berpengetahuan luas
Semua hal dianggap sama, semakin banyak situs yang diikuti oleh pengguna, semakin lengkap dia.
Apakah jawaban atau pertanyaan tidak mempengaruhi kebulatan

ranking diversity Graviton
sumber

Bagaimana Anda mendefinisikan "menyeluruh" dalam konteks SE, pertama-tama?

JM bukan ahli statistik

@ JM, saya tidak tahu, itu sebabnya saya berharap bahwa komunitas akan membantu untuk menyempurnakan konsep sedikit lebih.

Graviton

1

Dengan risiko terdengar seperti salah satu polisi PC brengsek - Mari kita termasuk wanita yang mengunjungi situs kami. @ Graviton, Semua referensi Anda adalah untuk pria.

rolando2

Pembulatan yang didefinisikan oleh ID pengguna tidak memberi tahu Anda tentang pembulatan dari seorang kontributor , karena seorang kontributor mungkin memiliki ID pengguna yang berbeda untuk UK yang berbeda. Beberapa ID pengguna juga dapat digunakan oleh lebih dari satu kontributor (misalnya, mitra yang berbagi akun).

Alexis

7

Anda juga harus memperhitungkan kesamaan antara situs-situs tersebut. Seseorang yang berpartisipasi di StackOverflow dan Bumbu Nasihat lebih bulat daripada seseorang yang berpartisipasi di SO dan CrossValidated, yang pada gilirannya (saya berpendapat) lebih berpengetahuan luas daripada seseorang yang berpartisipasi dalam SO dan Programmer . Tidak diragukan lagi ada banyak cara untuk melakukan itu, tetapi Anda dapat memeriksa pendaftaran yang tumpang tindih hanya untuk merasakannya.

Matt Parker
sumber

1

@ Matt Parker, poin bagus - Jika rep adalah bagian dari metrik, saya juga berpikir Anda perlu melihat bagaimana rep diperoleh. Seseorang yang memperoleh perwakilannya dari perolehan kecil dengan banyak pertanyaan / jawaban cenderung lebih baik daripada orang yang memperoleh perwakilan yang sama pada satu pertanyaan yang mengumpulkan banyak suara.

DQdlM

3

@ Kenny Itu poin yang bagus dan saya pikir cara Anda menyatakan itu benar - tetapi saya merasa seperti banyak pertanyaan dan jawaban yang paling banyak dipilih adalah yang paling tidak menunjukkan keahlian, sedangkan jawaban yang baik untuk pertanyaan teknis yang benar-benar berpasir seringkali memiliki suara sangat rendah.

Matt Parker

1

Lihat jawaban whuber, misalnya. Jawabannya sangat seragam, jadi apa yang membedakan antara jawaban berperingkat tinggi dan 1 pemilihnya? Ketika saya melihat yang pertama, saya melihat jawaban luar biasa untuk pertanyaan yang saya mengerti; pada yang terakhir, jawaban luar biasa untuk pertanyaan yang bahkan tidak saya mulai grok. Jadi jawaban dengan suara rendah sebenarnya bisa menjadi indikasi spesialisasi yang mendalam (tetapi perhatikan: jika Anda ingin tahu tentang seperti apa pengguna SE yang berpengetahuan luas, ini dia ).

Matt Parker

1

Bahkan, @Graviton, mungkin bijaksana untuk mencari pengguna multi-situs yang Anda anggap berpengetahuan luas dan melihat kinerja mereka di berbagai metrik Anda.

Matt Parker

1

@KennyPeanuts, untuk melengkapi poin @ Matt di atas, tampaknya ada juga sejumlah besar pengguna di situs SE yang menanggapi sejumlah besar pertanyaan, namun menghasilkan beberapa suara positif. Biasanya itu juga bukan indikasi keahlian atau kesempurnaan. (Padahal, itu adalah salah satu strategi termudah untuk mengumpulkan "reputasi").

kardinal

6

CONTOH: katakanlah ada tiga situs, dan kami ingin membandingkan kesempurnaan Pengguna A, B, C. Kami menulis reputasi pengguna di ketiga situs dalam bentuk vektor:

Pengguna A: [23, 23, 0]

Pengguna B: [15, 15, 0]

Pengguna C: [10, 10, 10]

Kami akan mempertimbangkan A lebih bulat daripada B (reputasi mereka tersebar merata di dua situs, tetapi A memiliki reputasi total lebih). Selain itu, kami akan menganggap C lebih baik daripada B (mereka memiliki reputasi total yang sama, tetapi C bahkan tersebar di lebih banyak situs.) Tidak diputuskan apakah A harus dianggap lebih baik daripada C, atau sebaliknya .

Biarkan , , menjadi masing-masing vektor reputasi di atas. $x_A$ $x_B$ $x_C$

Kami ingin mengukur "menyeluruh" dari pengguna dengan fungsi vektor reputasi mereka . Dengan di atas, kita ingin fungsi kita untuk memenuhi $f(x)$ $f$ , dan . $f(x_A) > f(x_B)$ $f(x_C) > f(x_B)$

Setiap yang cekung dan meningkat akan melakukan triknya. $f(x)$

Dua contoh umum fungsi cembung adalah 'norma fraksional'

f ([x_{1}, . . ., x_{m}]) = \sum_{saya} x_{saya}^{hal}

$f([x_1,...,x_m]) = \sum_i x_i^p$

untuk . $0 < p < 1$

Mengambil , kita menghitung $p = 1/2$

f (x_{SEBUAH}) = 2 \sqrt{23} \approx 9.6

$f(x_A) = 2\sqrt{23} \approx 9.6$

f (x_{B}) = 2 \sqrt{15} \approx 7.7

$f(x_B) = 2\sqrt{15} \approx 7.7$

f (x_{C}) = 3 \sqrt{10} \approx 9.5

$f(x_C) = 3\sqrt{10} \approx 9.5$

$1/2$

$f$

f ([x_{1}, . . ., x_{m}]) = - \sum_{saya} x_{saya} catatan (x_{saya} / c) .

$f([x_1,...,x_m]) = -\sum_i x_i \log(x_i/c).$

$c = \sum_i x_i$

$f$

f (x_{SEBUAH}) = 46 catatan (2) \approx 31.9

$f(x_A) = 46 \log(2) \approx 31.9$

f (x_{B}) = 30 catatan (2) \approx 20.8

$f(x_B) = 30 \log(2) \approx 20.8$

f (x_{C}) = 30 catatan (3) \approx 33.0

$f(x_C) = 30 \log(3) \approx 33.0$

Diukur berdasarkan entropi Shannon yang diskalakan, maka, kita dapat mengatakan C adalah yang paling baik dari ketiganya, dan A yang paling baik untuk yang kedua.

$f(x)$

EDIT2: Menambahkan contoh mengingat komentar whuber.

charles.y.zheng
sumber

f

$f$

f

$f$

[1, 101]

$[1,101]$

f

$f$

Norma pecahan tidak terdefinisi ketika x_i <0. Shannon entropy gagal ketika x_i / c ≤ 0. Tidak masuk akal bahwa ukuran pembulatan sumur tiba-tiba akan meledak ketika beberapa x_i berubah dari 0 menjadi -𝜀.

200_sukses

4

Ini adalah pertanyaan yang sangat, sangat menarik (memang saya agak jatuh cinta dengan gagasan pemodelan situs pertukaran stack secara umum).

Pada masalah menyeluruh, salah satu cara untuk menilai ini adalah melalui tag yang cenderung dijawab oleh pengguna tertentu, dan distribusinya di seluruh situs. Contoh dapat memperjelas hal ini.

Saya anggota di TeX, StackOverflow, CrossValidated, dan AskUbuntu. Sekarang, saya benar-benar hanya berkontribusi di sini dan StackOverflow, dan hanya tentang R pada Stackoverflow. Jadi, untuk mendefinisikan kebulatan baik saya akan melihat a) jumlah tag yang memiliki dua situs yang sama (untuk mendefinisikan kesamaan di situs) dan sejauh mana pengguna menjawab pertanyaan di situs yang memiliki sedikit atau tidak ada tag yang sama.

Jika, misalnya, seseorang berkontribusi pada tag Python di StackOverflow dan memasak, orang itu lebih berpengetahuan luas daripada seseorang yang menjawab pertanyaan pertanyaan perangkat lunak statistik (misalnya) pada Overflow dan pertanyaan statistik di sini.

Saya harap ini agak membantu.

richiemorrisroe
sumber

4

(+1) Seseorang yang berkontribusi pada tag Python pada SO dan memasak memiliki beberapa rasa eksotis dalam makanan :-) Saya mendengarnya terasa seperti ayam.

whuber

3

Jika Anda mendefinisikan 'menyeluruh' sebagai 'berkontribusi ke banyak Situs Stack Exchange yang berbeda,' saya akan menghitung beberapa metrik kontribusi per situs. Anda dapat menggunakan total posting, atau rata-rata posting per hari, atau mungkin reputasi. Kemudian lihat distribusi metrik ini di semua situs, dan hitung kemiringannya dengan cara yang masuk akal.

Dengan kata lain, orang yang 'berpengetahuan luas' akan menjadi orang yang berkontribusi ke banyak situs yang berbeda, sementara orang yang 'tidak berpengetahuan luas' adalah orang yang terutama berkontribusi pada satu situs. Anda dapat lebih meningkatkan ini dengan menskalakan metrik Anda dengan total pengguna di semua situs. yaitu seseorang yang berkontribusi banyak ke banyak situs berbeda harus dianggap lebih berpengetahuan luas daripada seseorang yang tidak berkontribusi apa pun ke salah satu situs. Seseorang yang tidak pernah menggunakan SE tidak sepenuhnya bulat!

Zach
sumber

1

Sudah banyak jawaban bagus, jadi mengapa satu lagi? Ini sebagian besar untuk menarik perhatian pada ide-ide menarik yang dibahas di sini di The n-Category Café . Sementara keragaman dalam ekologi (dan di tempat lain) sebagian besar hanya terlihat pada kelimpahan, kita juga harus melihat seberapa mirip / berbeda spesies yang berbeda.

Dengan mewakili spesies (atau apa pun, seperti situs SE ...) sebagai titik dalam ruang metrik ini mengarah pada generalisasi entropi ke ruang metrik, lihat misalnya Entropi maksimum ruang metrik oleh Tom Leinster, Emily Roff . Gagasan yang sama dapat digunakan dalam situs SE dengan melihat tag sebagai titik dalam ruang metrik.

kjetil b halvorsen
sumber

Bagaimana mengukur "menyeluruh" dari kontributor SE?

Jawaban: