Peringkat keseluruhan dari beberapa daftar peringkat

13

Saya telah melihat melalui banyak literatur yang tersedia online, termasuk forum ini tanpa hasil dan berharap seseorang dapat membantu masalah statistik yang saya hadapi saat ini:

Saya memiliki 5 daftar data peringkat, masing-masing berisi 10 item peringkat dari posisi 1 (terbaik) ke posisi 10 (terburuk). Demi konteks, 10 item dalam setiap daftar adalah sama, tetapi dalam urutan peringkat yang berbeda karena teknik yang digunakan untuk menentukan peringkat mereka berbeda.

Contoh data:

            List 1      List 2      List 3     ... etc
Item 1     Ranked 1    Ranked 2    Ranked 1     
Item 2     Ranked 3    Ranked 1    Ranked 2
Item 3     Ranked 2    Ranked 3    Ranked 3
... etc

Saya mencari cara untuk menafsirkan dan menganalisis data di atas sehingga saya mendapatkan hasil akhir yang menunjukkan peringkat keseluruhan dari setiap item berdasarkan pada setiap tes dan posisinya, misalnya

Result
Rank 1 = Item 1
Rank 2 = Item 3
Rank 3 = Item 4
... etc

Sejauh ini saya telah berusaha untuk menafsirkan informasi ini dari melakukan Korelasi Pearson, Korelasi Spearman, Kendall Tau B, dan tes Friedman. Namun saya telah menemukan, bahwa hasil ini secara umum memasangkan daftar saya (yaitu membandingkan daftar 1 dengan daftar 2, kemudian daftar 1 ke daftar 3 .. dll), atau telah menghasilkan hasil seperti Chi-Square, P-Values ​​dll tentang keseluruhan data.

Adakah yang tahu bagaimana saya bisa menginterpretasikan data ini dalam metode yang baik secara statistik (pada tingkat pasca sarjana / PhD yang berlaku) sehingga saya bisa memahami peringkat keseluruhan yang menandakan pentingnya setiap item dalam daftar di 5 tes? Atau, jika ada jenis teknik atau uji statistik lain yang bisa saya lihat, saya akan sangat menghargai petunjuk atau petunjuk.

(Mungkin juga perlu dicatat, saya juga telah melakukan teknik matematika yang lebih sederhana seperti penjumlahan, rata-rata, tes minimum-maksimum dll, tetapi tidak merasa ini cukup penting secara statistik pada level ini).

Setiap bantuan atau saran akan sangat dihargai, terima kasih atas waktu Anda.

Liam
sumber
1
Saya menemukan dua pertanyaan yang, jika ditafsirkan secara tepat, tampaknya merupakan duplikat (dan karena itu sudah memberikan jawaban): stats.stackexchange.com/search?q=valuation+rank . Apakah ini memadai? Jika tidak, tolong bantu kami memahami apa yang spesial tentang situasi Anda.
whuber
Terimakasih atas tanggapan Anda. Saya telah melihat artikel-artikel ini, dan saya tidak yakin apakah itu bukan yang saya cari, atau apakah saya salah mengerti. Saya mendapatkan kesan dalam artikel-artikel ini bahwa masing-masing set data memiliki banyak variabel makna yang berbeda, dan bahwa peringkat dapat berbeda atau memiliki lebih banyak nilai integer daripada hanya peringkat. Saya hanya mencari cara yang terbukti secara statistik untuk dapat mengatakan 'secara keseluruhan item yang paling penting adalah item X, diikuti oleh Y ... dan terakhir (atau paling tidak penting) item Z'. Saya hampir mempertimbangkan untuk menganalisis peringkat ini 1-10 sebagai angka sederhana
Liam
1
Satu poin utama dari utas-utas itu adalah bahwa tidak ada "cara yang terbukti secara statistik". Ini adalah pertanyaan penilaian : setiap kombinasi statistik dari hasil Anda mencerminkan rasa saling menguntungkan di antara mereka. Misalnya , "objek" Anda mungkin adalah mobil dan "teknik" mungkin memeringkatnya menurut berbagai atribut: biaya, efisiensi bahan bakar, tenaga, kenyamanan, dll. Rasa pribadi Anda tentang "terbaik" mungkin berbeda secara substansial dari indera orang lain dan Anda berdua akan benar.
whuber
apakah kamu mendapatkan jawabannya? silakan tinggalkan komentar di sini stats.stackexchange.com/questions/347336/…
Ray Coder

Jawaban:

7

Saya tidak yakin mengapa Anda melihat korelasi dan ukuran serupa. Tampaknya tidak ada apa pun untuk dikorelasikan.

Sebaliknya, ada sejumlah opsi, tidak ada yang benar-benar lebih baik daripada yang lain, tetapi tergantung pada apa yang Anda inginkan:

Ambil peringkat rata-rata dan kemudian peringkat rata-rata (tetapi ini memperlakukan data sebagai interval)

Ambil peringkat median dan kemudian rangking median (tetapi ini dapat menghasilkan ikatan)

Ambil jumlah suara tempat pertama yang didapat setiap item, dan beri peringkat berdasarkan ini

Ambil jumlah suara tempat terakhir dan beri peringkat (berbanding terbalik, jelas) berdasarkan itu.

Buat beberapa kombinasi peringkat tertimbang, tergantung pada apa yang menurut Anda masuk akal.

Peter Flom - Pasang kembali Monica
sumber
4
Poin penting yang dibuat dalam utas yang saya rujuk dalam komentar - dan saya pikir ini adalah inti dari keseluruhan masalah - adalah bahwa semua metode ini sewenang - wenang . Ada metode objektif tetapi mereka membutuhkan penggunaan informasi yang tidak melekat dalam data. Itulah yang menjadikan ini masalah penilaian daripada statistik.
Whuber
Kombinasi peringkat apa yang akan Anda sarankan?
Archie
4

Seperti yang telah ditunjukkan orang lain, ada banyak opsi yang mungkin Anda kejar. Metode yang saya rekomendasikan didasarkan pada peringkat rata-rata, yaitu proposal pertama Peter.

Dalam hal ini, kepentingan statistik dari peringkat akhir dapat diperiksa dengan uji statistik dua langkah. Ini adalah prosedur non-parametrik yang terdiri dari uji Friedman dengan uji post-hoc yang sesuai, tes Nemenyi . Keduanya berdasarkan peringkat rata-rata. Tujuan dari uji Friedman adalah untuk menolak hipotesis nol dan menyimpulkan bahwa ada yang beberapa perbedaan antara item. Jika demikian, kami melanjutkan dengan tes Nemenyi untuk mengetahui item mana yang sebenarnya berbeda. (Kami tidak langsung memulai dengan tes post-hoc untuk menghindari signifikansi yang ditemukan secara kebetulan.)

Rincian lebih lanjut, seperti nilai kritis untuk kedua tes ini, dapat ditemukan di koran oleh Demsar .

Weiwei
sumber
2

Gunakan Tau-x (di mana "x" mengacu pada "eXtended" Tau-b). Tau-x adalah ekuivalen korelasi dari metrik jarak Kemeny-Snell - terbukti sebagai metrik jarak unik antara daftar item peringkat yang memenuhi semua persyaratan metrik jarak. Lihat bab 2 dari "Model Matematika dalam Ilmu Sosial" oleh Kemeny dan Snell, juga "Koefisien Korelasi Peringkat Baru dengan Penerapan pada Masalah Peringkat Konsensus, Edward Emond, David Mason, Jurnal Analisis Keputusan Multi-Kriteria, 11: 17- 28 (2002).

Stephen
sumber