Mengumpulkan metrik tentang objek$n$$k$

Misalkan saya mengumpulkan metrik tentang objek . Saya mencari cara yang valid untuk membandingkan objek sehingga mereka dapat "diperingkat". Saya pikir ini mungkin tanah yang terinjak dengan baik (statistik olahraga seperti total quarterback rating dll) tetapi saya tidak terbiasa dengan bidang ini.$n$$k$$k$

Saya ingin menjawab pertanyaan objek mana yang terbaik ?

Informasi tentang metrik yang dikumpulkan

Untuk setiap metrik , di mana berkisar dari , skor untuk metrik berkisar dari . Perhatikan bahwa beberapa metrik ini akan memiliki maksimum teoretis seperti persen, lain hanya akan menjadi skor maksimum yang dikumpulkan dalam sampel (mis. Kecepatan tertinggi, tinggi dll.).$m_i$$i$$1 \leq i \leq n$$m_i$$[0, r_i]$$100\%$$r_i$

Normalisasi / Standarisasi skor metrik

Intuisi saya adalah pertama-tama menormalkan semua skor ini antara , sehingga masing-masing skor memberikan kontribusi yang sama untuk skor keseluruhan, yang akan dihitung kemudian.$[0,1]$

Yaitu, untuk setiap metrik skor untuk metrik tersebut adalah , di mana adalah skor maksimum untuk metrik tersebut dalam sampel. Intuisi saya tidak membuat saya yakin bahwa ini valid, jadi itu Pertanyaan saya 1: apakah prosedur normalisasi ini valid?$m_i$$\frac{m_i}{\text{max}(r_i)}$$\text{max}(r_i)$

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Memberi bobot pada metrik untuk perbandingan keseluruhan saya

Mari kita anggap lebih lanjut bahwa saya ingin mempertimbangkan beberapa metrik daripada yang lain. Tampaknya bagi saya beberapa pendekatan, tetapi saya akan menguraikan satu yang saya coba perkiraan.

Saya sedang memikirkan satu metode yang mungkin adalah melakukan perbandingan berpasangan untuk setiap metrik, dan meminta perbandingan masing-masing: Jika saya melihat pengurangan dalam metrik , berapa banyak peningkatan metrik akan mengkompensasi pengurangan itu ? $10\%$$m_i$$m_j$Jika pasangan tidak memiliki pengaruh nyata satu sama lain, saya bisa menilai ini sebagai mungkin?$0$

Saya akan berakhir dengan tabel nilai untuk bobot saya, diisi dengan perbandingan berpasangan seperti ini. Pertanyaan 2: Apakah saya harus konsisten ketika saya membandingkan v dan v ? Atau mungkinkah mereka tidak simetris? Itu adalah jika saya mengatakan pengurangan di perlu diperhitungkan dengan peningkatan di , dapatkah saya mengatakan pengurangan di perlu diperhitungkan dengan peningkatan di ? Apakah ini valid?$m_i$$m_j$$m_j$$m_i$$10\%$$m_i$$20\%$$m_j$$10\%$$m_j$$50\%$$m_i$

Mungkin saya bisa mengambil rata-rata setiap kolom dan memilikinya sebagai pembobot saya untuk metrik?

Tampaknya bagi saya bahwa sistem pembobotan seperti ini secara kuantitatif akan mengatakan hal-hal seperti "bagi saya untuk objek nilai objek lebih , ketika 's metrik adalah 10% kurang dari ' s , saya harus melihat setidaknya keuntungan dalam metrik "$a$$b$$b$$m_i$$a$$m_i$$20\%$$m_j$ .

Pertanyaan 3: Bagaimana jika saya mulai memasukkan pertimbangan yang lebih kompleks sehingga perbandingan, atau kompensasi akan menjadi nonlinier? Atau perbandingan yang bisa berubah? Mungkin beberapa skor harus negatif, dll.?

Pertanyaan Esensial Benarkah saya ingin tahu topik dan buku apa yang harus saya baca untuk dapat menjawab pertanyaan jenis ini?

Terima kasih

Pertanyaan yang luar biasa

Pertanyaan 1 :

Saya mendekati masalah ini menggunakan standar deviasi ( ) untuk membuat skala standar di mana adalah jumlah standar deviasi dari mean ( ) dan adalah standar deviasi.$n\sigma$$n$$\mu$$\sigma$

Saya akan menggunakan contoh agen call center yang melakukan panggilan. Berikut adalah cara yang mungkin untuk mendefinisikan skala menggunakan :$n$

• $m_+ = n$ : Metrik yang ingin Anda maksimalkan. Hubungan langsung sehingga ketika meningkat, begitu pula skor, saat mengurangi skor, turun. Contoh: jumlah penjualan.$n$$n$
• $m_-$ = -n: Metrik yang ingin Anda perkecil. Hubungan terbalik sehingga mengurangi skor meningkat. Contoh: Jumlah kesalahan yang dilakukan saat melakukan panggilan.$n$
• $m_{\mu} = -\lvert n\rvert$ : Metrik yang Anda inginkan sedekat mungkin dengan rata-rata. Saat semakin jauh dari rata-rata di kedua arah, skor turun. Skor sempurna adalah 0, pada median. Contoh: # dari voicemails / hangups / jangan panggil permintaan agen yang diterima (harus didistribusikan secara merata).$n$

Kemudian Anda memiliki skala yang tidak tergantung pada satuan ukuran, ukuran / amplitudo, dll. Anda kemudian dapat dengan mudah menormalkan skala di atas dari mana selalu yang terburuk dan selalu yang terbaik. Jadi setiap metrik yang dinormalisasi menjadi: , , dan $[0, 1]$$0$$1$$\overline m_+$$\overline m_-$$\overline m_{\mu}$

Jadi solusi sederhana ( ) menjadi: $f_s$

$$f_s = \sum \overline m_+ + \sum \overline m_- + \sum \overline m_{\mu}$$

Pertanyaan 2

Dengan solusi di atas untuk menambahkan bobot asimetris ( ) memberi kita solusi tertimbang . Masing-masing dapat ditimbang dengan mengalikan masing-masing metrik dengan berat: $f_s$$W$$f_w$

$$f_w = \sum\limits_{j_+} (W_{+1}* \overline m_{+1} + W_{+2}* \overline m_{+2} ... W_{+j_+}* \overline m_{+j_+}) + \sum\limits_{j_-} (W_{-1}* \overline m_{-1} + W_{-1}* \overline m_{-2} ... W_{-j}* \overline m_{-j_-}) + \sum\limits_{j_\mu} (W_{\mu1}* \overline m_{\mu1} + W_{\mu2}* \overline m_{\mu2} ... W_{\mu j}* \overline m_{\mu j_\mu})$$

Atau lebih ringkasnya:

$$f_w = \sum\limits_{j_+} W_{j_+} * \overline m_{+j_+} + \sum\limits_{j_-} W_{j_-} \overline m_{-j_-} + \sum\limits_{j_\mu} W_{j_\mu} \overline m_{\mu j_\mu}$$

Sekarang Anda memiliki skor yang dapat memperhitungkan bobot individu akun, meminimalkan metrik, memaksimalkan metrik, dan metrik yang Anda inginkan mendekati rata-rata.

Pertanyaan 3

Contoh

Sekarang bahwa Anda memiliki skor Anda Anda dapat kembali menormalkan dan kalikan melawan berat badan aa jika Anda ingin satuan ukuran. Mengikuti contoh agen pusat panggilan: * agen penjualan 1: 1, login selama 30 menit * agen penjualan 2: 5, login selama 5 jam * agen penjualan 3: 12, login selama 4 jam$f_w$

Memilih metrik Anda sangat, sangat penting.

Contoh Buruk: Penjualan saja

$\mu = \frac{1 + 5 + 12}{3} = 6$

$Var(f_w) = \frac{5 + 1 + 6}{3} = 4$

$\sigma = \sqrt{Var(f_w)} = \sqrt 4 = 2$

Jadi sekarang kita membutuhkan jumlah standar deviasi:

• $a_1 = -2.5 \sigma$ jauh dari rata-rata
• $a_2 = -0.5 \sigma$ dari nilai tengah
• $a3 = +3 \sigma$ jauh dari nilai tengah

Jadi peringkat tumpukan terbaik ke terburuk adalah a3, a2, a1. Masalahnya adalah bahwa agen 2 telah dibayar / dapat ditagih lebih lama dan benar-benar yang terburuk. Jadi, Anda perlu berhati-hati saat membuat metrik untuk memastikan bahwa mereka memiliki efek yang diinginkan. Dalam contoh di atas akan lebih baik untuk mengambil pendekatan penjualan / jam sebagai metrik Anda dan kemudian mengalikan pada akhirnya dengan berapa lama agen telah melakukan panggilan.

Contoh yang lebih baik: Penjualan / Jam

Penjualan Per Jam:

• $a_1 = \frac{1}{\frac{1}{2}} = 2$
• $a_2 = \frac{5}{5} = 1$
• $a_3 = \frac{12}{4} = 3$

$\mu = \frac{ 2 + 1 + 3}{3} = 2$

$Var(f_w) = \frac{0 + 1 + 1}{3} = \frac{2}{3}$

$\sigma = \sqrt \frac{2}{3} \approx 0.82$

Jadi dalam kasus ini, agen memiliki standar deviasi berikut dari :$n$$\mu$

• $a_1 = 0 \sigma$
• $a_2 \approx -1.2 \sigma$
• $a_3 \approx 1.2 \sigma$

Jadi sekarang mereka berada dalam urutan yang tepat, tetapi kami masih belum memiliki ukuran pada seberapa banyak masalah adalah bahwa agen tertinggal. Ini lebih merupakan masalah karena agen itu telah masuk untuk periode waktu yang lebih lama. Jadi, menambah bobot dari waktu masuk memberi Anda yang berikut:$a_2$$W$

• $a_1 = 0$
• $a_2 \approx -1.2 * 5 \approx -6.12$
• $a_3 \approx 1.2 * 4 \approx 4.90$

Anda sekarang dapat menormalkan angka-angka ini untuk dibandingkan dengan metrik lain dengan cara yang sama. Seperti yang Anda lihat, baik-baik saja, melakukan yang terbaik dan dalam skenario tertinggal jauh. Ini adalah hasil yang Anda harapkan. Angka ini sekarang menggambarkan:$a_1$$a_3$$a_1$

1. kualitas (dari agen)
2. keparahan (untuk bisnis)

Ini bukan satu-satunya cara untuk menyelesaikan berbagai masalah analisis keputusan keputusan tetapi itu adalah cara yang sangat praktis. Dari apa yang saya pahami metode ini disebut "Goal Programming" dan merupakan cara yang cukup mudah untuk sampai pada kesimpulan tentang masalah yang kompleks.

Untuk informasi lebih lanjut lihat Charnes, A. dan Cooper, WW (1961). Model Manajemen dan Aplikasi Industri Pemrograman Linier. New York: Wiley.