Apakah statistik yang digunakan sebagai ukuran menjadi tidak valid setelah dilaporkan? [Tutup]

8

Mohon maaf jika ini tempat yang salah untuk bertanya. tetapi saya mencoba menjelaskan kepada direktur bahwa Statistiknya tidak menunjukkan kebenaran karena dia menuntut bahwa statistik adalah apa yang dilaporkan dan staf diukur. Tapi penjelasan saya tidak sampai padanya.

Saya ingat pernah membaca dulu bahwa ada Hukum bernama, atau Teori, atau semacamnya. Itu menjelaskan dengan sempurna tetapi saya tidak ingat apa itu. Apakah ada yang tahu?

Dasar Undang-Undang itu adalah: Jika Statistik yang dilaporkan menentang kemudian digunakan sebagai ukuran kinerja, maka mereka berhenti menjadi ukuran efek ketika orang dengan cepat belajar untuk membuat statistik terlihat akurat untuk ukuran itu bertentangan dengan apa arti statistik itu.

Saya ingin mengubah cara statistik tim saya dilihat.

Blade Wraith
sumber
1
Saya tidak mengerti pertanyaannya. Konteks bisa membantu. Bisakah Anda memperbaiki tata bahasa pada judul dan pertanyaan sehingga kami setidaknya bisa yakin dengan apa yang Anda katakan?
AdamO
Kami sering mempelajari umpan balik sebagai intervensi. Untuk intervensi penurunan berat badan, Anda dapat melaporkan berapa banyak kalori yang dikonsumsi seseorang sebagai cara membantu mengatur diet. Jika mereka mengurangi kalori, mereka akan menurunkan berat badan.
AdamO
1
Saya pikir OP mungkin memiliki sesuatu seperti ini dalam pikiran: workplace.stackexchange.com/questions/110317/…
user3067860

Jawaban:

17

Anda mungkin berpikir tentang Hukum Goodhart . Diberi nama setelah ekonom Charles Goodhart dan dinyatakan oleh Marilyn Strathern dalam bentuk: "Ketika suatu ukuran menjadi target, itu tidak lagi menjadi ukuran yang baik." dalam 'Meningkatkan peringkat': audit dalam sistem British University .

JW
sumber
5
Dan harus ditekankan bahwa itu hanyalah aturan praktis, bukan hukum ilmiah dengan cara apa pun. Pertanyaan poster tidak memberikan indikasi apakah ini kasus yang berlaku.
zipzapboing
Terima kasih untuk ini, itu adalah Hukum Goodhart yang saya pikirkan.
Blade Wraith
13

Saya percaya Anda berpikir tentang Efek Hawthorne , yang menggambarkan situasi di mana individu memodifikasi aspek perilaku mereka sebagai respons terhadap kesadaran mereka untuk diamati.

Kemungkinan lain adalah hukum Campbell , yang menyatakan "Semakin banyak indikator sosial kuantitatif digunakan untuk pengambilan keputusan sosial, semakin banyak subjek akan tekanan korupsi dan semakin tepat itu akan mendistorsi dan merusak proses sosial yang dimaksudkan untuk monitor. " Hukum Campbell sangat mirip dengan hukum Goodhart, disarankan oleh @JW.

Saya harus menambahkan, berdasarkan informasi terbatas yang Anda berikan, bahwa hanya karena Anda melaporkan suatu tindakan tidak selalu membuatnya tidak valid. Sebagai contoh, jika kinerja seorang pelatih sepakbola diukur berdasarkan Kemenangan dan Kehilangan (yang jelas dilaporkan), ukuran ini dapat dianggap sah.

Yang penting adalah apakah ada celah di mana individu dapat 'permainan' sistem pengukuran, membuat kinerja mereka tampak lebih baik daripada yang sebenarnya.

Underminer
sumber
1
Bahkan hal menang / kalah bisa dimainkan. Bayangkan saja seorang pelatih / manajer yang mengisi sisi mereka dengan banyak bintang mahal, dengan mengorbankan pengembangan bakat junior. Mereka memenangkan banyak pertandingan, tetapi pada akhirnya, semua bintang akan pensiun atau bergerak terus dan timnya jatuh ke dalam lubang.
Hong Ooi
1
Bersorak untuk ini, sementara itu adalah hukum Goodhart yang saya pikirkan, ini sangat berguna dan harus membantu saya dengan Bos saya
Blade Wraith
1

Apa yang Anda ukur adalah apa yang Anda dapatkan, jadi berhati-hatilah dengan apa yang Anda ukur.

Dalam dunia pengembangan perangkat lunak, orang takut merilis perangkat lunak dengan bug. Tentu, Anda ingin merilis perangkat lunak tanpa bug, tetapi bagaimana Anda mengukur "sukses".

Jumlah bug yang ditemukan? - Tim berhenti melaporkan bug, QA menemukan bug nitpicky, Dev menjadi defensif tentang prosesnya.

Bug per baris kode? - Kenalkan banyak baris kode ke rig hitungan meskipun baris tambahan tidak melakukan apa pun.

Pada akhirnya, memiliki nama untuk dimasukkan dengan naluri manusia untuk permainan sistem mungkin tidak akan membantu situasi Anda. Orang-orang cenderung untuk bertarung secara tidak wajar ketika mereka diberitahu bahwa mereka salah (bahkan jika mereka memang salah), tetapi ketika Anda menjatuhkan diri mengatakan yang salah dan sebaliknya menunjukkan bantuan mereka cenderung bekerja sama dengan Anda.

Dalam hal ini, cobalah bekerja dengan sutradara. "Aku tidak mengerti bagaimana melacak ini membantu tim, bisakah kamu menjelaskannya kepadaku? Bagaimana jika kita melacak X saja? Bisakah kita menjadikan ini acara membangun tim 1 jam untuk meludah dengan cara lain agar kita dapat mencapai tujuanmu?"

Terkadang tindakan sekadar mencoba menjelaskannya kepada seseorang yang terus bertanya, "Kenapa?" dan bagaimana?" akan mengekspos kekurangan dan membuatnya menerima ide-ide baru.

Chris Sheridan
sumber