Bagaimana saya bisa menghitung margin kesalahan dalam hasil NPS (Net Promoter Score)?

Saya akan membiarkan Wikipedia menjelaskan bagaimana NPS dihitung:

Skor Net Promoter diperoleh dengan mengajukan satu pertanyaan kepada pelanggan pada skala peringkat 0 hingga 10, di mana 10 adalah "sangat mungkin" dan 0 adalah "sama sekali tidak mungkin": "Seberapa mungkin Anda merekomendasikan perusahaan kami kepada suatu teman atau kolega? " Berdasarkan tanggapan mereka, pelanggan dikategorikan ke dalam satu dari tiga kelompok: Promotor (peringkat 9-10), Pasif (peringkat 7-8), dan Pencela (peringkat 0–6). Persentase Pencela kemudian dikurangi dari persentase Promotor untuk mendapatkan skor Net Promoter (NPS). NPS bisa serendah -100 (semua orang adalah pencela) atau setinggi +100 (semua orang adalah promotor).

Kami telah menjalankan survei ini secara berkala selama beberapa tahun. Kami mendapat beberapa ratus tanggapan setiap kali. Skor yang dihasilkan bervariasi dengan 20-30 poin selama periode waktu. Saya mencoba mencari tahu pergerakan skor mana yang signifikan, jika ada.

Jika itu terbukti terlalu sulit, saya juga tertarik untuk mencoba mencari batas kesalahan pada dasar-dasar perhitungan. Berapa margin kesalahan masing-masing "ember" (promotor, pasif, pencela)? Mungkin bahkan, apa margin kesalahan jika saya hanya melihat rata-rata skor, mengurangi data menjadi hanya satu angka per survei berjalan? Apakah itu akan membawa saya ke mana saja?

Setiap ide di sini sangat membantu. Kecuali "jangan gunakan NPS." Keputusan itu di luar kemampuan saya untuk berubah!

hypothesis-testing statistical-significance standard-error multinomial nps Dan Dunn
sumber

Jawaban:

Misalkan populasi, dari mana kami menganggap Anda mengambil sampel secara acak, berisi proporsi dari promotor, dari pasif, dan dari para pencela, dengan . Untuk memodelkan NPS, bayangkan mengisi topi besar dengan sejumlah besar tiket (satu untuk setiap anggota populasi Anda) berlabel untuk promotor, untuk pasif, dan untuk pencela, dalam proporsi yang diberikan, dan kemudian menggambar dari mereka secara acak. The sampel NPS adalah nilai rata-rata pada tiket yang ditarik. The benar NPS dihitung sebagai nilai rata-rata dari semua tiket di topi: itu adalah $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ nilai yang diharapkan (atau harapan ) topi.

Penaksir NPS yang benar adalah sampel NPS. Sampel NPS juga memiliki harapan. Ini dapat dianggap sebagai rata-rata dari semua sampel NPS yang mungkin. Harapan ini terjadi sama dengan NPS yang sebenarnya. The standard error dari NPS sampel adalah ukuran dari berapa banyak NPS sampel biasanya bervariasi antara satu sampel acak dan lain. Untungnya, kami tidak harus menghitung semua sampel yang mungkin untuk menemukan SE: itu dapat ditemukan lebih sederhana dengan menghitung standar deviasi tiket di topi dan membaginya dengan . (Penyesuaian kecil dapat dilakukan ketika sampel adalah proporsi populasi yang cukup besar, tetapi itu kemungkinan tidak diperlukan di sini.) $\sqrt{n}$

Sebagai contoh, pertimbangkan populasi promotor, pasif, dan pencela. NPS yang sebenarnya adalah $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

The varians karena itu

\begin{aligned} Var (NPS) & = (1 - NPS)^{2} \times {hal}_{1} + (0 - NPS)^{2} \times {hal}_{0} + (- 1 - NPS)^{2} \times {hal}_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

The standar deviasi adalah akar kuadrat dari ini, hampir sama dengan $0.75.$

Dalam sampel, katakanlah, , karena itu Anda akan mengharapkan untuk mengamati NPS sekitar % dengan kesalahan standar sekitar %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

Anda sebenarnya tidak tahu standar deviasi tiket di topi, jadi Anda memperkirakannya dengan menggunakan standar deviasi sampel Anda. Ketika dibagi dengan akar kuadrat dari ukuran sampel, itu memperkirakan kesalahan standar NPS: estimasi ini adalah margin of error (MoE).

Asalkan Anda mengamati sejumlah besar setiap jenis pelanggan (biasanya, sekitar 5 atau lebih dari masing-masing pelanggan akan melakukannya), distribusi sampel NPS akan mendekati Normal. Ini menyiratkan bahwa Anda dapat menafsirkan MoE dengan cara yang biasa. Khususnya, sekitar 2/3 dari waktu sampel NPS akan terletak dalam satu MoE dari NPS yang sebenarnya dan sekitar 19/20 dari waktu (95%) sampel NPS akan berada dalam dua MoE dari NPS yang sebenarnya. Dalam contoh, jika margin kesalahan benar-benar 4,1%, kita akan memiliki kepercayaan 95% bahwa hasil survei (sampel NPS) berada dalam 8,2% dari populasi NPS.

Setiap survei akan memiliki margin kesalahan sendiri. Untuk membandingkan dua hasil tersebut, Anda perlu memperhitungkan kemungkinan kesalahan masing-masing. Ketika ukuran survei hampir sama, kesalahan standar perbedaan mereka dapat ditemukan oleh teorema Pythagoras: ambil akar kuadrat dari jumlah kuadrat mereka. Misalnya, jika satu tahun MoE adalah 4,1% dan tahun lain MoE adalah 3,5%, maka kira-kira angka margin kesalahan sekitar = 5,4% untuk perbedaan dalam dua hasil. Dalam hal ini, Anda dapat menyimpulkan dengan keyakinan 95% bahwa NPS populasi berubah dari satu survei ke yang lain asalkan perbedaan dalam dua hasil survei adalah 10,8% atau lebih besar. $\sqrt{3.5^2+4.1^2}$

Ketika membandingkan banyak hasil survei dari waktu ke waktu, metode yang lebih canggih dapat membantu, karena Anda harus mengatasi banyak margin kesalahan yang terpisah. Ketika margin kesalahan semuanya sangat mirip, aturan praktis adalah untuk menganggap perubahan tiga atau lebih MoE sebagai "signifikan." Dalam contoh ini, jika MoE berada di sekitar 4%, maka perubahan sekitar 12% atau lebih besar selama periode beberapa survei harus mendapatkan perhatian Anda dan perubahan yang lebih kecil secara sah dapat diberhentikan karena kesalahan survei. Apapun, analisis dan aturan praktis yang disediakan di sini biasanya memberikan awal yang baik ketika berpikir tentang apa perbedaan di antara survei.

Perhatikan bahwa Anda tidak dapat menghitung margin kesalahan dari NPS yang diamati saja: itu tergantung pada jumlah yang diamati dari masing-masing tiga jenis responden. Sebagai contoh, jika hampir semua orang adalah "pasif," NPS survei akan mendekati dengan margin kesalahan kecil. Jika populasi terpolarisasi sama antara promotor dan pencela, NPS survei masih akan mendekati tetapi akan memiliki margin kesalahan terbesar (sama dengan dalam sampel orang). $0$ $0$ $1/\sqrt{n}$ $n$

whuber
sumber

Ini jawaban yang fantastis. Saya sangat menghargainya.

Dan Dunn

Bukankah "margin of error" biasanya ditafsirkan sebagai interval kepercayaan 95% untuk statistik yang diambil dari sampel? yaitu kira-kira 1,96 kesalahan standar pengambilan sampel (atau standar deviasi) dari statistik itu. Anda menggunakan margin kesalahan sebagai sinonim dengan "standar deviasi statistik" atau "kesalahan standar".

Peter Ellis

Terima kasih @whuber. Saya mencoba untuk tidak pernah berdebat tentang terminologi selama itu jelas didefinisikan (prinsip Humpty Dumpty), dan saya pikir kuda telah melesat pada konvensi yang konsisten tentang ini. Satu-satunya bukti yang saya miliki adalah jawaban untuk pertanyaan saya sendiri di stats.stackexchange.com/questions/21139/… , yang dengan benar mencatat bahwa margin of error umumnya (tidak secara universal) dikutip sebagai persentase dari perkiraan.

Peter Ellis

@ Charles, saya pikir whuber sedang melakukan varian dasar dari variabel acak diskrit. Lihat stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

B_Miner

Ekspresi untuk varians dapat disederhanakan menjadi .

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Stephen McAteer

Anda juga bisa menggunakan estimator varians untuk variabel kontinu. Sebenarnya, saya lebih suka itu daripada penaksir varians untuk variabel diskrit acak, karena ada koreksi yang terkenal untuk menghitung varians sampel: https://en.wikipedia.org/wiki/Unprice_estimation_of_standard_deviation Seperti yang telah dicatat, solusi Whubers didasarkan pada formula populasi. Namun, karena Anda menjalankan survei, saya cukup yakin Anda telah mengambil sampel, jadi saya akan merekomendasikan menggunakan estimator yang tidak bias (membagi jumlah kuadrat dengan n-1, tidak hanya dengan n). Tentu saja, untuk ukuran sampel besar, perbedaan antara penaksir yang bias dan tidak bias sebenarnya tidak ada.

Saya juga merekomendasikan untuk menggunakan prosedur uji-t, jika Anda memiliki ukuran sampel sedang, daripada menggunakan pendekatan skor-z: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: karena orang lain juga bertanya: bagaimana cara menghitung taksiran sampel tak bias untuk varians / sd untuk pendekatan variabel diskrit acak Anda? Saya sudah mencoba menemukannya sendiri, tetapi tidak berhasil. Terima kasih.

deschen
sumber

Anda dapat berpotensi menggunakan bootstrap untuk menyederhanakan perhitungan Anda. Dalam R kodenya adalah:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

k-zar
sumber

Bisakah Anda memperluas jawaban Anda dengan menjelaskan di awal apa pendekatannya - dalam detail yang cukup bahwa seseorang yang tidak memahami kode R Anda sama sekali masih bisa mengikuti apa yang Anda coba katakan - dan semoga cukup bahwa mereka bisa coba menerapkannya dalam bahasa favorit mereka?

Glen_b -Reinstate Monica