Pengujian A / B dengan Python atau R [ditutup]

8

Pengujian A / B:

http://20bits.com/articles/statistic-analysis-and-ab-testing/

http://elem.com/~btilly/effective-ab-testing/

Saya tidak terlalu terbiasa dengan pengujian A / B, tapi saya bertanya-tanya apakah ada paket / pustaka tertentu dalam R atau Python yang dapat digunakan untuk melakukan pengujian A / B.

r python ab-test ATMathew
sumber
Pengujian A / B terutama tentang desain percobaan. Untuk masalah pengujian tabel kontingensi, ya R memiliki banyak paket yang tersedia.
Henry
1
Ini hanya desain faktorial yang sederhana. Jika Anda mencari sumber daya tentang melakukan analisis statistik dalam Python atau R Anda akan dapat mengetahui fungsi apa dalam perpustakaan apa yang dibutuhkan. Saya melihat di komentar untuk artikel 20bits 'prop.test ()' di R mungkin apa yang Anda cari.
Andy W

Jawaban:

12

Tentu, untuk kedua python dan R, ada beberapa paket / pustaka yang menarik dan dapat digunakan.

Pertama, untuk python, saya sangat merekomendasikan membaca Jawaban StackOverflow ini diarahkan ke pertanyaan tentang Pengujian A / B di Python / Django. Ini adalah tesis Guru satu halaman tentang masalah ini.

Akoha adalah paket yang cukup baru (sedikit lebih dari satu tahun) yang ditujukan untuk Pengujian AB di Django. Saya belum pernah menggunakan paket ini, tetapi tampaknya paket Django yang paling banyak digunakan dari jenis ini (berdasarkan jumlah unduhan). Ini tersedia di bitbucket .

Django-AB adalah paket Django lain yang saya ketahui dan satu-satunya yang saya gunakan.

Seperti yang Anda harapkan dari Paket untuk mendukung kerangka kerja web, masing-masing menyediakan kerangka kerja mikro untuk mengatur, mengkonfigurasi, melakukan, dan mencatat hasil Tes AB. Seperti yang Anda perkirakan, keduanya bekerja dengan mengganti secara otomatis templat (django) (halaman kerangka html) yang dirujuk dalam file views.py .

Untuk R, saya sangat merekomendasikan Paket agricolae , ditulis dan dikelola oleh Universitas di Peru. tersedia di CRAN. Ini adalah bagian dari distribusi inti. (Lihat juga agridat , yang terdiri dari kumpulan data yang sangat berguna dari tes AB lengkap dan multi-variate).

Sejauh yang saya tahu, dan saya telah merujuk ke dokumentasi agricolae beberapa kali, aplikasi web atau situs web tidak pernah disebut sebagai subjek uji / analitik. Dari nama paket, Anda dapat mengetahui bahwa domain tersebut adalah pertanian, tetapi analogi dengan pengujian di Web hampir sempurna. Paket ini dengan baik melengkapi dua paket Django karena agricolae diarahkan ke awal (desain uji dan menetapkan kriteria keberhasilan / penghentian) dan akhir (analisis hasil) dari alur kerja Uji AB.

doug
sumber
2

Tergantung pada pendekatan yang ingin Anda ambil untuk subjek, di bawah ini menawarkan dua alternatif. Yang pertama adalah Pengujian Chi-Squared tradisional untuk Pengujian Split dan yang kedua adalah pendekatan Bayesian untuk pengujian split. Bergantung pada persyaratan pemangku kepentingan organisasi Anda untuk analisis, Anda sebaiknya melakukan keduanya jika Anda memiliki data.

Pengujian Chi-Squared (Tradisional) Pengujian A / B dengan Python: http://okomestudio.net/biboroku/?p=2375

Pengujian A / B Bayesian dengan Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html

Andrew Owens
sumber