Bagaimana agar tes beta berhasil dengan tim kecil?

Saya telah melakukan banyak pekerjaan (pro-bono) pada tambalan untuk permainan komersial mulai ~ 11 tahun yang lalu yang membutuhkan beberapa pengujian beta. Banyak orang menunggu untuk itu.

Apa sajakah cara untuk mendapatkan umpan balik yang baik (maksud saya bermanfaat) selama fase uji beta untuk game? Saya memiliki banyak orang yang ingin bermain dengannya, tetapi saya khawatir tentang mendapatkan umpan balik yang baik tanpa terjebak dalam pengembangan. Saya juga khawatir bahwa orang-orang akan lebih khawatir tentang memiliki tweak yang ingin mereka tambahkan ke tambalan daripada benar-benar menguji pekerjaan yang telah dilakukan.

• Apakah Anda menyediakan kemampuan untuk mencatat bug langsung ke pelacak bug, atau mengirim semuanya ke seseorang di tim pengembangan?
• Bagaimana Anda memastikan Anda mencakup semua platform yang Anda dukung (dalam kasus saya: Mac OSX (x86 / ppc), Windows (banyak versi), Linux (banyak versi)?

Apakah ada paket perangkat lunak yang bagus (seperti portal web) untuk menjalankan uji beta untuk proyek seperti ini? Adakah dokumen bagus di luar sana dengan tip?

Saya sangat menyarankan memiliki opsi pengarsipan bug dalam game, lebih disukai tombol besar yang mengatakan "FILE BUG HERE". Pemain yang terlibat, terutama jika gim Anda benar-benar bagus, tidak akan pernah mengingat bug yang terjadi jika mereka harus keluar dari mesin untuk mengarsipkannya. Anda bisa meminta mereka pergi ke pelacak kutu, atau Anda bisa mengirimkannya ke alamat pemegang email. Tujuan utamanya adalah membuatnya mudah untuk mengirimkan barang, meskipun ini mungkin tidak dapat dilakukan untuk game berusia 11 tahun. Dalam hal ini saya akan mendukung baik email langsung maupun tautan situs web, dan mungkin memaksa para penguji untuk melalui beberapa hal yang sepele yang memperlihatkan tombol "file bug" sehingga mereka ingat itu ada.

Salah satu cara yang baik untuk melakukan ini adalah dengan membuka secara terbuka perangkat lunak pelacakan bug Anda. Sebagian besar perangkat lunak pelacakan bug (Trac adalah software gratis yang bagus jika Anda belum menyiapkannya) sudah memiliki antarmuka web yang bagus, dan Anda dapat membukanya hingga semua orang di beta secara langsung. Dengan begitu penguji beta Anda benar-benar dapat melakukan QA untuk Anda.

Untuk mendapatkan jangkauan platform, Anda bisa mencoba langsung ke komunitas tersebut. Pastikan untuk mendiskusikan beta Anda di PC, mac, dan forum yang berfokus pada linux. Dengan begitu Anda akan memastikan untuk mendapatkan beberapa dari setiap grup. Anda harus meminta pemain untuk menentukan platform apa yang mereka miliki di aplikasi beta juga.

Terakhir, Anda dapat mempertimbangkan mengirimkan semacam email "status tes" secara berkala. Sesuatu seperti "Hei, kami baru saja mengubah keseimbangan senjata, bisakah kalian fokus pada level 4-7 untuk hari ini? Level 8-10 masih dikerjakan dan akan menjadi sedikit lebih baik minggu depan." Apa pun yang dapat Anda lakukan untuk memfokuskan proses pengujian akan menguntungkan Anda.

Sejauh mendapatkan info kuantitatif yang baik, jika Anda memiliki waktu pengembangan, tambahkan sebanyak mungkin logging yang dapat dianalisis.

• Berapa% penguji beta Anda yang pernah kembali?
• Berapa lama sesi bermain mereka (terlama, rata-rata)?
• Di mana mereka berhenti bermain (apa aksi terakhir yang dicatat)
• Berapa% orang yang menemukan konten baru?

dll

Sejauh pengumpulan data, ( http://docs.google.com ) memiliki alat survei yang cukup mudah digunakan - cukup gunakan menu Form-> Create a Form.

Jika Anda menggunakan Flash atau Silverlight maka saya akan merekomendasikan mengintegrasikan Google Analytics atau yang serupa. Menggunakan Analytics, Anda dapat dengan mudah mengatur permainan dan mengukur hal-hal seperti waktu bermain, tempat pemain berhenti, dll.

Selain itu, saya akan merekomendasikan menggunakan layanan seperti "Kesan Pertama" Lisensi Flash Game atau hanya langsung pergi ke Mechanical Turk Amazon. Saya telah menemukan $ 1 Anda dapat meminta pemain mencoba permainan Anda selama beberapa menit dan memberikan umpan balik di sejumlah kategori. Jika Anda menggunakan Mechanical Turk, Anda dapat mendesain formulir Anda sendiri dan mengajukan pertanyaan yang Anda minati.

Jika Anda menggabungkan kedua metode ini, Anda bisa mendapatkan banyak informasi dengan harga yang relatif murah. Tentu saja pastikan Anda tahu apa yang ingin Anda ukur sebelum mulai mengeluarkan uang. Akhirnya, saya telah mendengar bahwa beberapa orang akan merilis game mereka ke portal seperti Newgrounds menggunakan alias dan kemudian menggunakan Analytics serta formulir bawaan untuk mengumpulkan umpan balik dari pemain.