Saya mencari pengalaman Anda tentang masalah ini. Ini adalah sesuatu yang ingin saya tingkatkan.
Saya menggunakan proses berpasangan, untuk menangkap percakapan alami.
Setelah memberikan subjek Anda kuisioner untuk latar belakang, letakkan di depan mesin di lingkungan kantor yang alami dan beri mereka tugas untuk dilakukan. Pekerjaan saya mencakup alat pemrograman, sehingga subjek melakukan pemrograman berpasangan, tetapi pendekatan pasangan dapat bekerja untuk program lain juga. Keuntungan menggunakan pasangan adalah mereka akan saling bertanya dan mencoba mengerjakan instruksi bersama.
Menggunakan pasangan lebih alami daripada pendekatan "berpikir keras" yang umum, di mana Anda memberi tahu subjek untuk mengatakan apa yang mereka pikirkan. Masalah dengan pendekatan itu adalah bahwa Anda tidak akan dengan mudah menangkap metafora yang digunakan subjek, yang memberi Anda wawasan tentang pemikiran mereka. Misalnya, untuk alat kompiler, "Oh, mengapa ini menunjukkan itu?", "Hmm, saya kira itu seperti ketika Anda menemukan kecocokan, tetapi memasukkan direktori yang salah?" Kuncinya adalah bahwa ketika subyek harus menjelaskan kebingungan mereka satu sama lain, mereka akan memiliki alasan yang baik untuk melakukan upaya yang jujur.
Saya menggunakan Camtasia dengan mikrofon untuk menangkap apa yang ada di layar dan apa yang mereka katakan. Saya kemudian menuliskan sesi dan mencatat dengan tindakan tertentu yang terjadi di layar. [Camtasia dari TechSmith, pembuat Morae.] Anda mungkin ingin menggunakan kamera untuk menangkap subjek dan melihat di mana mereka mengarahkan jari-jari mereka. Mengkaji transkrip akan jauh lebih membantu ketika Anda mencoba untuk menulis apa hasilnya. [Lebih lanjut: Proses penulisan itu sendiri membantu Anda mengajukan pertanyaan yang tepat, bahkan jika Anda tidak ingin mempublikasikan hasil Anda.]
Setelah mereka melakukan tugas itu, minta mereka untuk menggambarkan pengalaman mereka, untuk apa mereka pikir mereka akan menggunakan program ini, apa yang mereka sukai, dan apa yang ingin mereka lihat menjadi lebih baik. Mendapatkan umpan balik ini belum tentu sehingga Anda mengambil saran literal untuk menerapkannya. Sebaliknya, lihat lebih dalam untuk melihat apa harapan mereka, dan jika mereka membuat konsep program berbeda dari yang Anda maksud; lagi, untuk melihat metafora apa yang mereka gunakan.
Juga, lihat kinerja tugas itu sendiri. Apakah mereka mencapai apa yang seharusnya? Berdasarkan pada program apa yang Anda uji, Anda mungkin ingin menentukan waktu berapa lama tugas-tugas spesifik itu diambil.
Mulailah dengan uji coba dengan apa yang Anda yakini sebagai tugas yang sangat mendasar. Anda akan terkejut menemukan bahwa bahkan tugas-tugas sederhana akan memakan waktu lebih lama dari yang Anda kira. Sejauh ini, saya telah menggunakan apa yang saya peroleh untuk mengubah sintaks di alat saya, dan mengubah beberapa fitur di sana-sini. Tetapi keuntungan terbesar yang saya temukan adalah bagaimana saya menulis tutorial dan membingkai alat.