Apakah ada penelitian formal dalam FizzBuzz Question Effectiveness? [Tutup]

23

Setelah melihat pertanyaan ini hari ini tentang variasi pertanyaan wawancara FizzBuzz, serta melihat pertanyaan lain yang terkait dengannya, saya harus bertanya: apakah ada penelitian formal tentang seberapa efektif ini sebagai teknik wawancara? Ada banyak orang yang mengatakan bahwa itu menyaring beberapa persentase kandidat yang terdengar gila (95% + dalam beberapa kasus) tetapi seberapa bagus untuk menemukan programmer / pengembang yang baik?

Ada beberapa penelitian yang menunjukkan bahwa soft skill mungkin menjadi indikator yang lebih baik daripada hard skill untuk memilih kandidat yang baik untuk peran pekerjaan. Selain itu, mungkin ada beberapa alasan menengah mengapa begitu banyak kandidat gagal dalam ujian ini (gugup, berpikir "ini tipuan", dll.).


Berdasarkan komentar sejauh ini, sepertinya ide di balik pertanyaan FizzBuzz adalah untuk menentukan apakah orang tersebut memiliki keterampilan pengkodean yang baik (cukup) untuk dipertimbangkan lebih lanjut. Saya tidak sepenuhnya yakin FizzBuzz benar-benar melakukan ini. Juga, ingatlah bahwa FizzBuzz memfilter persentase kandidat yang sangat besar pada awal proses perekrutan, yang dapat berarti bahwa sejumlah besar kandidat yang baik dihapus sejak awal karena mereka tidak dapat menyelesaikan masalah konyol dengan cukup cepat.

Juga, saya akan tunjukkan bahwa melihat keefektifan FizzBuzz adalah sesuatu yang sepenuhnya dapat dilakukan secara kuantitatif. Ini tidak seperti melihat "fit" atau "passion" yang sangat bervariasi dan sangat tidak ilmiah (tetapi masih cukup penting untuk keputusan perekrutan baru).

joshin4colours
sumber
16
Saya tidak ingin mempekerjakan seorang kandidat yang tidak dapat membuat kode FizzBuzz dengan gugup.
Eric Wilson
Bukan itu yang ditunjukkan oleh artikel yang Anda tautkan. Ini menunjukkan bahwa yang dipekerjakan ada tingkat drop out yang tinggi. Tetapi sama sekali tidak ada data tentang orang-orang yang ditolak. Bagi saya ini menunjukkan bahwa perusahaan mungkin melakukan pekerjaan yang baik untuk menyingkirkan orang-orang non teknis (karena itu adalah fokus wawancara mereka) yang tidak dapat melakukan pekerjaan itu, tetapi mereka perlu melakukan penyaringan tambahan untuk orang-orang yang menolak untuk belajar atau menolak untuk berperilaku baik sebagai anggota tim
Martin York
2
@ JPG: Anda harus lebih tepat (kebalikan dari apa sebenarnya). Jika mereka tidak dapat melakukan bagian teknis pekerjaan (Keterampilan Keras) mengapa Anda berpikir mereka punya kesempatan. Jika Anda merekrut orang-orang yang menurut definisi tidak dapat melakukan pekerjaan yang mereka pekerjakan, jangan Anda pikir tingkat drop out akan 100%. Dalam proses wawancara kami, kami memiliki bagian khusus untuk melihat apakah kandidat akan cocok untuk tim dan perusahaan. Tetapi tidak peduli seberapa besar kita menyukainya secara pribadi, tidak ada gunanya merekrut seseorang tanpa keterampilan coding.
Martin York
3
Jadi sebagai jawaban if their hard skills was weighted more evenly with their soft skills. Tidak ada . Hard skill akan menjadi satu filter. Soft skill adalah filter tambahan. Ini bukan kasus Anda di mana Anda dapat memiliki A or BAnda harus memiliki A and B. Begitulah cara saya membaca artikel yang Anda tautkan. Mereka telah memfilter untuk A mereka baru saja melakukan pekerjaan yang buruk dalam memfilter untuk B.
Martin York

Jawaban:

14

Sudah lama sejak saya membaca tentang penelitian wawancara kerja, (jadi saya tidak bisa spesifik situs, yang saya minta maaf) tetapi aturan umum adalah bahwa orang mempekerjakan berdasarkan soft skill tetapi tidak ada korelasi antara itu dan kinerja. Pengujian untuk keterampilan tertentu dapat bekerja, untuk kepribadian tidak (menurut data yang dapat diukur).

Hampir semua orang percaya teknik wawancara khusus mereka berfungsi, data mengatakan Anda mungkin tidak perlu repot-repot mewawancarai (bagian "ceritakan tentang diri Anda" dalam wawancara, sebagai lawan pengujian obyektif) karena kandidat yang dipilih oleh pewawancara tidak lebih baik tetapi pewawancara menunjukkan bias terhadap ekstrovert, orang-orang yang secara demografis mirip dengan pewawancara, orang-orang tinggi, orang-orang yang menarik, dll. (Bisa dibilang Anda harus mempekerjakan orang-orang yang berprestasi baik dalam tes dan buruk pada sisa wawancara, karena mereka tampaknya sama baiknya dalam pekerjaan tetapi mungkin lebih sulit meninggalkan perusahaan Anda).

Saya agak berharap dinyalakan untuk ini, biasanya siapa pun yang saya katakan ini mengatakan "tapi kami menggunakan metode X dan itu benar-benar bekerja untuk kami", tetapi kecuali Anda

  1. mempekerjakan beberapa orang yang tidak lulus proses wawancara Anda,

  2. jangan beri tahu rekan kerja mereka siapa yang lewat dan siapa yang tidak, dan

  3. membandingkan kinerja mereka yang lulus dengan mereka yang tidak, menggunakan kriteria objektif yang telah disepakati sebelumnya

Anda benar-benar tidak tahu apakah proses Anda berhasil. Sayangnya efektivitas wawancara pada dasarnya sulit untuk dievaluasi.

Jika Anda bertanya-tanya, percobaan melakukan hal-hal seperti meminta orang untuk mengevaluasi kandidat berdasarkan transkrip wawancara, dari kandidat yang sebenarnya sudah dipekerjakan (di antara banyak teknik lainnya). Idealnya para peneliti akan meminta orang melakukan wawancara, memilih kandidat, menghapus ingatan pewawancara, memilih secara acak siapa yang akan direkrut dari antara para kandidat, dan membandingkan kinerja para kandidat dengan menggunakan kriteria objektif dan akurat dibandingkan dengan penilaian yang diberikan oleh pewawancara, tetapi eksperimen itu sulit dilakukan.

Jadi, meskipun saya belum melihat penelitian FizzBuzz tertentu, itu adalah semacam hal yang dapat menunjukkan efektivitas dalam pengujian ilmiah. Jika menyaring 95% kandidat maka saya akan penasaran mengapa - itu diciptakan begitu mudah bukan kepalang sehingga hanya seorang programmer yang tidak kompeten yang bisa gagal melewatinya, dan sulit untuk melihat bagaimana cara membodohi FizzBuzz. Saya ingin tahu berapa persen yang lulus dari tes "Halo dunia"? Tes "membuat komputer melakukan sesuatu, apa saja"?

psr
sumber
+1 Itulah mengapa saya mengajukan pertanyaan: Perekrutan pada dasarnya sangat tidak ilmiah, tetapi keefektifan FizzBuzz setidaknya bisa diuji secara kuantitatif.
joshin4colours
@psr: Dalam pengalaman saya mewawancarai lulusan baru di AS, BSCS atau MSCS, sekitar 90% dari mereka tidak dapat memprogram. Mengapa? Karena lembaga memiliki insentif keuangan untuk menjaga mereka dalam program pembayaran uang sekolah.
kevin cline
1
@kevin cline: Agak keluar dari topik, tetapi dalam MSCS saya, saya tidak berpikir mereka fokus pada intinya. Mereka, bagaimanapun, sangat prihatin dengan membedakan diri mereka sebagai program akademik vs sekolah-perdagangan, dan begitu banyak profesor memandang rendah pada pemrograman semata-mata sebagai lawan, katakanlah, membuktikan hal-hal yang sangat kecil tentang mesin Turing.
psr
Saya pikir Anda mengabaikan fakta bahwa tujuan orang-orang yang melakukan perekrutan bukanlah untuk menemukan pasangan yang sebaik mungkin, hanya berusaha menghindari bencana. Bahkan di masa ekonomi yang baik orang-orang yang menawarkan pekerjaan dibanjiri oleh pelamar, banyak dari mereka yang tidak memenuhi syarat. Anda hanya harus memiliki semacam filter cepat untuk menolak jumlah pelamar ke nomor yang dapat dikelola. Poin asli dari tes fizbuzz adalah melakukannya sebagai bagian dari layar ponsel. Jika kumpulan orang-orang yang lulus Fizzbuzz bahkan sedikit diperkaya untuk orang-orang yang benar-benar dapat kode, itu membantu.
Charles E. Grant
@ Charles E. Grant - Saya mengerti FizzBuzz - Saya benar-benar menggunakan pertanyaan seperti itu saat wawancara (kebanyakan orang lewat begitu saja). Saya sebagian besar merespons "soft skill mungkin menjadi indikator daripada hard skill" (sic), yang telah saya baca untuk penelitian yang relevan, dan dalam penelitian soft skill membantu dalam sebuah wawancara, tetapi tidak dapat ditunjukkan untuk membantu dalam pekerjaan. Atau, lebih tepatnya, pewawancara tidak dapat mengidentifikasi kandidat yang akan efektif dalam pekerjaan, jika mereka mencoba mengidentifikasi mereka berdasarkan soft skill.
psr
33

Tujuan dari fizzbuzz bukan untuk menemukan programmer yang baik, tetapi untuk menemukan kelas programmer yang buruk, yaitu orang-orang yang tidak dapat mengimplementasikan algoritma sederhana. Pertanyaan Anda seperti menanyakan berapa banyak juara Nascar yang diidentifikasi selama ujian SIM mereka. Ada banyak jalan tengah antara seseorang yang pasti tidak ingin Anda pekerjakan dan seseorang yang pasti Anda lakukan.

Ada kelas lain dari programmer "buruk" yang memerlukan metode identifikasi yang berbeda, seperti mereka yang tidak mahir dalam bahasa tertentu atau memiliki masalah perilaku. Namun, programmer "fizzbuzz-bad" hampir secara universal tidak diinginkan, itulah sebabnya tes ini sangat sering direkomendasikan. Apakah seorang programmer yang terlalu teritorial atau yang perlu mentransfer keterampilan ke bahasa baru adalah "baik" atau "buruk" lebih tergantung pada kebutuhan dan preferensi masing-masing majikan.

Karl Bielefeldt
sumber
2
Tapi apa yang membuat programmer "buruk"? Apakah Anda ingin seseorang yang merupakan pembuat kode yang luar biasa tetapi menghapus semua suntingan yang diedit ke kode "nya" pada suatu proyek? Atau seseorang yang mungkin membutuhkan sedikit bantuan dari C ke Jawa tetapi akan mendedikasikan diri mereka sepenuhnya dalam proyek ini?
joshin4colours
4
@ JPG: Ada sekolah pemikiran yang memberi tahu kami "Anda juga tidak mau". Jika mereka memiliki beberapa kebiasaan yang tidak kooperatif seperti yang terakhir, maka "No Hire"; jika mereka tidak memiliki keterampilan yang sama tetapi dibutuhkan "Tanpa Perekrutan". Jika ada sesuatu tentang kandidat yang membuat Anda ragu-ragu sama sekali tentang mempekerjakan mereka untuk proyek ini "No Hire"
SingleNegationElimination
@TokenMacGuy Saya kira sekolah itu seharusnya disebut sekolah "Waktu dan Sumber Daya Tak Terbatas" :)
joshin4colours
@ Karl, bisakah Anda memasukkannya kembali ke dalam jawaban Anda?
5

FizzBuzz bukan tentang mengidentifikasi programmer yang baik, ini tentang menghilangkan yang buruk / penipu. Jika seorang kandidat tidak dapat lulus tes FizzBuzz maka mereka tidak tahu cara memprogram dan seharusnya tidak melamar posisi pemrograman.

nicholaides
sumber