Bagaimana Anda mengelola harapan di tempat kerja?

Dengan semua kehebohan tentang Ilmu Data, Pembelajaran Mesin, dan semua kisah sukses di sekitarnya, ada banyak harapan yang dibenarkan, juga terlalu banyak, dari Ilmuwan Data dan model prediksi mereka.

Pertanyaan saya untuk berlatih Ahli Statistik, ahli Pembelajaran Mesin, dan Ilmuwan Data adalah - bagaimana Anda mengelola harapan dari para pebisnis di perusahaan Anda, khususnya yang berkaitan dengan akurasi model yang dapat diprediksi? Singkatnya, jika model terbaik Anda hanya dapat mencapai akurasi 90%, dan manajemen tingkat atas mengharapkan tidak kurang dari 99%, bagaimana Anda menangani situasi seperti ini?

Orang bisnis yang rasional tidak membayar untuk keakuratan, mereka juga membayar untuk itu

• menghemat uang pada proses yang menguntungkan (sehingga membuatnya lebih menguntungkan), atau oleh
• menciptakan uang baru (menciptakan proses menguntungkan baru).

Jadi setiap proyek yang dilakukan harus ditulis dalam istilah yang mencerminkan hal ini. Langkah pertama adalah selalu memahami yang mana dari dua proses yang sedang Anda kerjakan, dan Anda harus memiliki gagasan yang jelas tentang bagaimana hal itu dapat dicapai, sambil tetap mengingat bahwa ketika Anda membuat kemajuan, perincian tentang bagaimana Anda melakukan hal itu dapat berubah.

Jika Anda dapat meningkatkan keakuratan suatu proses, Anda mungkin dapat menghasilkan uang untuk perusahaan dan orang-orang bisnis akan berinvestasi dalam kemajuan Anda. Satu-satunya alasan rasional yang bisa dimiliki pebisnis untuk menuntut akurasi 99 persen dan menolak 90 persen adalah jika mereka sudah memiliki cara melakukannya yang lebih baik daripada 90 persen. Jika itu masalahnya mereka tentu saja dibenarkan dalam posisi mereka.

Memahami dan menyajikan kasus bisnis dari proyek yang sedang Anda kerjakan dengan pengertian yang dipahami oleh Pebisnis adalah bagian dari proses pendewasaan Insinyur mana pun. Ini tidak unik untuk Ilmu Data sama sekali, meskipun Ilmu Data memiliki beberapa aspek unik (seperti kematangan yang lebih rendah tetapi probabilitas lebih tinggi dari penemuan kebetulan yang kebetulan - setidaknya di lingkungan saat ini.

Proses yang relevan yang dekat dengan Ilmu Data yang membuat langkah ini eksplisit dapat ditemukan di sini: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Tetapi sebagian besar Kerangka Arsitektur Perusahaan juga dapat diterapkan.

Kumpulkan mitra kompetitif. Coba dan tentukan state-of-the-art dan lihat bagaimana model Anda dibandingkan dengan itu. Ini juga sangat tergantung pada berapa lama tim Anda telah mengerjakannya. Model yang digerakkan oleh ilmu pengetahuan tidak diciptakan secara statis, mereka berkembang secara dinamis karena ilmuwan yang baik akan selalu berusaha menemukan cara untuk memperbaikinya.

Personil manajemen atas harus mengetahui bahwa seorang ilmuwan data mengeksplorasi metode baru , kadang-kadang / sering tanpa mengetahui kualitasnya. Mereka harus tahu bahwa teknik pembelajaran mesin tidak menghasilkan model yang sempurna segera. Jika mereka melakukannya, toh itu tidak akan menantang.

Seorang ilmuwan data harus dievaluasi dengan cara dia membenarkan dan mendiskusikan hasil-hasilnya dan bagaimana dia merencanakan masa depan. Cara bagi personel manajemen untuk menangani harapan mereka adalah dengan tidak memiliki harapan yang terlalu tinggi.

Namun, jika hasil yang wajar diharapkan dalam bidang konteks, pikirkan pertanyaan-pertanyaan ini:

1. Apakah / akankah hasil menjadi lebih baik dari waktu ke waktu?
2. Apakah harapan masa depan positif?
3. Seberapa baik hasil dibandingkan dengan sistem serupa (dari pesaing)?

Saya suka pertanyaan ini karena mengenai politik yang ada di setiap organisasi. Dalam pandangan saya dan ke tingkat yang signifikan, harapan tentang kinerja model adalah fungsi dari budaya organisasi dan sejauh mana organisasi "melek secara teknis." Salah satu cara untuk memperjelas apa yang saya maksud adalah dengan mempertimbangkan perbedaan antara 4 entitas "ilmu data" besar - Google, FB, Amazon dan Yahoo - versus 4 entitas induk agen besar - WPP, Omnicon, Interbrand, dan Publicis. Google, dkk, sangat melek secara teknis. Agensi, di sisi lain, dikenal condong ke arah fobia teknologi. Apa buktinya untuk ini? Pertama, kelompok melek teknis didirikan atau dijalankan oleh insinyur, ilmuwan komputer, Geeks dan orang-orang dengan latar belakang teknologi yang kuat. Siapa yang menjalankan perusahaan teknologi buta huruf? Pemasar yang menjadi terkenal karena komunikasi yang lembut dan keterampilan orang. Dan tidak hanya itu, setelah bekerja di beberapa toko di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediktif" dari bozos seperti ini? Setelah bekerja di beberapa toko ini di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? Setelah bekerja di beberapa toko ini di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? mempertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? mempertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini?

Jadi, mengingat pelarian budaya dan tergantung di mana Anda jatuh, Anda harus memiliki harapan yang lebih atau kurang realistis. Tentu saja, entitas "buta huruf teknologi" yang berbeda akan memiliki manajer yang tahu apa yang mereka lakukan, tetapi sebagian besar, entitas ini didominasi oleh kebodohan penyebut umum terendah dalam keterampilan teknologi, yaitu, orang yang paling ahli teknis setengah melek huruf (dan berbahaya) atau, lebih umum, benar-benar tidak terhitung tetapi tidak mengetahuinya. Contohnya, saya bekerja untuk seorang pria yang menginginkan kata-kata seperti "korelasi" digosok dari c-suite deck. Ini adalah kasus yang ekstrem: lagipula, setiap sekretaris tahu apa "korelasi" itu.

Hal ini menimbulkan masalah bagaimana seseorang berurusan dengan orang yang naif dan tak terhitung ketika mereka mengajukan pertanyaan yang benar-benar bodoh seperti, "Mengapa Anda tidak mendapatkan akurasi prediksi 99%?" Satu jawaban yang baik adalah menjawab dengan pertanyaan seperti, "Mengapa Anda menganggap PA setinggi yang tidak realistis itu mungkin?" Yang lain mungkin, "Karena jika saya benar-benar mendapatkan 99% PA, saya akan berasumsi bahwa saya melakukan sesuatu yang salah." Yang sangat mungkin benar, bahkan dengan 90% PA.

Ada pertanyaan yang lebih mendasar dari desakan pada PA sebagai satu-satunya kriteria untuk nilai model. Almarhum Leo Breiman meninggalkan banyak jejak kaki pada komunitas pemodelan statistik dan prediktif yang salah satunya adalah PA. Perhatian utamanya dengan PA adalah untuk mengatasi banyak kritik yang dibuat di tahun 90-an tentang ketidakstabilan dan kesalahan yang melekat dalam menjalankan pohon CART tunggal. Solusinya adalah memotivasi “hutan acak” sebagai metode perkiraan dan sementara yang akan memaksimalkan akurasi dan mengurangi ketidakstabilan dengan menghilangkan struktur pohon. Dia membandingkan MSE yang lebih rendah dari ~ 1.000 "mini-model" RF iteratif terhadap kesalahan dari model regresi logistik tunggal. Satu-satunya masalah adalah dia tidak pernah repot-repot menyebutkan perbandingan apel dengan jeruk:

Netflix Prize 2008 menawarkan hadiah uang yang cukup besar kepada ahli statistik atau tim mana pun yang dapat meningkatkan MSE sistem rekomendasi mereka. Pada saat itu, Netflix menghabiskan $ 150 juta per tahun untuk sistem ini, yakin bahwa biayanya lebih dari pulih dalam kesetiaan pelanggan dan pembelian film yang seharusnya tidak akan pernah dipilih. Pemenang akhirnya menggunakan ansambel kompleks dari 107 model yang berbeda.

Seperti yang dipelajari Netflix, masalah sebenarnya adalah bahwa, dari perspektif biaya penuh, peningkatan aktual kesalahan atas model mereka saat ini adalah hanya pengurangan 0,005% di peringkat 5 poin. Belum lagi bahwa biaya TI dalam waktu, angkat berat dan pemeliharaan ansambel 107 model menang lebih dari membatalkan setiap keuntungan dari pengurangan kesalahan. Mengingat hal ini, Netflix akhirnya mengabaikan pengejaran MSE dan tidak ada lagi Hadiah Netflix yang diberikan

Dan inilah intinya: meminimalkan kesalahan prediktif dapat dengan mudah di-gamed atau di-retas dan rentan terhadap kecurangan analis (yaitu, menemukan solusi yang mengagungkan keterampilan permodelan analis, berdampak positif pada potensi bonus akhir tahun-nya). Selain itu, ini adalah solusi dan tujuan statistik sepenuhnya ditetapkan dalam kekosongan ekonomi dan bisnis. Metrik ini memberikan sedikit atau tidak sama sekali pertimbangan biaya tambahan, jaminan - konsekuensi operasional yang sangat nyata dievaluasi dari A hingga Z yang harus menjadi bagian integral dari setiap proses pengambilan keputusan berbasis trade-off.

Ini telah menjadi salah satu masalah yang tertanam dalam organisasi dan sangat, sangat sulit untuk diubah. Dengan kata lain, saya sepenuhnya sadar bahwa saya memiringkan kincir angin dengan kata-kata kasar tentang peringatan dengan penggunaan PA.