Apa yang dilakukan para ahli statistik yang tidak dapat diotomatisasi?

Akankah perangkat lunak pada akhirnya membuat ahli statistik menjadi usang? Apa yang dilakukan yang tidak dapat diprogram ke dalam komputer?

@ Adam, jika Anda berpikir tentang para peneliti statistik secara analog dengan orang-orang di bidang lain - orang yang membangun metodologi dan pengetahuan yang ada - maka mungkin akan membuatnya lebih jelas bahwa jawaban untuk pertanyaan pertama Anda adalah 'Tidak'.

Para ahli statistik yang mencari nafkah dengan hanya menerapkan paket perangkat lunak kaleng sangat mungkin digantikan oleh komputer untuk setiap langkah kecuali menulis bagian diskusi makalah di mana hasilnya harus ditafsirkan. Jadi, dalam pengertian itu, ya - itu bisa otomatis (walaupun itu harus menjadi bagian yang rumit dari perangkat lunak yang memiliki satu prosesor bahasa alami).

Namun, seperti yang diketahui oleh kebanyakan peneliti, rutinitas "kalengan" yang sering digunakan orang sangat terbatas dan harus dimodifikasi (atau metode baru sepenuhnya harus dikembangkan) untuk menjawab pertanyaan penelitian khusus - ini adalah di mana aspek statistik manusia sangat diperlukan . Atau, seorang peneliti harus cukup puas dengan pertanyaan penelitian yang agak berbeda, tetapi terkait, yang dapat dijawab dengan menggunakan metode klasik.

Kebanyakan ahli statistik yang saya kenal bekerja di pekerjaan penelitian (misalnya profesor, ilmuwan riset) di mana peran utama mereka adalah mengembangkan metodologi baru. Jika proses ini dapat diotomatiskan, artinya komputer dapat merumuskan dan mengeluarkan metodologi baru yang bermanfaat, maka saya khawatir para peneliti di setiap bidang akan usang.

Komputer hanya akan membuat ahli statistik menjadi usang ketika AI yang kuat membuat manusia secara keseluruhan menjadi usang.

Pertanyaan itu mengingatkan saya pada pertanyaan tentang, "Jika ada semua metode statistik yang kuat ini, mengapa orang masih menggunakan metode lain?" Beberapa jawabannya adalah kebiasaan dan pelatihan, tetapi sebagian besar adalah bahwa pertanyaannya naif: "kuat" tidak berarti "Anda tidak harus memikirkan dan memahami apa yang Anda lakukan", seperti yang tersirat dalam pertanyaan itu.

Maksud saya, Anda dapat mengunduh paket statistik R hari ini, dan melakukan teknik statistik dasar apa pun pada malam hari. Anda kemudian dapat mengunduh beberapa paket dan mulai menggunakan metode yang sangat esoteris sehingga sebagian besar dari kita bahkan belum pernah mendengarnya. Pertanyaannya adalah: apakah Anda akan mendapatkan jawaban yang masuk akal? Jawabannya mungkin tidak.

Algoritme bersifat otomatis, tetapi Anda masih harus membuat banyak penilaian di sepanjang jalur investigasi: mulai dari rencana serangan hingga penilaian akhir apakah hasilnya benar-benar masuk akal. Untuk sampai ke titik itu, Anda benar-benar berbicara tentang komputer seperti Star-Trek di mana Anda dapat mengatakan, "Komputer, beri tahu saya ...", yang pada saat itu hampir setiap panggilan manusia sudah usang.

Apa yang bisa dilakukan seorang ahli statistik yang tidak bisa dilakukan oleh komputer? Tuliskan program asli tempat mereka diganti.

Di luar jawaban yang agak konyol itu, akar pertanyaannya adalah mengabaikan ilmu statistik aktual yang berpihak pada mekanismenya, dan sepenuhnya mengabaikan peran proses kreatif dalam analisis statistik. Ini, untuk menggunakan contoh mobil Peter Flom, seperti mengatakan mobil dibuat menggunakan paku keling dan lasan, jadi tidak ada alasan Mustang baru tidak dapat dirancang oleh robot riving dan welding.

Sejumlah besar melakukan statistik melibatkan keahlian subjek, panggilan penilaian, dan kreativitas. Analisis "Kalengan" yang dijalankan dari suatu algoritma sering kali tidak akan memberi Anda jawaban terbaik, dan ada banyak sekali contoh yang terdokumentasi di mana menggunakan metode otomatis sebenarnya memberi Anda jawaban yang salah - atau setidaknya bukan jawaban yang Anda pikir Anda peroleh. Penggunaan prosedur pemilihan variabel berdasarkan nilai-p bertahap dan analisis berdasarkan kuantil murni yang didefinisikan secara numerik adalah dua yang paling saya kenal, tapi saya yakin Anda dapat menemukan banyak orang lain di luar sana.

Bahkan jika semua itu entah bagaimana masih terotomatisasi, ada masalah menafsirkan hasil. Pekerjaan ahli statistik (atau ilmuwan yang cenderung secara statistik) tidak selesai ketika Anda memperoleh koefisien regresi atau nilai-p. Apa arti temuan itu . Apa saja peringatannya? Apa ini mewakili dalam konteks apa yang terjadi sebelumnya?

Akhirnya, Anda memiliki pengembangan metode baru. Statistik bukanlah sesuatu yang hanya diletakkan sejak lama oleh orang-orang yang namanya kita kenali - Fisher, Cox, dll. Ini adalah bidang yang berkembang, dan Anda tidak dapat memprogram metode baru ke dalam komputer sampai seseorang mengembangkan metode itu sendiri.

Cara lain untuk menafsirkan pertanyaan ini mungkin: "apakah peningkatan cepat dalam teknik statistik otomatis dalam beberapa tahun terakhir berhubungan dengan penurunan permintaan dalam pekerjaan untuk ahli statistik dan analis data khusus?"

Kami dapat menjawab pertanyaan ini dengan melihat data

Data milik memang.com & blog revolusi

Saya tidak sepenuhnya setuju dengan premis dari pertanyaan, yaitu saya pikir tidak ada cara di mana komputer bisa berharap untuk menggantikan ahli statistik, tetapi untuk memberikan contoh nyata mengapa saya berpikir bahwa:

Pekerjaan yang dilakukan oleh ahli statistik dengan para ilmuwan, khususnya, dalam desain dan interpretasi eksperimen, tidak hanya membutuhkan pikiran manusia tetapi juga kecenderungan filosofis yang tidak dapat dibayangkan oleh komputer.

Kecuali jika kita berakhir dalam semacam situasi tipe Skynet, tentu saja, dalam hal ini saya rasa semua taruhan mungkin sejauh masa depan semua umat manusia, tidak peduli tentang hanya ahli statistik, yang bersangkutan :-)

Pertanyaan itu menunjukkan pandangan yang naif tentang seorang ahli statistik - bahwa ini semua tentang memeriksa untuk melihat apakah ap <0,05 dan melaporkan beberapa angka dan grafik standar. Jika itu yang Anda maksud dengan ahli statistik maka Anda benar dalam implikasi Anda bahwa sebagian besar dari itu bisa sepenuhnya otomatis. Tapi bukan itu yang dimaksud ahli statistik.

Tentukan istilah ahli statistik Anda, dan Anda mungkin mendapatkan jawaban yang lebih baik.

Memuat paket statistik ke komputer Anda tidak membuat Anda menjadi ahli statistik selain membeli mobil membuat Anda dapat mengemudi.

Bahkan jika ahli statistik hanya menerapkan rutinitas "kalengan" ada banyak pertanyaan.

1. Rutinitas yang mana? Rutin apa yang akan menjawab pertanyaan klien?
2. Dengan variabel apa? dan haruskah mereka diubah? Haruskah beberapa level digabungkan? Yang mana yang harus dipaksa menjadi model?
3. Dengan data apa? Haruskah outlier dihapus? Dipangkas? Mungkin metode yang kuat?

dan seterusnya.

Tetapi pekerjaan dimulai jauh sebelum komputer dihidupkan, dan berakhir lama setelah paket statistik dimatikan.

Sebelumnya: Apa yang ingin dilakukan klien? Seringkali ini banyak pekerjaan! Data apa yang dimiliki klien? Oy vey! Variabel diberi label V1 ke V828171 Yang mana? Bagaimana keadaan literatur? Apa yang akan diharapkan klien? Seberapa teknis seharusnya?

Setelah: Apa artinya hasil ? (dan bukan hanya "ini berarti bahwa regresi itu signifikan") Bagaimana seharusnya hasilnya dijelaskan kepada klien? Apa pertanyaan lain yang muncul dari hasil?

Saya pikir, akan lama sekali sebelum komputer dapat melakukan ini.

Studi akademis yang melihat kemungkinan otomatisasi pekerjaan atau tugas yang berbeda tidak berpikir bahwa ahli statistik akan segera digantikan oleh komputer. Lihat misalnya studi Frey & Osborne (2013) yang kontroversial yang memeringkat pekerjaan menurut probabilitas komputerisasi mereka, para ahli statistik berada di peringkat rendah 213 dari 702 dengan probabilitas 22% (lihat tabel dalam lampiran). Jika Anda lebih tertarik, lihat juga artikel Slate di sini .

Arntz et al. (2016) (di sini artikel The Economist) melihat tugas daripada pekerjaan untuk Uni Eropa dan sampai pada kesimpulan yang sama: Melakukan "Matematika Kompleks atau Statistik" secara statistik signifikan negatif terkait dengan otomatisasi pekerjaan (lihat Tabel 3).

Tetapi beberapa kehati-hatian disarankan, akademisi dan / atau ekonom tidak selalu sangat baik dalam memprediksi masa depan (pemenang Nobel Robert Lucas misalnya menyimpulkan pada tahun 2003, beberapa tahun sebelum krisis keuangan, bahwa "masalah utama pencegahan depresi sebagai telah dipecahkan, untuk semua tujuan praktis, dan sebenarnya telah dipecahkan selama beberapa dekade. " ). Kedua studi tampaknya merupakan kertas kerja, yang dibahas secara luas tetapi belum diterbitkan dalam jurnal standar peer-review.

Mengenai debat akademik, di sini Anda dapat menemukan artikel tinjauan umum tentang keadaan penelitian tentang otomatisasi.

Saya pikir AI hanya akan membuat ahli statistik lebih pintar dan lebih kompetitif. Mengapa? Karena ini adalah tujuan dari kecerdasan buatan sejak konsepsi mereka beberapa dekade yang lalu ...