Tampaknya cukup tidak kontroversial untuk mengatakan bahwa pendekatan berbasis NN menjadi alat yang cukup kuat di banyak bidang AI - apakah mengenali dan membusuk gambar (wajah di perbatasan, pemandangan jalan di mobil, pengambilan keputusan dalam situasi yang tidak pasti / rumit atau dengan data parsial). Hampir tak terhindarkan, beberapa kegunaan itu akan berkembang menjadi situasi di mana AI berbasis NN mengambil sebagian atau seluruh beban manusia, dan umumnya melakukannya lebih baik daripada orang pada umumnya.
Contohnya mungkin termasuk NN yang digunakan secara hipotetis sebagai langkah dalam mobil self-driving, diagnosis medis, verifikasi manusia / identitas, verifikasi sirkuit / desain, peringatan transaksi yang meragukan. Mungkin banyak bidang dalam dekade berikutnya.
Misalkan ini terjadi, dan umumnya dipandang berhasil (misalnya, mendapat diagnosa yang tepat 80% untuk 65% dokter manusia atau sesuatu, atau mobil dengan AI yang mencakup komponen NN crash 8% kurang dari mobil yang digerakkan manusia atau alternatif, atau terserah).
Sekarang - anggaplah salah satu dari ini melakukan kesalahan dengan serius dan serius dalam satu kasus. Bagaimana seseorang bisa mendekatinya? Dengan langkah-langkah logika formal seseorang dapat melacak proses pengambilan keputusan formal, tetapi dengan NN mungkin tidak ada logika formal, terutama jika itu menjadi cukup kompleks (dalam beberapa dekade katakan), hanya ada 20 miliar prosesor saraf dan bobot I / O mereka. dan koneksi, mungkin tidak mungkin untuk menentukan apa yang menyebabkan beberapa insiden bahkan jika nyawa hilang. Mungkin juga tidak mungkin untuk mengatakan lebih dari sistem yang terus dipelajari dan kejadian seperti itu jarang terjadi.
Saya juga belum pernah mendengar tentang cara yang berarti untuk melakukan "kotak hitam" atau setara dengan perekam penerbangan untuk NN, (bahkan jika saya tidak menggunakan kasus kritis), yang memungkinkan kita untuk memahami dan menghindari keputusan yang buruk. Tidak seperti tanggapan lain terhadap kerusakan produk, jika NN dapat dilatih setelah acara untuk memperbaiki satu kasus seperti itu, itu tidak jelas memberikan kepastian yang kita inginkan, bahwa pengaturan NN baru telah memperbaiki masalah, atau belum mengurangi risiko dan keseimbangan masalah lain dalam melakukannya. Itu sangat buram. Namun, jelas, sebagian besar sangat berharga sebagai pendekatan AI.
Dalam 20 tahun jika NN merupakan komponen (diakui sebagai aman dan sukses) dalam penerbangan pesawat atau desain pesawat, atau dibangun dalam sistem rumah sakit untuk mengawasi keadaan darurat, atau untuk menemukan penipuan di bank, dan seperti biasa telah melewati peraturan dan peraturan apa pun. persyaratan pasar mungkin ada dan dilakukan dengan catatan yang baik selama bertahun-tahun di pasar umum, dan kemudian dalam satu kasus sistem semacam itu beberapa waktu kemudian jelas-jelas salah pada satu kesempatan - berbahaya salah membaca jalan, merekomendasikan obat-obatan yang merusak kehidupan atau salah diagnosis secara terang-terangan, atau membersihkan transaksi penipuan senilai £ 200 juta di sebuah bank kliring yang hanya tertangkap secara kebetulan sebelum uang dikirim.
Apa yang bisa dilakukan pabrikan untuk mengatasi masalah publik atau pasar, atau untuk menjelaskan kejadian tersebut? Apa yang dilakukan tim teknologi ketika diberitahu oleh dewan "bagaimana ini terjadi dan memastikan itu diperbaiki"? Jenis log apa yang dapat disimpan, dll.? Apakah masyarakat harus hanya menerima bahwa ketidakpastian dan perilaku aneh sesekali bisa melekat (semoga sukses dengan masyarakat yang meyakinkan itu!)? Atau apakah ada cara yang lebih baik untuk mendekati aktivitas logging / debugging / pengambilan keputusan yang lebih cocok untuk NN?