Bagaimana mobil self-driving dapat membuat keputusan etis tentang siapa yang harus dibunuh?

74

Jelas, mobil self-driving tidak sempurna, jadi bayangkan mobil Google (sebagai contoh) masuk ke situasi yang sulit.

Berikut adalah beberapa contoh situasi yang tidak menguntungkan yang disebabkan oleh serangkaian peristiwa:

Mobil itu menuju ke arah kerumunan 10 orang menyeberang jalan, sehingga tidak bisa berhenti tepat waktu, tetapi dapat menghindari membunuh 10 orang dengan menabrak dinding (membunuh penumpang),
Menghindari membunuh pengendara sepeda motor mengingat kemungkinan bertahan hidup lebih besar bagi penumpang mobil,
Membunuh binatang di jalan demi manusia,
Mengubah jalur untuk menabrak mobil lain untuk menghindari membunuh seekor anjing,

Dan inilah beberapa dilema:

Apakah algoritme mengenali perbedaan antara manusia dan hewan?
Apakah ukuran manusia atau hewan itu penting?
Apakah itu menghitung berapa banyak penumpang yang dimiliki vs orang di depan?
Apakah itu "tahu" ketika bayi / anak-anak di kapal?
Apakah itu memperhitungkan usia (mis. Membunuh yang lebih tua dulu)?

Bagaimana algoritma memutuskan apa yang harus dilakukan dari perspektif teknis? Apakah itu disadari di atas (menghitung probabilitas pembunuhan), atau tidak (membunuh orang hanya untuk menghindari kehancurannya sendiri)?

Artikel terkait:

philosophy ethics autonomous-vehicles decision-theory kenorb
sumber

3

AKU tidak akan mengendarai kendaraan apa pun yang diprogram untuk tidak menjadikan AKU penumpang sebagai prioritas utama keselamatan. Saya tidak sendirian dalam pemikiran itu. Jika ada yang berencana memaksa pembuat kendaraan otonom untuk memprogram kendaraan mereka untuk melakukan hal lain selain memprioritaskan keselamatan penumpangnya, maka seluruh industri mungkin juga akan menutup pintu mereka sekarang. Beberapa kali pertama seorang penumpang meninggal karena beberapa keputusan etis yang menjijikkan akan menjadi yang terakhir kali sebagian besar orang akan membeli kendaraan otonom lain. Siapa yang mau mengendarai jebakan maut?

Dunk

Yang disebut "masalah troli" adalah masalah troll-y. Ada alasan yang dikenal sebagai eksperimen pikiran daripada studi kasus: itu bukan sesuatu yang pernah terjadi. Bahkan tidak mendekati kenyataan, sebagian besar karena mobil pada dasarnya bukan troli. Jawaban yang tepat dalam kasus apa pun yang berlaku dari jarak jauh hampir selalu "menginjak rem," dan jika ada pengecualian, itu hanya dapat diselesaikan dengan satu cara: dengan melindungi penghuni mobil dengan segala cara dan bahkan tidak pernah mempertimbangkan hal lain , karena dua alasan.

Mason Wheeler

2

Yang pertama, @Dunk membahas dengan cukup baik: pragmatisme. Jika mungkin bagi mobil untuk membuat pilihan yang berbeda, tidak ada orang waras yang mau membelinya. Yang kedua adalah jika ada fungsi "bunuh semua orang" yang ada di komputer mobil, itu berarti sudah ada di sana untuk ditemukan dan disalahgunakan oleh peretas jahat. Timbang peluang yang sangat nyata dari seseorang yang mencari cara untuk memicu hal itu dengan masukan yang berlawanan dengan gagasan fiktif murni tentang situasi masalah troli yang sah, dan hanya ada satu kemungkinan jawaban yang tidak masuk akal secara moral dan menjijikkan.

Mason Wheeler

54

Bagaimana mobil self-driving dapat membuat keputusan etis tentang siapa yang harus dibunuh?

Seharusnya tidak. Mobil self-driving bukanlah agen moral. Mobil gagal dengan cara yang dapat diprediksi. Kuda gagal dengan cara yang dapat diprediksi.

mobil menuju ke arah kerumunan 10 orang menyeberang jalan, sehingga tidak bisa berhenti tepat waktu, tetapi dapat menghindari membunuh 10 orang dengan menabrak dinding (membunuh penumpang),

Dalam hal ini, mobil harus menginjak rem. Jika 10 orang mati, itu hanya disayangkan. Kami tidak bisa mempercayai semua keyakinan kami tentang apa yang terjadi di luar mobil. Bagaimana jika 10 orang itu benar-benar robot yang dibuat agar terlihat seperti orang? Bagaimana jika mereka mencoba membunuhmu?

menghindari membunuh pengendara sepeda motor mengingat bahwa kemungkinan bertahan hidup lebih besar bagi penumpang mobil,

Sekali lagi, mengkodekan jenis-jenis sentimen ini ke dalam kendaraan akan membuka pengendara kendaraan hingga semua jenis serangan, termasuk pengendara sepeda motor "palsu" . Manusia nyaris tidak diperlengkapi untuk membuat keputusan ini sendiri, jika sama sekali. Ketika ragu, cukup banting rem.

membunuh binatang di jalan demi manusia,

Sekali lagi, cukup tekan rem. Bagaimana jika itu bayi? Bagaimana jika itu bom?

mengubah jalur untuk menabrak mobil lain untuk menghindari membunuh seekor anjing,

Nggak. Anjing itu berada di tempat yang salah pada waktu yang salah. Mobil lain tidak. Cukup banting rem, seaman mungkin.

Apakah algoritme mengenali perbedaan antara manusia dan hewan?

Apakah manusia? Tidak selalu. Bagaimana jika manusia memiliki senjata? Bagaimana jika hewan itu memiliki gigi besar? Apakah tidak ada konteks?

Apakah ukuran manusia atau hewan itu penting?

Apakah itu menghitung berapa banyak penumpang yang dimiliki vs orang di depan?

Apakah itu "tahu" ketika bayi / anak-anak di kapal?

Apakah itu memperhitungkan usia (mis. Membunuh yang lebih tua dulu)?

Manusia tidak bisa menyetujui hal-hal ini. Jika Anda bertanya kepada polisi apa yang harus dilakukan dalam situasi ini, jawabannya tidak akan, "Anda harus berbelok ke kiri, menimbang semua pihak yang relevan di kepala Anda, menilai usia yang relevan di antara semua pihak, lalu berbelok sedikit ke kanan, dan Anda akan menyelamatkan 8% lebih banyak nyawa. " Tidak, polisi hanya akan berkata, "Anda seharusnya menghentikan kendaraan, secepat dan seaman mungkin." Mengapa? Karena polisi tahu orang-orang biasanya tidak diperlengkapi untuk menghadapi skenario kecelakaan berkecepatan tinggi.

Target kita untuk "mobil yang bisa menyetir sendiri" seharusnya tidak menjadi 'agen moral yang setara dengan manusia.' Seharusnya agen dengan kompleksitas kecoa reaktif, yang gagal diprediksi.

Doxosophoi
sumber

Dalam sebagian besar skenario itu, orang-orang yang berpotensi terbunuh lebih karena kerusakan daripada mobil / penghuni mobil - membanting rem sepertinya satu-satunya respons yang masuk akal karena penghuninya juga tidak mungkin menghindari kecelakaan itu. Seperti yang Anda tunjukkan, sangat mungkin untuk menggunakan algoritme yang berperilaku dengan (berpotensi) membunuh penghuni sebagai ganti pejalan kaki sebagai cara untuk benar-benar membunuh penghuninya, bahkan berpotensi menyalahkan pemilik, mobil, atau pabrikan.

Clearer

48

Jawaban atas banyak pertanyaan itu tergantung pada bagaimana perangkat diprogram. Komputer yang mampu berkeliling dan mengenali jalan yang dilaluinya cenderung memiliki kemampuan untuk membedakan manusia dari binatang secara visual, apakah itu berdasarkan garis besar, gambar, atau ukuran. Dengan pengenalan gambar yang cukup tajam, mungkin bisa menghitung jumlah dan jenis orang di kendaraan lain. Bahkan bisa menggunakan data yang ada tentang kemungkinan cedera pada orang di berbagai jenis kendaraan.

Pada akhirnya, orang tidak setuju pada pilihan etis yang terlibat. Mungkin ada "pengaturan etika" untuk dikonfigurasikan oleh pengguna / pemilik, seperti "anggap saja hitungan kehidupan" vs. "kehidupan yang lebih muda lebih berharga." Saya pribadi akan berpikir itu tidak terlalu kontroversial bahwa mesin harus merusak dirinya sendiri sebelum membahayakan manusia, tetapi orang tidak setuju tentang betapa pentingnya kehidupan hewan peliharaan. Jika pengaturan kill-this-first eksplisit membuat orang tidak nyaman, jawabannya dapat ditentukan dari kuesioner yang diberikan kepada pengguna.

Ben N
sumber

2

Sesuatu di bagian terdalam pikiran saya berpikir bahwa pengaturan etika edit akan menjadi ide yang buruk. Tidak benar-benar yakin apa itu selain fakta bahwa itu adalah mesin alih-alih orang, tetapi saya selalu sampai pada kesimpulan bahwa kita sudah memiliki kontrak tidak tertulis untuk berlangganan keputusan etis seseorang setiap kali kita berada di mobil bersama orang lain.

Ian

6

'pengaturan etika'? Benarkah? Anda akan memiliki orang-orang yang menetapkannya berdasarkan prasangka yang mungkin 'Bunuh orang yang paling terlihat ____' Homoseksual? Perlombaan Favorit Paling Leak? Atau bagaimana jika dua kendaraan dalam driver tabrakan memiliki etika yang bertentangan? Kemudian keduanya dieksekusi dan ada tambahan kerusakan tambahan? Undang-undang ini harus bersifat universal (paling tidak di suatu negara), seperti halnya hukum jalan.

navigator_

3

@navigator_ Saya berharap opsi yang disediakan oleh pabrikan akan masuk akal.

Ben N

1

Alasan seperti yang didefinisikan oleh siapa? Itu maksud saya.

navigator_

3

Saya benar-benar berpikir "pengaturan etika" adalah satu-satunya pilihan yang layak / adil, karena meniru driver spesifik sedekat mungkin. Pengemudi mobil kemudian harus bertanggung jawab atas apa pun yang terjadi sebagai akibatnya, seolah-olah dia sedang mengemudi. Saya tidak melihat bagaimana memprogram sebuah mobil (misalnya) menempatkan kehidupan pengemudi sebelum hal lain berbeda dari pengemudi menempatkan hidupnya di atas hal lain.

Pandora

26

Secara pribadi, saya pikir ini mungkin masalah overhyped. Masalah troli hanya terjadi ketika situasi dioptimalkan untuk mencegah "opsi ke-3".

Mobil punya rem, bukan? "Tapi bagaimana kalau remnya tidak berfungsi?" Nah, maka mobil tidak diperbolehkan mengemudi sama sekali. Bahkan dalam lalu lintas reguler, operator manusia diajari bahwa kecepatan Anda harus dibatasi sehingga Anda dapat berhenti di area yang dapat Anda lihat. Solusi seperti ini akan mengurangi kemungkinan masalah troli.

Adapun hewan ... jika tidak ada upaya eksplisit untuk berurusan dengan manusia di jalan saya pikir hewan akan diperlakukan sama. Ini kedengarannya tidak masuk akal - roadkill sering terjadi dan "roadkill" manusia tidak diinginkan, tetapi hewan jauh lebih kecil dan lebih sulit dilihat daripada manusia, jadi saya pikir mendeteksi manusia akan lebih mudah, mencegah banyak kecelakaan.

Dalam kasus lain (bug, kesalahan saat mengemudi, beberapa kegagalan bertumpuk satu sama lain), mungkin kecelakaan akan terjadi, mereka akan dianalisis, dan kendaraan akan diperbarui untuk menghindari menyebabkan situasi yang serupa.

Pimgd
sumber

Adalah salah untuk mengatakan bahwa AI hanya akan mengemudi begitu cepat karena mereka dapat berhenti dari apa yang mereka lihat, karena hal yang sama berlaku bahkan untuk mengemudi manusia defensif. Alasannya adalah bahwa asumsi HARUS dibuat. Ketika mendaki bukit, diasumsikan bahwa hambatan besar tidak langsung hilang [Sumber DARPA Grand Challenge]. Asumsi ini didasarkan pada aturan jalan untuk menentukan tindakan mana yang benar. Dengan demikian, jika terjadi kecelakaan, selama Anda mengikuti aturan jalan, Anda bisa mengurangi tanggung jawab Anda. Jadi, mobil harus dapat membuat keputusan ini, tetapi mungkin secara terbatas (melindungi konsumen).

Harrichael

12

Ini adalah Masalah Trolley yang terkenal . Seperti yang dikatakan Ben N , orang tidak sependapat mengenai tindakan yang tepat untuk skenario masalah troli, tetapi harus dicatat bahwa dengan mobil self-driving, keandalannya sangat tinggi sehingga skenario ini benar-benar tidak mungkin. Jadi, tidak banyak usaha akan dimasukkan ke dalam masalah yang Anda gambarkan, setidaknya dalam jangka pendek.

Keras
sumber

Saya ingin tahu seberapa bagus masalah Trolley sebenarnya untuk ini? Masalah troli pada dasarnya adalah diskrit, menggambarkan pilihan `sekali dan untuk semua ', sedangkan dalam praktiknya algoritma harus membuat urutan pilihan pada penambahan waktu (berpotensi cukup kecil), mungkin dengan informasi baru yang tersedia. Algoritme yang berguna cenderung menjadi masalah 'kontrol kontinu' yang tertanam dalam ruang 3D aktual, berurusan dengan kecepatan dan probabilitas, bukan keputusan moral yang abstrak dan diskrit. Jika tidak ada yang lain, ini berarti implementasi tidak harus didefinisikan dalam istilah moral yang jelas.

NietzscheanAI

1

@NietzscheanAI Gagasan tentang masalah troli bukan pada keputusan apa yang harus diambil, tetapi apa yang harus Anda ambil keputusan. Jika Anda mempertimbangkan pencurian, jumlah orang, jumlah hewan, yang bersalah, keselamatan pengemudi, barang yang lebih baik, paling tidak berubah, dll. Anda masih dapat menerapkan probabilitas untuk masalah troli, yaitu. rute A memiliki peluang 30 persen untuk membunuh 10 orang. Masalah troli biasanya melibatkan dua rute sehingga Anda dapat mempertimbangkan faktor-faktor apa yang mendasari keputusan etis Anda secara lebih tepat.

Harrichael

11

Di dunia nyata, keputusan akan dibuat berdasarkan pada hukum, dan sebagaimana dicatat oleh Law.SE , hukum umumnya lebih memilih tidak bertindak daripada tindakan.

Menandai
sumber

Ah, itu masuk akal bagi korban manusia. Apakah pilihan hukum akan berbeda jika mobil bisa berbelok untuk menabrak anjing, bukan pejalan kaki?

Ben N

6

Untuk mobil tanpa pengemudi yang dirancang oleh satu entitas, cara terbaik untuk membuat keputusan tentang siapa yang akan dibunuh adalah dengan memperkirakan dan meminimalkan kemungkinan pertanggungjawaban.

Tidak perlu benar-benar mengidentifikasi semua calon korban di daerah untuk memiliki pembelaan atas keputusannya, hanya untuk mengidentifikasi mereka dan juga manusia yang diharapkan.

Bahkan tidak perlu mengetahui usia dan kondisi fisik setiap orang di dalam mobil, karena dapat meminta informasi itu dan jika ditolak, memiliki pembelaan bahwa penumpang memilih untuk tidak menyediakannya, dan oleh karena itu mengambil tanggung jawab untuk merampasnya dari kemampuan untuk membuat keputusan yang lebih baik.

Itu hanya harus memiliki model yang layak untuk meminimalkan eksposur entitas terhadap tuntutan hukum, yang kemudian dapat ditingkatkan dari waktu ke waktu untuk membuatnya lebih menguntungkan.

dynrepsys
sumber

6

"Pertanyaan moral tentang siapa yang harus diselamatkan: 99 persen dari pekerjaan teknik kami adalah untuk mencegah situasi ini terjadi sama sekali." -Christoph von Hugo, Mercedes-Benz

Kutipan ini dari sebuah artikel berjudul Self-Driving Mercedes-Benzes Akan Mengutamakan Keselamatan Penghuni di atas Pejalan Kaki yang diterbitkan OKTOBER 7, 2016 OLEH MICHAEL TAYLOR , diambil 08 Nov 2016.

Berikut adalah kutipan yang menguraikan solusi teknologi dan praktis untuk masalah tersebut.

Pembuat mobil tertua di dunia tidak lagi melihat masalah, mirip dengan pertanyaan dari tahun 1967 yang dikenal sebagai Masalah Troli, sebagai masalah yang tidak bisa dijawab. Alih-alih mengikat diri ke dalam simpul moral dan etika dalam krisis, Mercedes-Benz hanya bermaksud untuk memprogram mobil self-driving untuk menyelamatkan orang-orang di dalam mobil. Setiap saat.

Semua mobil otonom Mercedes-Benz Level 4 dan Level 5 masa depan akan memprioritaskan penyelamatan orang yang mereka bawa, menurut Christoph von Hugo, manajer sistem bantuan pengemudi mobil dan keselamatan aktif.

Artikel di sana juga memuat paragraf menarik berikut.

Sebuah studi yang dirilis pada pertengahan tahun oleh majalah Science juga tidak membersihkan udara. Mayoritas 1928 orang yang disurvei berpikir akan lebih baik secara etis bagi mobil otonom untuk mengorbankan penghuninya daripada menabrak pejalan kaki. Namun mayoritas juga mengatakan mereka tidak akan membeli mobil otonom jika mobil lebih mengutamakan keselamatan pejalan kaki.

tymtam
sumber

3

Sejujurnya saya pikir masalah ini (Masalah Trolley) pada dasarnya terlalu rumit, karena solusi dunia nyata mungkin cukup mudah. Seperti pengemudi manusia, pengemudi AI akan diprogram untuk bertindak setiap saat dengan cara yang etis secara umum, selalu memilih tindakan yang tidak membahayakan, atau paling tidak membahayakan.

Jika seorang pengemudi AI menghadapi bahaya seperti kerusakan properti yang akan terjadi, jelas AI akan mengerem keras dan mengarahkan mobil menjauh dari benda yang mudah pecah untuk menghindari atau meminimalkan dampak. Jika bahayanya menabrak pejalan kaki atau mobil atau bangunan, ia akan memilih untuk bertabrakan dengan benda yang paling tidak berharga atau mahal, untuk melakukan yang paling tidak membahayakan - menempatkan nilai yang lebih tinggi pada manusia daripada bangunan atau anjing.

Akhirnya, jika pilihan pengemudi AI mobil Anda adalah menabrak anak atau menabrak dinding ... itu akan mengarahkan mobil, dan Anda , ke dinding. Itulah yang dilakukan manusia baik mana pun. Mengapa AI yang baik bertindak berbeda?

Randy
sumber

1

'AI akan mengerem keras', 'ia akan memilih untuk bertabrakan dengan ...', jika ini adalah pernyataan, dapatkah Anda memposting beberapa referensi? Atau mereka berdasarkan opini?

kenorb

1

OP mengajukan pertanyaan sebagai, "Kerusakan apa yang akan dipilih AI untuk ditimbulkan?". Saya pikir itu adalah tujuan yang salah. Manusia tidak melakukan itu. Sebaliknya AI akan mengikuti strategi yang lebih umum untuk menghindari kerusakan, dan melakukan kerusakan sesedikit mungkin. Tujuan pengoptimalan ini lebih intuitif dan lebih sulit untuk dibantah ketika timbul masalah pertanggungjawaban.

Randy

3

Seharusnya tidak. Orang seharusnya.

Orang tidak dapat menyerahkan tanggung jawab keputusan etis ke tangan komputer. Merupakan tanggung jawab kami sebagai ilmuwan komputer / pakar AI untuk memprogram keputusan yang akan dibuat komputer. Akankah korban manusia masih ada dari ini? Tentu saja, mereka akan --- orang tidak sempurna dan tidak ada program.

Ada perdebatan mendalam yang sangat baik tentang topik ini di sini . Saya terutama menyukai argumen Yann LeCun mengenai dilema etis paralel dari pengujian obat yang berpotensi mematikan pada pasien. Mirip dengan mobil self-driving, keduanya bisa mematikan sementara memiliki niat baik menyelamatkan lebih banyak orang dalam jangka panjang.