Apakah kecerdasan buatan rentan terhadap peretasan?

27

Makalah Keterbatasan Pembelajaran Jauh dalam Pengaturan Adversarial mengeksplorasi bagaimana jaringan saraf dapat rusak oleh penyerang yang dapat memanipulasi set data yang dilatih oleh jaringan saraf. Penulis bereksperimen dengan jaringan saraf yang dimaksudkan untuk membaca angka tulisan tangan, merusak kemampuan membaca dengan mendistorsi sampel angka tulisan tangan yang dilatih oleh jaringan saraf.

Saya khawatir pelaku jahat mungkin mencoba meretas AI. Sebagai contoh

  • Menipu kendaraan otonom untuk salah mengartikan tanda berhenti vs. batas kecepatan.
  • Melewati pengenalan wajah, seperti yang untuk ATM.
  • Memotong filter spam.
  • Analisis sentimen bodoh dari ulasan film, hotel, dll.
  • Memotong mesin pendeteksi anomali.
  • Memalsukan perintah suara.
  • Prediksi pembelajaran pembelajaran berbasis mesin yang keliru.

Apa efek permusuhan yang dapat mengganggu dunia? Bagaimana kita bisa mencegahnya?

Surya Sg
sumber
6
Pertimbangkan bahwa kecerdasan manusia rentan terhadap peretasan
Gayus
Menarik. Apakah Anda tertarik dengan "model risiko pengaturan permusuhan" atau sesuatu yang lebih dekat dengan jawaban keamanan cyber tradisional tetapi masih tepat tentang AI? Semoga sukses.
Wahyu Tautologis

Jawaban:

19

AI rentan dari dua perspektif keamanan seperti yang saya lihat:

  1. Metode klasik mengeksploitasi kesalahan program langsung untuk mencapai semacam eksekusi kode pada mesin yang menjalankan AI atau untuk mengekstrak data.

  2. Tipuan melalui ilusi optik AI yang setara untuk bentuk data tertentu yang dirancang untuk ditangani oleh sistem.

Yang pertama harus dimitigasi dengan cara yang sama seperti perangkat lunak lainnya. Saya tidak yakin apakah AI lebih rentan di bagian depan ini daripada perangkat lunak lain, saya cenderung berpikir bahwa kompleksitasnya mungkin sedikit meningkatkan risikonya.

Yang kedua mungkin lebih baik dimitigasi oleh perbaikan sistem yang cermat seperti yang dicatat dalam beberapa jawaban lain, tetapi juga dengan membuat sistem lebih peka konteks; banyak teknik permusuhan mengandalkan input yang dinilai dalam ruang hampa.

Christopher Griffith
sumber
1
Pemisahan antara kerentanan kode dan kerentanan penggunaannya bagus. Namun, kerentanan kode biasanya sangat kecil dalam AI. Kompleksitas AI terletak pada data, apakah itu bobot node dalam jaringan saraf atau pohon di hutan acak. Hanya ada sedikit kode untuk memberi makan AI, dan risiko utama adalah tidak memberinya makan secara berlebihan - risiko buffer overflow klasik, mudah dikurangi dengan teknik akhir abad ke-20.
MSalters
@ MSalters Saya pikir sulit untuk menarik kesimpulan umum karena kompleksitas kode dapat sangat bervariasi antara berbagai jenis agen AI (saya pikir komentar Anda sebagian besar akurat untuk jaringan saraf). Lebih lanjut, meskipun data dan manipulasi daripadanya mungkin merupakan permukaan serangan yang lebih besar, tidak bijaksana untuk mengabaikan jenis serangan yang sama yang memungkinkan eksekusi kode jarak jauh melalui file gambar yang dikompromikan di masa lalu yang mengeksploitasi kelemahan dalam aplikasi tampilan gambar. Vektor adalah data yang diteruskan, tetapi perilaku masih berada di bawah header kerentanan kode, saya pikir.
Christopher Griffith
7

Programmer vs Programmer

Ini adalah "perang tanpa batas": Programer vs Programmer. Semua hal bisa diretas. Pencegahan terkait dengan tingkat pengetahuan profesional yang bertanggung jawab atas keamanan dan programmer dalam keamanan aplikasi.

mis. Ada beberapa cara untuk mengidentifikasi pengguna yang mencoba mengacaukan metrik yang dihasilkan oleh Analisis Sentimen, tetapi ada beberapa cara untuk menghindari langkah-langkah itu juga. Ini pertarungan yang cukup membosankan.

Agen vs Agen

Hal menarik yang diangkat oleh @DukeZhou adalah evolusi perang ini, melibatkan dua kecerdasan buatan (agen). Dalam hal ini, pertempuran adalah salah satu yang paling luas. Model mana yang paling terlatih, Anda tahu?

Namun, untuk mencapai kesempurnaan dalam masalah kerentanan, kecerdasan buatan atau kecerdasan super buatan melampaui kemampuan untuk mengelak dari manusia. Seolah-olah pengetahuan tentang semua peretasan hingga hari ini sudah ada dalam pikiran agen ini dan dia mulai mengembangkan cara-cara baru untuk mengelak dari sistemnya sendiri dan mengembangkan perlindungan. Kompleks bukan?

Saya percaya sulit untuk memiliki AI yang berpikir: "Apakah manusia akan menggunakan foto alih-alih menempatkan wajahnya untuk diidentifikasi?"

Bagaimana kita bisa mencegahnya

Selalu memiliki manusia yang mengawasi mesin, namun itu tidak akan 100% efektif. Ini mengabaikan kemungkinan bahwa agen dapat memperbaiki modelnya sendiri.

Kesimpulan

Jadi saya pikir skenario bekerja seperti ini: seorang programmer mencoba untuk menghindari validasi AI dan pengembang IA memperoleh pengetahuan melalui log dan tes mencoba untuk membangun model yang lebih cerdas dan lebih aman mencoba untuk mengurangi kemungkinan kegagalan.

Guilherme IA
sumber
3
Jawaban yang bagus (imo, harus menjadi jawaban yang diterima, tetapi Anda harus memberikan beberapa dukungan atau tautan.) terlepas dari apa, logika Anda sudah benar, meskipun saya pikir ini akan mulai meluas melampaui Programmer vs. Programmer ke Agent vs. Agent seiring dengan peningkatan algoritma baru pada kecanggihan, dan melakukan strategi ini tanpa dorongan manusia.
DukeZhou
1
Diperbarui! Poin bagus @DukeZhou
Guilherme IA
6

Bagaimana kita bisa mencegahnya?

Ada beberapa karya tentang verifikasi AI. Pengukur otomatis dapat membuktikan sifat kekokohan jaringan saraf. Ini berarti bahwa jika input X dari NN terganggu tidak lebih dari pada batas yang diberikan ε (dalam beberapa metrik, misalnya L2), maka NN memberikan jawaban yang sama di atasnya.

Verifier semacam itu dilakukan oleh:

Pendekatan ini dapat membantu untuk memeriksa sifat ketahanan jaringan saraf. Langkah selanjutnya adalah membangun jaringan saraf seperti itu, yang membutuhkan ketahanan. Beberapa makalah di atas mengandung juga metode bagaimana melakukan itu.

Ada beberapa teknik berbeda untuk meningkatkan ketahanan jaringan saraf:

Setidaknya yang terakhir terbukti dapat membuat NN lebih kuat. Lebih banyak literatur dapat ditemukan di sini .

Ilya Palachev
sumber
2
Ini kedengarannya seperti klaim yang mustahil ... kecuali itu tentang beberapa input X tertentu, daripada input X umum? Dalam hal ini, sepertinya tidak ada yang bisa dikatakan tentang peretasan, karena input tidak perlu terbatas pada gangguan mereka yang ada dalam pelatihan?
Mehrdad
1
@Mehrdad: Ini mungkin dapat dicapai dalam arti probabilistik jika ruang input cukup terstruktur sehingga Anda dapat mengambil sampelnya secara acak. Dengan kata lain, Anda mungkin dapat menetapkan bahwa untuk 95% dari input yang mungkin, 95% dari gangguan yang lebih kecil dari ε tidak mempengaruhi label kelas. Ini setara dengan menetapkan bahwa batas antara kelas output di ruang input halus, atau bahwa bagian terbesar dari ruang input tidak terletak di dekat batas kelas. Jelas beberapa bagian dari ruang input harus terletak di dekat batas kelas.
MSalters
Saya tidak yakin ini akan berlaku dalam kasus "permusuhan" yang dijelaskan dalam makalah: Di sana, (IIRC) gradien yang diperbanyak kembali ditambahkan ke seluruh gambar, sehingga perubahan pada input lengkap dapat cukup besar - bahkan jika perubahan untuk masing- masing piksel nyaris tidak terlihat.
Niki
@ MSalters: Saya kira, ya. Tetapi kemudian hal itu tampaknya sedikit meremehkannya kecuali Anda benar-benar dapat menunjukkan gambar-gambar yang berada di perbatasan kelas yang seharusnya berada di perbatasan kelas ...
Mehrdad
Kalimat "Langkah selanjutnya adalah membangun jaringan saraf seperti itu, yang membutuhkan ketahanan" sedang dalam penelitian. Secara umum sangat sulit untuk menyingkirkan masalah non-robustness NN. Tetapi dimungkinkan untuk meningkatkan ketahanan dengan pelatihan permusuhan (lihat misalnya A. Kurakin dkk., ICLR 2017 ), penyulingan defensif (lihat misalnya N. Papernot dkk., SSP 2016 ), pertahanan MMSTV ( Maudry dkk., ICLR 2018 ). Setidaknya yang terakhir terbukti dapat membuat NN lebih kuat.
Ilya Palachev
4

Saya percaya, tidak ada sistem yang aman, namun saya tidak yakin apakah saya masih bisa mengatakan ini setelah 20-30 tahun pengembangan / evolusi AI. Ngomong-ngomong, ada artikel yang menunjukkan manusia menipu AI (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
sumber
4

Apakah Kecerdasan Buatan Rentan terhadap Peretasan?

Balikkan pertanyaan Anda sejenak dan pikirkan:

Apa yang membuat AI lebih kecil risiko peretasan dibandingkan dengan perangkat lunak jenis apa pun?

Pada akhirnya, perangkat lunak adalah perangkat lunak dan akan selalu ada masalah bug dan keamanan. AI berisiko terhadap semua masalah yang tidak berisiko pada perangkat lunak AI, karena AI tidak memberinya semacam kekebalan.

Adapun gangguan khusus AI, AI berisiko diberi informasi palsu. Tidak seperti kebanyakan program, fungsi AI ditentukan oleh data yang dikonsumsi.

Sebagai contoh dunia nyata, beberapa tahun yang lalu Microsoft membuat chatbot AI bernama Tay. Orang-orang di Twitter butuh waktu kurang dari 24 jam untuk mengajarkannya untuk mengatakan "Kami akan membangun tembok, dan meksiko akan membayar untuk itu":

Kita akan membangun tembok, dan mexico akan membayarnya

(Gambar diambil dari artikel Verge yang ditautkan di bawah, saya tidak mengklaim kredit untuk itu.)

Dan itu hanya puncak gunung es.

Beberapa artikel tentang Tay:

Sekarang bayangkan itu bukan bot obrolan, bayangkan itu adalah bagian penting dari AI dari masa depan di mana AI bertanggung jawab atas hal-hal seperti tidak membunuh penghuni mobil (yaitu mobil yang bisa menyetir sendiri) atau tidak membunuh seorang pasien di meja operasi (yaitu beberapa jenis peralatan bantuan medis).

Memang, orang akan berharap AI seperti itu akan lebih aman dari ancaman seperti itu, tetapi seandainya seseorang memang menemukan cara untuk memberi makan massa AI seperti informasi palsu tanpa diketahui (setelah semua, peretas terbaik tidak meninggalkan jejak), itu benar-benar bisa berarti perbedaan antara hidup dan mati.

Dengan menggunakan contoh mobil yang bisa menyetir sendiri, bayangkan jika data palsu bisa membuat mobil itu berpikir perlu melakukan pemberhentian darurat saat berada di jalan tol. Salah satu aplikasi untuk AI medis adalah keputusan seumur hidup atau mati di UGD, bayangkan jika seorang hacker dapat memberi timbangan yang mendukung keputusan yang salah.

Bagaimana kita bisa mencegahnya?

Pada akhirnya skala risiko tergantung pada seberapa tergantung manusia pada AI. Sebagai contoh, jika manusia mengambil keputusan tentang AI dan tidak pernah mempertanyakannya, mereka akan membuka diri terhadap segala macam manipulasi. Namun, jika mereka menggunakan analisis AI hanya sebagai satu bagian dari teka-teki, akan menjadi lebih mudah dikenali ketika AI salah, baik itu melalui cara yang tidak disengaja atau jahat.

Dalam kasus pembuat keputusan medis, jangan hanya percaya AI, lakukan tes fisik dan dapatkan pendapat manusia juga. Jika dua dokter tidak setuju dengan AI, buang diagnosis AI.

Dalam hal mobil, satu kemungkinan adalah memiliki beberapa sistem berlebihan yang pada dasarnya harus 'memberikan suara' tentang apa yang harus dilakukan. Jika sebuah mobil memiliki beberapa AI pada sistem terpisah yang harus memilih tindakan yang harus diambil, seorang peretas harus mengambil lebih dari satu AI untuk mendapatkan kendali atau menyebabkan jalan buntu. Yang penting, jika AI berjalan pada sistem yang berbeda, eksploitasi yang sama yang digunakan pada satu tidak dapat dilakukan pada yang lain, semakin menambah beban kerja peretas.

Pharap
sumber
1
Saya suka gagasan memiliki beberapa sistem AI terpisah yang harus mencapai kesepakatan sebagai teknik mitigasi. Meskipun begitu, Anda harus yakin bahwa mekanisme pemungutan suara apa pun yang mereka gunakan tidak bisa dianggap palsu.
Christopher Griffith
@ChristopherGriffith Benar, itu risiko. Dalam kasus mobil, cara terbaik untuk memitigasi itu adalah dengan merancang sistem sehingga penyerang akan membutuhkan akses fisik untuk memanipulasi dan membuatnya sulit dijangkau sehingga orang tersebut harus masuk ke mobil untuk mengaksesnya. Menjaga sistem tetap offline umumnya merupakan tindakan pencegahan peretasan yang baik, meskipun tidak selalu ideal.
Pharap
1

Saya setuju dengan Akio bahwa tidak ada sistem yang sepenuhnya aman, tetapi yang perlu diambil adalah sistem AI kurang rentan terhadap serangan ketika dibandingkan dengan sistem lama karena kemampuannya untuk terus meningkat.

Seiring berlalunya waktu, semakin banyak orang akan turun ke lapangan membawa ide-ide baru dan perangkat keras akan meningkat sehingga mereka "AI yang kuat."

Simbarashe Timothy Motsi
sumber
1

Apakah kecerdasan buatan rentan terhadap peretasan?

petunjuk; jika Anda mengatakan bahwa AI rentan, maka saya tidak setuju dengan Anda di sini dengan pernyataan seperti itu. Kecerdasan buatan dibagi menjadi tiga kategori atau fase yang harus kita lalui yaitu.

  • kecerdasan sempit buatan

  • kecerdasan umum buatan

  • kecerdasan super buatan

Karena itu, sesuai dengan pernyataan Anda; "Aku khawatir pelaku jahat mungkin mencoba meretas AI ....."

diberikan oleh contoh-contoh di badan pesan Anda, kami berada pada tingkat kecerdasan sempit buatan, di mana oleh peretas manusia dapat memutar / kode jahatnya untuk menyerang aplikasi semacam itu, pada tingkat ini. Namun, jika kita melompat langsung ke tingkat akhir Buatan Intelijen; lalu dengan segala cara, seorang manusia tidak dapat menyerang atau meng-hack program perangkat lunak yang sangat cerdas atau agen teknologi yang sangat cerdas. Contohnya; seorang peretas manusia, melakukan satu hal pada satu waktu, tidak ada yang menghentikan kecerdasan buatan yang membagi fokusnya dan melakukan banyak staf secara bersamaan, ini sulit untuk menebak pikiran yang bekerja secara akurat seperti itu

untuk informasi anda

jangan tersinggung dengan apa yang dikatakan media tentang AI secara umum, hanya karena; mereka tidak tahu bahwa hal besar yang akan terjadi adalah spesies baru yang bersaing dengan manusia.

bayangkan saja hidup dalam masyarakat baru yang berteknologi tinggi. Lihatlah tantangan besar dunia maya

Jika Anda melewatkan acara itu, mohon maaf.

quintumnia
sumber
Saya akan membayangkan bahwa bahkan di dunia dengan kreasi artifisial super cerdas, masih akan ada cara untuk meretas sistem ini menggunakan alat yang sangat khusus yang hanya dapat mengungguli sistem AI umum pada tugas tertentu.
krowe2
1

Kecerdasan jenis apa pun rentan terhadap peretasan, baik berbasis DNA atau buatan. Pertama, mari kita tentukan peretasan. Dalam konteks ini, peretasan adalah eksploitasi kelemahan untuk mendapatkan tujuan tertentu yang dapat mencakup status, keuntungan finansial, gangguan bisnis atau pemerintah, informasi yang dapat digunakan untuk pemerasan, keunggulan dalam kesepakatan bisnis atau pemilihan, atau bentuk lain kontrol atau manipulasi.

Berikut adalah contoh strategi peretasan otak dan tujuan bersama mereka. Masing-masing memiliki sistem digital yang setara.

  • Propaganda pemerintah - kepatuhan yang dapat diprediksi
  • Penipuan - uang
  • Spoofing - reaksi publik yang lucu
  • Putar permainan - dapatkan kepercayaan untuk mendapatkan akses atau memanipulasi
  • Pusat nyeri - manfaatkan kecanduan untuk meningkatkan pendapatan

Beberapa khawatir tentang apa yang disebut Singularity, di mana entitas perangkat lunak cerdas mungkin dapat meretas manusia dan struktur sosial mereka untuk mendapatkan tujuan mereka sendiri. Bahwa manusia dapat meretas agen cerdas dari manusia lain adalah kemungkinan lain yang jelas. Saya tidak berpikir data pelatihan adalah satu-satunya titik serangan.

  • Matriks parameter dapat ditimpa dengan cara yang sulit dideteksi.
  • Sinyal penguatan bisa dirusak.
  • Kantong kesalahan yang dikenal dalam permutasi input dapat dieksploitasi.
  • Sifat deterministik dari sistem digital dapat dieksploitasi oleh pembelajar mendalam lainnya dengan menduplikasi sistem yang terlatih dan mencari titik-titik kerentanan secara off-line sebelum mengeksekusi mereka melalui jaringan

Kemungkinan yang tercantum dalam pertanyaan patut dipertimbangkan, tetapi ini adalah versi daftar saya.

  • Pembunuhan karena kegagalan fungsi AV atau sistem identifikasi spoofing di apotek atau rumah sakit
  • Pengalihan produk dalam jumlah besar ke penerima yang tidak membayarnya
  • Genosida sosial dengan meminggirkan kelompok-kelompok individu tertentu

Satu-satunya cara untuk mencegahnya adalah dengan menunggu peristiwa kepunahan global, tetapi mungkin ada cara untuk menguranginya. Sama seperti program setan ditulis untuk menemukan kerentanan dalam sistem UNIX, sistem cerdas dapat dirancang untuk menemukan kerentanan dalam sistem cerdas lainnya. Tentu saja, sama seperti model pemrograman dan sistem informasi konvensional dapat dirancang dengan mempertimbangkan keamanan, mengurangi kerentanan hingga tingkat yang mungkin dari hari pertama, sistem AI dapat dirancang dengan tujuan tersebut dalam pikiran.

Jika Anda mengikuti jalur informasi dari sistem apa pun dan mempertimbangkan cara untuk membaca atau menulis sinyal di titik mana pun di sepanjang jalur, Anda dapat menjaga terlebih dahulu terhadap titik akses tersebut. Jelas, berhati-hati saat memperoleh data yang akan digunakan untuk pelatihan adalah kunci dalam kasus yang disebutkan dalam pertanyaan ini, dan enkripsi yang tepat di sepanjang jalur informasi diperlukan, bersama dengan memastikan bahwa tidak ada akses fisik yang diberikan kepada personel yang tidak berwenang, tetapi saya melihat pertempuran antara langkah-langkah dan penanggulangan yang timbul dari keprihatinan dan peluang ini.

Douglas Daseeco
sumber
0

Ada banyak cara untuk meretas AI. Ketika saya masih kecil saya menemukan cara untuk mengalahkan komputer catur. Saya selalu mengikuti pola yang sama, begitu Anda tahu Anda bisa memanfaatkannya. Peretas terbaik dunia adalah seorang anak berusia 4 tahun yang menginginkan sesuatu ia akan mencoba hal-hal yang berbeda sampai ia menetapkan pola pada orang tuanya. Pokoknya, Dapatkan Ai untuk mempelajari pola AI dan diberi kombinasi yang diberikan Anda dapat mengetahui hasilnya. Ada juga kelemahan atau pintu belakang dalam kode baik sengaja atau tidak sengaja. Ada juga kemungkinan AI akan meretas dirinya sendiri. Ini disebut nakal, ingat anak kecil lagi ...

Cara sederhana BTW adalah membuat AI selalu gagal aman ... sesuatu yang orang lupa.

Tony Lester
sumber