Apakah kecerdasan buatan rentan terhadap peretasan?

27

Makalah Keterbatasan Pembelajaran Jauh dalam Pengaturan Adversarial mengeksplorasi bagaimana jaringan saraf dapat rusak oleh penyerang yang dapat memanipulasi set data yang dilatih oleh jaringan saraf. Penulis bereksperimen dengan jaringan saraf yang dimaksudkan untuk membaca angka tulisan tangan, merusak kemampuan membaca dengan mendistorsi sampel angka tulisan tangan yang dilatih oleh jaringan saraf.

Saya khawatir pelaku jahat mungkin mencoba meretas AI. Sebagai contoh

Menipu kendaraan otonom untuk salah mengartikan tanda berhenti vs. batas kecepatan.
Melewati pengenalan wajah, seperti yang untuk ATM.
Memotong filter spam.
Analisis sentimen bodoh dari ulasan film, hotel, dll.
Memotong mesin pendeteksi anomali.
Memalsukan perintah suara.
Prediksi pembelajaran pembelajaran berbasis mesin yang keliru.

Apa efek permusuhan yang dapat mengganggu dunia? Bagaimana kita bisa mencegahnya?

neural-networks deep-learning philosophy generative-adversarial-networks ai-safety Surya Sg
sumber

6

Pertimbangkan bahwa kecerdasan manusia rentan terhadap peretasan

Gayus

Menarik. Apakah Anda tertarik dengan "model risiko pengaturan permusuhan" atau sesuatu yang lebih dekat dengan jawaban keamanan cyber tradisional tetapi masih tepat tentang AI? Semoga sukses.

Wahyu Tautologis

19

AI rentan dari dua perspektif keamanan seperti yang saya lihat:

Metode klasik mengeksploitasi kesalahan program langsung untuk mencapai semacam eksekusi kode pada mesin yang menjalankan AI atau untuk mengekstrak data.
Tipuan melalui ilusi optik AI yang setara untuk bentuk data tertentu yang dirancang untuk ditangani oleh sistem.

Yang pertama harus dimitigasi dengan cara yang sama seperti perangkat lunak lainnya. Saya tidak yakin apakah AI lebih rentan di bagian depan ini daripada perangkat lunak lain, saya cenderung berpikir bahwa kompleksitasnya mungkin sedikit meningkatkan risikonya.

Yang kedua mungkin lebih baik dimitigasi oleh perbaikan sistem yang cermat seperti yang dicatat dalam beberapa jawaban lain, tetapi juga dengan membuat sistem lebih peka konteks; banyak teknik permusuhan mengandalkan input yang dinilai dalam ruang hampa.

Christopher Griffith
sumber

1

Pemisahan antara kerentanan kode dan kerentanan penggunaannya bagus. Namun, kerentanan kode biasanya sangat kecil dalam AI. Kompleksitas AI terletak pada data, apakah itu bobot node dalam jaringan saraf atau pohon di hutan acak. Hanya ada sedikit kode untuk memberi makan AI, dan risiko utama adalah tidak memberinya makan secara berlebihan - risiko buffer overflow klasik, mudah dikurangi dengan teknik akhir abad ke-20.

MSalters

@ MSalters Saya pikir sulit untuk menarik kesimpulan umum karena kompleksitas kode dapat sangat bervariasi antara berbagai jenis agen AI (saya pikir komentar Anda sebagian besar akurat untuk jaringan saraf). Lebih lanjut, meskipun data dan manipulasi daripadanya mungkin merupakan permukaan serangan yang lebih besar, tidak bijaksana untuk mengabaikan jenis serangan yang sama yang memungkinkan eksekusi kode jarak jauh melalui file gambar yang dikompromikan di masa lalu yang mengeksploitasi kelemahan dalam aplikasi tampilan gambar. Vektor adalah data yang diteruskan, tetapi perilaku masih berada di bawah header kerentanan kode, saya pikir.

Christopher Griffith

7

Programmer vs Programmer

Ini adalah "perang tanpa batas": Programer vs Programmer. Semua hal bisa diretas. Pencegahan terkait dengan tingkat pengetahuan profesional yang bertanggung jawab atas keamanan dan programmer dalam keamanan aplikasi.

mis. Ada beberapa cara untuk mengidentifikasi pengguna yang mencoba mengacaukan metrik yang dihasilkan oleh Analisis Sentimen, tetapi ada beberapa cara untuk menghindari langkah-langkah itu juga. Ini pertarungan yang cukup membosankan.

Agen vs Agen

Hal menarik yang diangkat oleh @DukeZhou adalah evolusi perang ini, melibatkan dua kecerdasan buatan (agen). Dalam hal ini, pertempuran adalah salah satu yang paling luas. Model mana yang paling terlatih, Anda tahu?

Namun, untuk mencapai kesempurnaan dalam masalah kerentanan, kecerdasan buatan atau kecerdasan super buatan melampaui kemampuan untuk mengelak dari manusia. Seolah-olah pengetahuan tentang semua peretasan hingga hari ini sudah ada dalam pikiran agen ini dan dia mulai mengembangkan cara-cara baru untuk mengelak dari sistemnya sendiri dan mengembangkan perlindungan. Kompleks bukan?

Saya percaya sulit untuk memiliki AI yang berpikir: "Apakah manusia akan menggunakan foto alih-alih menempatkan wajahnya untuk diidentifikasi?"

Bagaimana kita bisa mencegahnya

Selalu memiliki manusia yang mengawasi mesin, namun itu tidak akan 100% efektif. Ini mengabaikan kemungkinan bahwa agen dapat memperbaiki modelnya sendiri.

Kesimpulan

Jadi saya pikir skenario bekerja seperti ini: seorang programmer mencoba untuk menghindari validasi AI dan pengembang IA memperoleh pengetahuan melalui log dan tes mencoba untuk membangun model yang lebih cerdas dan lebih aman mencoba untuk mengurangi kemungkinan kegagalan.

Guilherme IA
sumber

3

Jawaban yang bagus (imo, harus menjadi jawaban yang diterima, tetapi Anda harus memberikan beberapa dukungan atau tautan.) terlepas dari apa, logika Anda sudah benar, meskipun saya pikir ini akan mulai meluas melampaui Programmer vs. Programmer ke Agent vs. Agent seiring dengan peningkatan algoritma baru pada kecanggihan, dan melakukan strategi ini tanpa dorongan manusia.

DukeZhou

1

Diperbarui! Poin bagus @DukeZhou

Guilherme IA

6

Bagaimana kita bisa mencegahnya?

Ada beberapa karya tentang verifikasi AI. Pengukur otomatis dapat membuktikan sifat kekokohan jaringan saraf. Ini berarti bahwa jika input X dari NN terganggu tidak lebih dari pada batas yang diberikan ε (dalam beberapa metrik, misalnya L2), maka NN memberikan jawaban yang sama di atasnya.

Verifier semacam itu dilakukan oleh:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Pendekatan ini dapat membantu untuk memeriksa sifat ketahanan jaringan saraf. Langkah selanjutnya adalah membangun jaringan saraf seperti itu, yang membutuhkan ketahanan. Beberapa makalah di atas mengandung juga metode bagaimana melakukan itu.

Ada beberapa teknik berbeda untuk meningkatkan ketahanan jaringan saraf:

pelatihan permusuhan (lihat misalnya A. Kurakin et al., ICLR 2017 )
distilasi defensif (lihat misalnya N. Papernot et al., SSP 2016 )
Pertahanan MMSTV ( Maudry et al., ICLR 2018 ).

Setidaknya yang terakhir terbukti dapat membuat NN lebih kuat. Lebih banyak literatur dapat ditemukan di sini .

Ilya Palachev
sumber

2

Ini kedengarannya seperti klaim yang mustahil ... kecuali itu tentang beberapa input X tertentu, daripada input X umum? Dalam hal ini, sepertinya tidak ada yang bisa dikatakan tentang peretasan, karena input tidak perlu terbatas pada gangguan mereka yang ada dalam pelatihan?

Mehrdad

1

@Mehrdad: Ini mungkin dapat dicapai dalam arti probabilistik jika ruang input cukup terstruktur sehingga Anda dapat mengambil sampelnya secara acak. Dengan kata lain, Anda mungkin dapat menetapkan bahwa untuk 95% dari input yang mungkin, 95% dari gangguan yang lebih kecil dari ε tidak mempengaruhi label kelas. Ini setara dengan menetapkan bahwa batas antara kelas output di ruang input halus, atau bahwa bagian terbesar dari ruang input tidak terletak di dekat batas kelas. Jelas beberapa bagian dari ruang input harus terletak di dekat batas kelas.

MSalters

Saya tidak yakin ini akan berlaku dalam kasus "permusuhan" yang dijelaskan dalam makalah: Di sana, (IIRC) gradien yang diperbanyak kembali ditambahkan ke seluruh gambar, sehingga perubahan pada input lengkap dapat cukup besar - bahkan jika perubahan untuk masing- masing piksel nyaris tidak terlihat.

Niki

@ MSalters: Saya kira, ya. Tetapi kemudian hal itu tampaknya sedikit meremehkannya kecuali Anda benar-benar dapat menunjukkan gambar-gambar yang berada di perbatasan kelas yang seharusnya berada di perbatasan kelas ...

Mehrdad

Kalimat "Langkah selanjutnya adalah membangun jaringan saraf seperti itu, yang membutuhkan ketahanan" sedang dalam penelitian. Secara umum sangat sulit untuk menyingkirkan masalah non-robustness NN. Tetapi dimungkinkan untuk meningkatkan ketahanan dengan pelatihan permusuhan (lihat misalnya A. Kurakin dkk., ICLR 2017 ), penyulingan defensif (lihat misalnya N. Papernot dkk., SSP 2016 ), pertahanan MMSTV ( Maudry dkk., ICLR 2018 ). Setidaknya yang terakhir terbukti dapat membuat NN lebih kuat.

Ilya Palachev

4

Saya percaya, tidak ada sistem yang aman, namun saya tidak yakin apakah saya masih bisa mengatakan ini setelah 20-30 tahun pengembangan / evolusi AI. Ngomong-ngomong, ada artikel yang menunjukkan manusia menipu AI (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
sumber

4

Apakah Kecerdasan Buatan Rentan terhadap Peretasan?

Balikkan pertanyaan Anda sejenak dan pikirkan:

Apa yang membuat AI lebih kecil risiko peretasan dibandingkan dengan perangkat lunak jenis apa pun?

Pada akhirnya, perangkat lunak adalah perangkat lunak dan akan selalu ada masalah bug dan keamanan. AI berisiko terhadap semua masalah yang tidak berisiko pada perangkat lunak AI, karena AI tidak memberinya semacam kekebalan.

Adapun gangguan khusus AI, AI berisiko diberi informasi palsu. Tidak seperti kebanyakan program, fungsi AI ditentukan oleh data yang dikonsumsi.

Sebagai contoh dunia nyata, beberapa tahun yang lalu Microsoft membuat chatbot AI bernama Tay. Orang-orang di Twitter butuh waktu kurang dari 24 jam untuk mengajarkannya untuk mengatakan "Kami akan membangun tembok, dan meksiko akan membayar untuk itu":

(Gambar diambil dari artikel Verge yang ditautkan di bawah, saya tidak mengklaim kredit untuk itu.)

Dan itu hanya puncak gunung es.

Beberapa artikel tentang Tay:

BBC
Ambang

Sekarang bayangkan itu bukan bot obrolan, bayangkan itu adalah bagian penting dari AI dari masa depan di mana AI bertanggung jawab atas hal-hal seperti tidak membunuh penghuni mobil (yaitu mobil yang bisa menyetir sendiri) atau tidak membunuh seorang pasien di meja operasi (yaitu beberapa jenis peralatan bantuan medis).

Memang, orang akan berharap AI seperti itu akan lebih aman dari ancaman seperti itu, tetapi seandainya seseorang memang menemukan cara untuk memberi makan massa AI seperti informasi palsu tanpa diketahui (setelah semua, peretas terbaik tidak meninggalkan jejak), itu benar-benar bisa berarti perbedaan antara hidup dan mati.

Dengan menggunakan contoh mobil yang bisa menyetir sendiri, bayangkan jika data palsu bisa membuat mobil itu berpikir perlu melakukan pemberhentian darurat saat berada di jalan tol. Salah satu aplikasi untuk AI medis adalah keputusan seumur hidup atau mati di UGD, bayangkan jika seorang hacker dapat memberi timbangan yang mendukung keputusan yang salah.

Bagaimana kita bisa mencegahnya?

Pada akhirnya skala risiko tergantung pada seberapa tergantung manusia pada AI. Sebagai contoh, jika manusia mengambil keputusan tentang AI dan tidak pernah mempertanyakannya, mereka akan membuka diri terhadap segala macam manipulasi. Namun, jika mereka menggunakan analisis AI hanya sebagai satu bagian dari teka-teki, akan menjadi lebih mudah dikenali ketika AI salah, baik itu melalui cara yang tidak disengaja atau jahat.

Dalam kasus pembuat keputusan medis, jangan hanya percaya AI, lakukan tes fisik dan dapatkan pendapat manusia juga. Jika dua dokter tidak setuju dengan AI, buang diagnosis AI.

Dalam hal mobil, satu kemungkinan adalah memiliki beberapa sistem berlebihan yang pada dasarnya harus 'memberikan suara' tentang apa yang harus dilakukan. Jika sebuah mobil memiliki beberapa AI pada sistem terpisah yang harus memilih tindakan yang harus diambil, seorang peretas harus mengambil lebih dari satu AI untuk mendapatkan kendali atau menyebabkan jalan buntu. Yang penting, jika AI berjalan pada sistem yang berbeda, eksploitasi yang sama yang digunakan pada satu tidak dapat dilakukan pada yang lain, semakin menambah beban kerja peretas.

Pharap
sumber

1

Saya suka gagasan memiliki beberapa sistem AI terpisah yang harus mencapai kesepakatan sebagai teknik mitigasi. Meskipun begitu, Anda harus yakin bahwa mekanisme pemungutan suara apa pun yang mereka gunakan tidak bisa dianggap palsu.

Christopher Griffith

@ChristopherGriffith Benar, itu risiko. Dalam kasus mobil, cara terbaik untuk memitigasi itu adalah dengan merancang sistem sehingga penyerang akan membutuhkan akses fisik untuk memanipulasi dan membuatnya sulit dijangkau sehingga orang tersebut harus masuk ke mobil untuk mengaksesnya. Menjaga sistem tetap offline umumnya merupakan tindakan pencegahan peretasan yang baik, meskipun tidak selalu ideal.

Pharap

1

Saya setuju dengan Akio bahwa tidak ada sistem yang sepenuhnya aman, tetapi yang perlu diambil adalah sistem AI kurang rentan terhadap serangan ketika dibandingkan dengan sistem lama karena kemampuannya untuk terus meningkat.

Seiring berlalunya waktu, semakin banyak orang akan turun ke lapangan membawa ide-ide baru dan perangkat keras akan meningkat sehingga mereka "AI yang kuat."