Bagaimana seorang AI belajar bahasa?

Saya berpikir tentang AI dan bagaimana mereka akan bekerja, ketika saya menyadari bahwa saya tidak bisa memikirkan cara bahwa AI bisa diajarkan bahasa. Seorang anak cenderung belajar bahasa melalui asosiasi bahasa dan gambar ke suatu objek (misalnya, orang mengatakan kata "anjing" saat berada di sekitar anjing, dan kemudian menyadari bahwa orang mengatakan "anjing" dan "mobil" dan belajar apa "a "Berarti, dll.). Namun, AI berbasis teks tidak dapat menggunakan metode ini untuk belajar, karena mereka tidak akan memiliki akses ke perangkat input apa pun.

Satu-satunya cara saya dapat memunculkan adalah pemrograman dalam setiap kata, dan aturan, dalam bahasa Inggris (atau bahasa apa pun yang dimaksudkan untuk 'berbicara' dalam), namun itu, berpotensi, membutuhkan waktu bertahun-tahun untuk dilakukan.

Adakah yang punya ide tentang bagaimana ini bisa dilakukan? Atau jika sudah dilakukan, jika demikian bagaimana caranya?

Ngomong-ngomong, dalam konteks ini, saya menggunakan AI untuk berarti sistem Kecerdasan Buatan dengan kecerdasan hampir-manusia, dan tanpa pengetahuan bahasa sebelumnya.

Area penelitian umum dikenal sebagai induksi tata bahasa .

Biasanya dibingkai sebagai masalah pembelajaran yang diawasi, dengan input disajikan sebagai teks mentah, dan output yang diinginkan pohon parsing yang sesuai . Set pelatihan sering terdiri dari contoh positif dan negatif.

Tidak ada metode tunggal terbaik untuk mencapai ini, tetapi beberapa teknik yang telah digunakan hingga saat ini meliputi:

• Pendekatan Bayesian
• Algoritma Genetika
• Pemrograman Genetik
• Arsitektur Papan Tulis
• The UpWrite Predictor

Istilah payung untuk masalah Anda disebut pemrosesan bahasa alami (NLP) - sebuah topik di bawah kecerdasan buatan.

Ada banyak subtopik untuk bidang ini termasuk semantik bahasa, analisis tata bahasa, bagian penandaan ucapan, analisis konteks spesifik domain, dll.

Hanya demi kelengkapan, saya akan menunjukkan bahwa Jaring Neural Berulang (yaitu jala neural dengan koneksi mundur) sering digunakan untuk untuk Natural Language Processing (NLP). Ini termasuk varian seperti Bidirectional, Jordan dan Elman Networks. Long Short-Term Memory (LSTM) adalah algoritma neural net yang lebih canggih yang dapat menyelesaikan tugas berbasis waktu dan urutan yang sama, tetapi dapat meningkatkan metode pembelajaran standar seperti backprop karena tidak mengalami "masalah gradien hilang". Ini karena LSTM telah direkayasa secara brilian sebagai "integrator sempurna," yang membuatnya jauh lebih mudah untuk menghitung gradien kesalahan, dll. Selama periode waktu yang lama. Sebaliknya, belajar dengan RNNs masih belum secara teoritis beralasan dan sulit untuk dihitung melalui metode yang ada seperti Backpropagation Through Time (BPTT). Dalam Time Delay Neural Networks (TDNNs), idenya adalah untuk menambahkan neuron dan koneksi baru dengan setiap contoh pelatihan baru melintasi rentang waktu atau urutan pelatihan; Sayangnya, ini menempatkan batasan praktis pada berapa banyak contoh yang dapat Anda masukkan ke dalam jaring sebelum ukuran jaringan menjadi tidak terkendali atau mulai lupa, seperti halnya dengan RNNs. LSTM memiliki memori yang jauh lebih lama (terutama ketika ditambah dengan Mesin Neural Turing) sehingga akan menjadi pilihan pertama saya, dengan asumsi saya ingin menggunakan jaring saraf untuk keperluan NLP. Pengetahuan saya tentang subjek terbatas (saya masih mencoba untuk mempelajari tali) sehingga mungkin ada algoritma jaringan saraf penting lainnya yang saya hadapi ...