Sejauh mana "matematika lanjut" diperlukan / berguna dalam penelitian AI?

Saya sedang belajar matematika. Namun, saya tidak berpikir saya ingin menjadi ahli matematika profesional di masa depan. Saya berpikir untuk menerapkan pengetahuan matematika saya untuk melakukan penelitian dalam kecerdasan buatan. Namun, saya tidak yakin berapa banyak kursus matematika yang harus saya ikuti. (Dan kursus teori CS mana yang harus saya ikuti.)

Dari Quora, saya belajar bahwa mata pelajaran Aljabar Linier, Statistik dan Optimasi Cembung paling relevan untuk Pembelajaran Mesin (lihat pertanyaan ini ). Seseorang lain menyebutkan bahwa mempelajari Aljabar Linier, Probabilitas / Statistik, Kalkulus, Algoritma Dasar dan Logika diperlukan untuk mempelajari kecerdasan buatan (lihat pertanyaan ini ).

Saya bisa belajar tentang semua mata pelajaran ini selama 1,5 tahun pertama saya dari Sarjana matematika di universitas kami.

Saya bertanya-tanya, apakah ada beberapa mata pelajaran matematika tingkat sarjana bahkan sarjana yang berguna atau bahkan diperlukan untuk mempelajari kecerdasan buatan. Bagaimana dengan ODE, PDE, Topologi, Teori Ukur, Analisis Linier, Analisis Fourier dan Analisis Manifol?

Satu buku yang menunjukkan bahwa beberapa matematika yang cukup maju yang berguna dalam studi kecerdasan buatan adalah Teori Pola: Analisis Stokastik sinyal Dunia Nyata oleh David Mumford dan Agnes Desolneux (lihat halaman ini ). Ini termasuk bab tentang Rantai Markov, Model Piecewise Gaussian, Gibbs Fields, Manifold, Lie Groups dan Lie Algebras dan aplikasi mereka untuk teori pola. Sampai sejauh mana buku ini berguna dalam penelitian AI?

Saya tidak ingin terdengar merendahkan, tetapi matematika yang Anda pelajari di tingkat sarjana dan bahkan pascasarjana tidak maju. Ini adalah dasar dasarnya . Judul pertanyaan Anda harus: Apakah matematika "dasar" diperlukan / berguna dalam penelitian AI? Jadi, melahap sebanyak yang Anda bisa, saya belum pernah bertemu dengan seorang ilmuwan komputer yang mengeluh karena tahu terlalu banyak matematika, meskipun saya bertemu banyak yang mengeluh tentang tidak cukup tahu tentang itu. Saya ingat membantu sesama mahasiswa pascasarjana di AI memahami algoritma gaya peringkat halaman. Bagiku itu hanya aljabar linier yang cukup mudah, tetapi dia menderita karena dia tidak punya perasaan tentang nilai eigen dan vektor eigen. Bayangkan hal-hal yang dapat dilakukan orang-orang AI jika mereka benar-benar tahu banyak matematika!

Saya mengajar di departemen matematika dan saya secara teratur mendapatkan permintaan dari rekan CS saya untuk merekomendasikan jurusan matematika untuk CS PhD karena mereka lebih suka siswa matematika. Anda tahu, matematika benar-benar, sangat sulit untuk dipelajari sendiri, tetapi sebagian besar aspek ilmu komputer tidak. Saya tahu, saya adalah jurusan matematika yang masuk ke sekolah pascasarjana CS. Tentu, saya "di belakang" pada pengetahuan sistem operasi (meskipun memiliki pengetahuan yang layak tentang Unix dan VMS), tapi saya jauh, jauh di depan "teori". Ini bukan situasi simetris.

Max, ini daftar parsial:

Aljabar linier dasar dan probabilitas diperlukan di semua tempat. Saya kira Anda tidak perlu referensi untuk itu.

Setahu saya, analisis Fourier telah digunakan dalam beberapa penyelidikan terkait teori belajar. Periksa makalah ini , misalnya.

Konsep bermacam-macam pembelajaran semakin populer, dan Anda dapat mulai melihat karya-karya Mikhail Belkin dan Partha Niyogi. Garis kerja ini membutuhkan pemahaman tentang berbagai konsep yang terkait dengan manifold dan geometri riemannian.

Ada aspek lain dari pembelajaran mesin, yang berakar lebih dalam ke statistik, yaitu, geometri informasi. Wilayah ini terkait dengan berbagai konsep geometri Riemannian, teori informasi, informasi Fisher, dll. Sepupu dari jenis penelitian ini dapat ditemukan dalam statistik Aljabar - yang merupakan bidang yang baru lahir dengan banyak potensi.

Sumio Watanabe, menyelidiki perbatasan yang berbeda, yaitu, keberadaan singularitas dalam model pembelajaran dan bagaimana menerapkan hasil resolusi yang dalam dari geometri aljabar untuk menjawab banyak pertanyaan. Hasil Watanabe mendapat banyak manfaat dari karya terkenal Heisuke Hironaka yang memenangkannya medali Fields.

Saya kira saya menghilangkan banyak area lain yang membutuhkan matematika yang relatif berat. Tetapi seperti yang ditunjukkan oleh Andrej, kebanyakan dari mereka mungkin tidak terletak di garis depan matematika, tetapi domain yang relatif lebih tua dan mapan.

Bagaimanapun, saya kira keadaan AI saat ini yang telah memasuki komputasi arus utama - seperti dalam sistem rekomendasi di Amazon, atau perpustakaan pembelajaran mesin yang ditemukan di Apache Mahout, tidak memerlukan matematika tingkat lanjut. Saya mungkin salah.

Tergantung pada definisi Anda tentang tingkat lanjut, dan jenis AI apa yang ingin Anda pelajari.

Banyak masalah dalam AI terbukti tidak dapat dipecahkan - solusi optimal untuk POMDP terbukti NP-Lengkap, solusi optimal untuk DEC-POMDP terbukti NEXP-Lengkap, dll. Jadi, jika tidak ada terobosan tak terduga dalam teori kompleksitas, semakin banyak yang tahu tentang algoritma aproksimasi dan dasar-dasar teoretis mereka, semakin baik. (Selain teori ukuran, dll, diperlukan untuk benar-benar memahami probabilitas Bayes yang mendasari model POMDP.)

Kecerdasan buatan multi-agen, khususnya, bersinggungan dengan teori permainan; jadi mengetahui teori permainan sangat membantu yang pada gilirannya tergantung pada topologi, teori ukuran, dll. Dan juga, banyak masalah dalam teori permainan tidak bisa diatasi. Beberapa bahkan sulit dilakukan di bawah perkiraan dan bahkan pemahaman ketika mungkin untuk menggunakan perkiraan mengambil banyak matematika untuk bekerja.

(Saya perhatikan bahwa ahli teori permainan telah menjalankan cukup bagus di bidang Ekonomi Nobel, selama beberapa tahun terakhir, dan itu sifatnya sangat matematis. Saya memprediksi dalam dua puluh tahun yang aneh, para ahli teori permainan algoritmik saat ini akan berada dalam kondisi yang hampir sama posisi.)

Matematika yang terlibat dalam AI tidak maju, dan diajarkan di tingkat sarjana. Pelatihan AI dan algoritma inferensiasi berada dalam domain Ilmu Komputer tingkat lanjut.

Ini sedikit permainan kata. Beberapa riwayat juga harus dimasukkan ketika meneliti AI.

Sebagai contoh, dalam nomenklatur saat ini, Deep Learning tampaknya menjadi kata kunci yang sedang tren di AI.

Deep Learning adalah apa yang dulu disebut sebagai Jaringan Syaraf Tiruan (JST) seperti model jaringan perceptron backpropagating Hinton (BACKPROP), dan sejenisnya.

Matematika yang terlibat dengan BACKPROP ANN (misalnya) pada dasarnya adalah kalkulus turunan untuk pelatihan, dan aljabar matriks untuk menyimpulkan.

Aspek baru dari Deep Learning adalah pemisahan fisik dari pelatihan dan algoritma penyimpulan. CPU masih digunakan untuk pelatihan, tetapi sekarang GPU digunakan untuk menyimpulkan.

Misalnya, matriks JST dilatih (dibobot) dengan kesalahan backpropagating menggunakan kalkulus derivatif korektif. Ini paling cocok untuk CPU, dan hanya harus dilakukan sekali per penyebaran JST.

JST kemudian digunakan dalam arsitektur GPU yang sangat paralel. Matematika inferensia maju melibatkan aljabar matriks intensif, yang dirancang untuk GPU.

Ini meningkatkan kinerja JST yang dikerahkan oleh beberapa urutan besarnya dibandingkan dengan penyebaran berbasis CPU sebelumnya, dan dapat ditingkatkan secara lebih efisien di sejumlah GPU khusus.

Perusahaan seperti Nvidia dan AMD sekarang memasarkan chipset GPU kelas atas sebagai Deep Learning Machines. Istilah GPU selalu sedikit keliru, karena mereka benar-benar tujuan umum Prosesor Paralel. Sebagai contoh, GPU juga kadang-kadang disebut sebagai Bitminers dalam aplikasi blockchain.

Jadi apa yang dulu sekarang baru. Matematika yang terlibat tidak berubah, hanya terminologi Ilmu Komputer (sebagian besar karena tekanan pemasaran).

Istilah AI selalu dianggap sedikit kuda hitam. Deep Learning sekarang adalah istilah yang benar secara politis, ramah pasar.

AI adalah bidang yang luar biasa luas dengan berbagai rute yang memungkinkan. Beberapa sangat matematis, beberapa hampir tidak menyentuh matematika. Yang lain sudah memberikan jawaban yang baik untuk pendekatan yang lebih matematis. Dari mata pelajaran yang Anda tunjukkan-

"Aljabar Linier, Probabilitas / Statistik, Kalkulus, Algoritma dan Logika Dasar"

-Anda pada dasarnya membutuhkan atau akan mendapat manfaat dari semuanya. Banyak pendekatan yang setidaknya sebagian langsung didasarkan pada probabilitas dan statistik - heuristik, jaringan saraf, algoritma genetika, logika fuzzy. Kalkulus sama bermanfaatnya - dalam AI atau dalam ilmu komputasi umum Anda akan menemukannya hampir di mana-mana. Aljabar linier adalah sesuatu yang pasti Anda butuhkan juga.

Dua mata pelajaran yang paling penting dari perspektif CS / AI adalah algoritma dan logika, algoritma adalah jantung sesungguhnya dari ilmu komputasi, dan logika adalah 'bahasa' algoritma yang mendasarinya. Kunci untuk mempelajari algoritma adalah mempelajari cara memprogram, kemahiran dan berlatih di pemrograman dasar adalah salah satu fondasi paling penting dari hampir semua mata pelajaran ilmu komputer atau AI. Pemrograman juga merupakan keterampilan bahwa universitas tidak selalu pandai mengajar. Logika juga sangat penting bagi sebagian besar cabang AI; Logika Boolean, predikat kalkulus, logika simbolik, teori permutasi yang mendasari, hierarki desain, rekursi, mesin negara terbatas, Mesin Turing, desain CPU, dll. Di sini kita benar-benar meninggalkan matematika ke dalam ilmu komputasi yang tepat.

Memperluas bidang saya sendiri 'AI Kuat' matematika memainkan peran yang mendasar tetapi benar-benar penting. Pemahaman yang sangat baik tentang matematika dasar mungkin lebih penting daripada matematika yang lebih tinggi, tetapi apa pun yang Anda ambil dapat bermanfaat. Masalah sebenarnya dalam bidang yang baru lahir seperti AI Kuat adalah bahwa semuanya ada di udara sehingga medan dalam fluks total.
Subjek yang berpotensi bermanfaat termasuk - jaringan saraf, algoritma genetika, neurologi, genetika, psikologi, cybernetics dan robotika, teori grafis 3D, teori pemrosesan gambar, desain game komputer, filsafat, teori seni, elektronik digital, teori linguistik .. Dalam bidang seperti membaca ini adalah salah satu cara terpenting untuk belajar. Beberapa buku yang menjadi titik awal bagi saya adalah - The Emperors New Mind oleh Roger Penrose, Eye and Brain oleh RL Gregory, tetapi wawasan yang sesungguhnya dapat datang dari hampir di mana saja