Apa saja prasyarat matematika untuk peneliti AI?

12

Apa prasyarat matematika untuk memahami bagian inti dari algoritma dalam kecerdasan buatan dan mengembangkan algoritma sendiri?

Tolong, lihat saya buku-buku tertentu.

sbhusal123
sumber

Jawaban:

9

Yayasan Matematika yang bagus

Mulailah dengan memastikan kompetensi penuh dengan aljabar menengah dan beberapa dasar lain dari kalkulus dan matematika diskrit, termasuk terminologi dan konsep dasar dalam topik ini.

  • Seri tak terbatas
  • Bukti logis
  • Aljabar dan matriks linier
  • Geometri analitik, terutama perbedaan antara ekstrem lokal dan global (minima dan maksima), titik sadel, dan titik infleksi
  • Tetapkan teori
  • Kemungkinan
  • Statistik

Yayasan Sibernetika

Norbert Wiener, Cybernetics, 1948, MIT Press, berisi konsep deret waktu dan umpan balik dengan kejelasan dan perintah yang tidak terlihat dalam karya-karya berikutnya; itu juga berisi pengantar teori informasi yang dimulai dengan formula log 2 Shannon untuk menentukan jumlah informasi sedikit. Ini penting untuk memahami perluasan konsep entropi informasi.

Kalkulus

Temukan buku kalkulus yang bagus dan pastikan Anda memiliki kejelasan seputar teori kunci dan aplikasi dalam kategori ini.

  • Seri waktu
  • Seri tak terbatas
  • Konvergensi - Jaringan buatan idealnya bertemu secara optimal selama pembelajaran.
  • Diferensial parsial
  • Matriks Jacobian dan Hessian
  • Matematika multivarian
  • Wilayah batas
  • Matematika diskrit

Banyak dari itu ada di Calculus , Strang, MIT, Wellesley-Cambridge Press . Meskipun PDF tersedia di web, itu dasar dan tidak terlalu dalam. Yang ada di perpustakaan laboratorium kami adalah Kalkulus Menengah , Hurley, Holt Rinehart & Winston, 1980 . Ini komprehensif dan dalam beberapa hal ditata lebih baik daripada yang saya miliki di perpustakaan rumah saya, yang digunakan Princeton untuk mahasiswa tahun kedua.

Pastikan Anda nyaman bekerja di ruang di luar ℝ 2 (di luar 2D). Misalnya, RNNs sering berada dalam ruang seperti ℝ 4 thorugh ℝ 7 karena dimensi horizontal, vertikal, kedalaman piksel, dan bingkai bingkai film.

Matematika Terbatas

Sangat disayangkan bahwa tidak ada kombinasi dari ketiga buku yang dapat saya pikirkan memiliki semua ini.

  • Grafik terarah - Pelajari ini SEBELUM pohon atau sirkuit (jaring buatan) karena ini adalah topografi superset dari semua konfigurasi tersebut
  • Pohon simbol abstrak (ASTs)
  • Teori himpunan canggih
  • Pohon keputusan
  • Rantai Markov
  • Teori chaos (terutama perbedaan antara random dan pseudo-random)
  • Game Theory dimulai dengan Von Neumann dan Morgenstern's Game Theory , karya mani di bidang itu
  • Konvergensi dalam sistem diskrit terutama penerapan teori untuk memberi sinyal saturasi dalam bilangan bulat, titik tetap, atau aritmatika titik mengambang
  • Cara statistik, penyimpangan, korelasi, dan konsep entropi yang lebih progresif, entropi relatif, dan cross entropy
  • Kurva pas
  • Lilitan
  • Probabilitas terutama Teorema Bayes
  • Teori algoritma (teorema ketidakpastian Gödel dan kelengkapan Turing)

Kimia dan Neurologi

Adalah baik untuk mengingat keseimbangan kimia dari kimia sekolah menengah. Balance memainkan peran penting dalam desain AI yang lebih canggih. Memahami hubungan simbiotik antara model generatif dan diskriminatif dalam GAN akan membantu siswa memajukan pemahaman ini.

Fungsi kontrol dalam sistem biologis tetap menjadi sumber utama bukti konsep dalam penelitian kecerdasan buatan. Ketika para peneliti menjadi lebih kreatif dalam membayangkan bentuk-bentuk adaptasi yang tidak secara langsung meniru beberapa aspek biologi (masih jauh dari tulisan ini) kreativitas dapat memainkan peran yang lebih besar dalam perumusan tujuan penelitian AI.

Meski begitu, AI mungkin akan tetap sebagian besar bidang interdisipliner.

FauChristian
sumber
2
Beberapa komentar: 1) Saya setuju dengan apa yang ditulis John dalam jawabannya, bahwa jawabannya adalah tentang "inti" yang lebih umum, sedangkan jawaban Anda mencakup hal-hal yang mungkin berguna atau mungkin tidak tergantung pada area AI seseorang. 2) Banyak hal yang Anda gambarkan di bawah "matematika sekolah menengah" bukanlah (tentu saja) matematika sekolah menengah, paling tidak di Eropa (tidak tahu tentang AS). Di Belanda, saya tidak benar-benar mendapatkan Aljabar Linier, matriks, seri tak terbatas, atau teori set hingga tahun pertama saya di universitas. Beberapa dari mereka mungkin muncul lebih awal jika saya memilih serangkaian kursus yang berbeda di sekolah menengah.
Dennis Soemers
2
3) Analisis Fungsional / Teori Pengukuran mungkin berguna untuk dimasukkan dalam beberapa bidang. Tapi, sekali lagi, itu sangat tergantung pada seberapa dalam Anda ingin pergi sebagai peneliti AI. Beberapa peneliti AI pada sisi yang lebih teoretis akan menemukan bahwa hampir semua hal ini bermanfaat. Peneliti AI lainnya yang lebih banyak di sisi empiris / perangkat lunak / pemrograman perlu lebih banyak, apalagi. Keduanya masih bisa menghasilkan penelitian yang sangat berharga.
Dennis Soemers
7

Saya bekerja sebagai profesor, dan baru-baru ini merancang persyaratan matematika untuk jurusan AI baru, dalam konsultasi dengan banyak rekan saya di lembaga lain.

Jawaban lain, terutama @ FauChrisian melakukan pekerjaan yang baik dalam membuat katalog semua topik spesifik yang mungkin berguna di suatu tempat di AI, tetapi tidak semuanya sama-sama berguna untuk memahami topik inti. Dalam kasus lain, memahami topik pada dasarnya sama dengan memahami algoritma AI terkait, jadi kami biasanya hanya mengajarkannya bersama alih-alih mengasumsikan pengetahuan prasyarat. Misalnya, proses Pengambilan Keputusan Markov tidak sulit untuk diajarkan kepada seseorang yang sudah mengetahui dasar-dasar teori dan probabilitas grafik, jadi kita biasanya hanya membahasnya ketika kita mengajarkan pembelajaran penguatan dalam kursus AI, bukan sebagai topik terpisah dalam matematika. tentu saja

Persyaratan matematika yang kami setujui terlihat seperti:

  • Kursus satu atau dua semester dalam matematika diskrit. Ini adalah untuk membangun kenyamanan dengan bukti dan ketelitian matematis seperti halnya dengan topik tertentu di daerah tersebut. Ini sebagian besar hanya pengetahuan "dasar", tetapi sedikit dari itu ternyata sangat berguna. Kenyamanan dengan penjumlahan tak terbatas, dasar-dasar grafik, kombinatorik, dan analisis asimptotik mungkin merupakan bagian yang paling langsung berlaku. Saya suka buku Susanna Epp .

    • Kursus satu atau dua semester dalam aljabar linier, yang berguna untuk beragam topik dalam AI, terutama pembelajaran mesin dan penambangan data. Lay & Lay adalah buku yang oke, tapi mungkin bukan yang terbaik. Shilov adalah rekomendasi dari Ian Goodfellow dan yang lainnya, tetapi saya belum mencobanya sendiri.

    • Kursus dalam probabilitas, dan mungkin kursus modern dalam statistik (yaitu dengan fokus Bayesian). Kursus yang lebih tua dalam statistik, atau yang menargetkan ilmuwan sosial, tidak terlalu berguna. Rekan ahli statistik saya menggunakan Lock5 sekarang, dan memiliki pengalaman yang baik dengannya.

    • Setidaknya diferensial dan integral kalkulus, dan lebih disukai setidaknya turunan parsial dalam vektor kalkulus, tapi mungkin keseluruhan saja. Ini berguna dalam optimasi, pembelajaran mesin, dan pendekatan berbasis ekonomi untuk AI. Stewart adalah buku teks yang paling umum. Ini komprehensif, dan dapat digunakan untuk ketiga kursus, tetapi penjelasannya tidak selalu yang terbaik. Saya masih merekomendasikannya.

Itulah topik inti. Jika Anda juga tidak memiliki latar belakang tradisional dalam pemrograman, maka kursus dalam teori grafik dan dasar-dasar kompleksitas asimptotik atau desain dan analisis algoritma mungkin merupakan suplemen yang baik. Biasanya AI'ers berasal dari latar belakang ilmu komputer standar, yang mencakup semua hal itu dengan sangat baik.

John Doucette
sumber
1
@ Fu christian Saya pikir kami telah mencantumkan topik yang sama: Kalkulus dan matematika terbatas pasti. Kami berdua berpikir Anda harus mengikuti beberapa kelas di masing-masing kelas. Saya mencantumkan statistik & probabilitas. Saya pikir jika Anda ingin melakukan pekerjaan modern di AI, Anda tidak akan jauh tanpa itu. Anda mencantumkan kimia & ilmu saraf. Saya pikir beberapa AI'ers akan menganggap itu sebagai topik yang perlu. Tentu saja, Anda dapat melewati semua Russell & Norvig tanpa itu. Jika Anda ingin bekerja dalam ilmu saraf komputasi (bukan pembelajaran mendalam), mungkin akan membantu. Saya juga ragu Anda perlu 16 tahun untuk berkontribusi. 5-6 pasti.
John Doucette
1
@ Fu christian Itu semua benar. Saya cenderung berpikir bahwa jika Anda ingin melakukan penelitian di sebagian besar laboratorium AI modern, Anda masih perlu probabilitas (setidaknya setengah dari pekerjaan AI modern adalah dalam beberapa jenis pembelajaran mesin, dan sebagian besar dari itu dalam pembelajaran mendalam) . Secara umum, mahasiswa pascasarjana melakukan penelitian. Sebagian besar dari mereka melakukan penelitian setelah hanya 1-2 tahun lulus sekolah. Beberapa di antaranya bahkan cukup bagus. Orang-orang ini hanya memiliki 4-6 tahun pendidikan formal dalam subjek, paling banyak. Lebih dari itu mungkin membuat Anda lebih cepat atau lebih dalam, tetapi potensi penelitian dimulai di sekitar sana.
John Doucette
3

Sejauh menyangkut algoritma sederhana seperti Gradient Descent, Anda perlu memiliki pemahaman yang baik tentang turunan parsial. Terutama jika Anda ingin menerapkan jaringan saraf. Juga sebagian besar algoritma di-vektor-kan untuk meningkatkan kecepatan komputasi dan karenanya Anda harus nyaman dengan matematika matriks. Ini melibatkan menjadi sangat cepat dan nyaman dengan dimensi matriks, dimensi produk, penggandaan matriks, transpos dan sebagainya. Sangat jarang, Anda mungkin menggunakan kalkulus matriks untuk langsung sampai pada solusi optimal, jadi beberapa hasil dari bidang ini harus dilakukan. Selanjutnya, Anda perlu memahami beberapa analisis fungsi. ini diperlukan untuk mendapatkan intuisi tentang apa fungsi aktivasi seperti sigmoid dan tanh, log lakukan. Pemahaman tentang probabilitas dan harapan juga sangat berguna. Anda juga harus jelas dengan vektor ortogonal dan produk dalam.

Yang sedang berkata, saya akan menyarankan Anda memahami dasar kalkulus dan operasi matriks dan mencoba belajar konsep AI. Jika Anda tidak dapat menemukan sesuatu, jelajahi matematika.

Catatan: sekali lagi ini hanya untuk memulai.

pranav
sumber