Apa yang terjadi sebelum pembelajaran PAC

Saya sedang menyelidiki pembelajaran PAC (teori pembelajaran komputasi) sebagai pemula tanpa pengetahuan sebelumnya tentang pembelajaran mesin / AI. Saya menyelidiki model ini terutama dari sudut pandang historis.

Untuk ini, hal yang paling penting tentu saja hasilnya berdasarkan model. Ada cukup banyak makalah di luar sana yang mendokumentasikan hasil ini. Tetapi saya juga ingin menulis sesuatu tentang apa yang terjadi sebelum pembelajaran PAC, seperti membuat sketsa konteks historis hingga ke mana Valiant datang dengan gagasan tentang model PAC.

Tidak ada makalah / survei yang saya temukan sejauh ini mendokumentasikan ini, dan sebagai seseorang tanpa pengetahuan nyata tentang pembelajaran mesin, sulit untuk menemukan ini. Karena itu saya mengajukan pertanyaan lunak ini di sini, karena saya percaya ada cukup banyak pakar yang dapat membantu saya dengan ini. Referensi sangat dihargai.

Ketika saya bisa meneliti dan mempelajari apa yang terjadi sebelum PAC, saya mungkin mendapatkan apresiasi yang lebih baik tentang mengapa dunia akademis begitu antusias dengan model PAC, yang juga merupakan sesuatu yang menarik untuk didokumentasikan dalam karya bersejarah saya!

Referensi sangat dihargai.

Seorang penulis diharapkan untuk menjawab pertanyaan tentang konteks dan relevansi hasil-hasilnya pada awal publikasi. Saya baru saja membaca sekilas pengenalan "L. Valiant. Sebuah teori yang dapat dipelajari. Komunikasi ACM, 27, 1984." lagi, dan menemukan bahwa Valiant memang mampu menjawab pertanyaan Anda dengan baik.

Kertas asli oleh Valiant tersedia secara bebas dan tidak terlalu sulit untuk dibaca. (Kecuali bagian 7, yang hanya membuktikan bahwa penulis juga dapat mengatasi masalah matematika yang menantang, tetapi tidak berkontribusi banyak pada konten sebenarnya dari makalah ini.) Membaca setidaknya pengantar akan lebih bermanfaat daripada membaca jawaban saya yang terlalu panjang untuk ini pertanyaan, jadi saya sarankan untuk benar-benar mencobanya.

Sisa dari jawaban ini mencoba mengutip beberapa bagian dari pendahuluan yang harus menunjukkan apakah membaca pendahuluan ini dapat menjawab pertanyaan tentang konteks historis. Namun perlu dicatat bahwa penulis memiliki hak prerogatif alami untuk menjadi bias sehubungan dengan pertanyaan tersebut.

... sistem seperti itu, setidaknya, akan menjadi awal yang sangat baik. Pertama, ketika seseorang meneliti contoh paling terkenal dari sistem yang mewujudkan pengetahuan yang telah diprogram, yaitu, sistem pakar seperti DENDRAL dan MYCIN , pada dasarnya tidak ada notasi logis di luar kalkulus proposisional yang digunakan.

Ini adalah informasi yang menarik untuk konteksnya, karena kalkulus proposisional secara signifikan lebih lemah daripada kalkulus predikatif atau berbagai sistem teori tipe yang kadang-kadang digunakan saat ini. (Anehnya, Prolog (1972) dan ML (1973) antara lain dimaksudkan sebagai meta-bahasa untuk sistem pakar "seperti", dan tampaknya melampaui logika proposisional sederhana sejauh yang saya bisa lihat. Juga, model relasional ( 1969) untuk manajemen basis data diklaim berdasarkan logika predikat.)

Mungkin penemuan teknis utama yang terkandung dalam makalah ini adalah bahwa dengan gagasan probabilistik tentang pembelajaran yang sangat konvergen ini dimungkinkan untuk seluruh kelas fungsi Boolean. Ini tampaknya membedakan pendekatan ini dari yang lebih tradisional di mana pembelajaran dipandang sebagai proses "mendorong" beberapa aturan umum dari informasi yang tidak cukup untuk deduksi yang dapat diandalkan untuk dibuat.

Saya setuju sepenuhnya di sini. Penting untuk dapat menjelaskan bagaimana solusi Anda dapat memecahkan masalah yang diberikan, dan dalam arti itu solusi. Jika tidak, Anda hanya berakhir dengan teorema "tidak bebas makan siang" yang tidak memungkinkan Anda untuk membedakan implementasi buggy dari heuristik yang meragukan dari implementasi yang benar dari heuristik yang tepat.

Singkatnya, makalah ini mencoba untuk mengeksplorasi batas-batas apa yang dapat dipelajari sebagaimana diizinkan oleh kompleksitas algoritmik. Hasilnya dapat dibedakan dari tubuh yang berbeda dari penelitian sebelumnya karena mereka berusaha untuk mendamaikan tiga sifat ((1) - (3)) yang disebutkan sebelumnya. Yang paling mendekati pendekatan kami adalah literatur inferensi induktif [...]. Ada banyak pekerjaan pada pengenalan pola dan klasifikasi, menggunakan alat statistik dan lainnya [...]. Belajar, dalam berbagai pengertian yang kurang formal, telah dipelajari secara luas sebagai cabang kecerdasan buatan.

Sifat-sifat ((1) - (3)) adalah bahwa (1) "mesin-mesin dapat secara nyata mempelajari seluruh kelas konsep yang dapat dikarakterisasi" yang (2) "sesuai dan tidak penting untuk pengetahuan tujuan umum" dan (3) "komputasi proses hanya membutuhkan sejumlah langkah yang layak (yaitu, jumlahnya banyak) ".

Identifikasi bahasa dalam batas adalah upaya pertama yang diketahui untuk menangkap gagasan kemampuan belajar. Ini diperkenalkan oleh Gold pada tahun 1967 dan merupakan model untuk inferensi induktif yang menyangkut pembelajaran kelas bahasa.