Apa kelemahan dalam kerangka AI Jeff Hawkins?

Pada 2004, Jeff Hawkins , penemu pilot kelapa sawit, menerbitkan buku yang sangat menarik berjudul On Intelligence , di mana ia merinci sebuah teori tentang cara kerja neokorteks manusia.

Teori ini disebut kerangka Memori-Prediksi dan memiliki beberapa fitur yang mencolok, misalnya tidak hanya dari bawah ke atas (feedforward), tetapi juga pemrosesan informasi dari atas ke bawah dan kemampuan untuk membuat secara simultan, tetapi prediksi terpisah dari berbagai skenario masa depan (seperti yang dijelaskan dalam tulisan ini ).

Janji kerangka Memori-Prediksi adalah generasi yang tidak diawasi, representasi tingkat tinggi yang stabil dari kemungkinan masa depan. Sesuatu yang akan merevolusi mungkin sejumlah besar bidang penelitian AI.

Hawkins mendirikan perusahaan dan melanjutkan untuk mengimplementasikan ide-idenya. Sayangnya lebih dari sepuluh tahun kemudian janji idenya masih belum terpenuhi. Sejauh ini implementasinya hanya digunakan untuk deteksi anomali, yang merupakan kebalikan dari apa yang benar-benar ingin Anda lakukan. Alih-alih mengekstraksi pemahaman, Anda akan mengekstraksi contoh-contoh yang tidak dimengerti oleh korteks buatan Anda.

Pertanyaan saya adalah bagaimana kerangka kerja Hawkins gagal. Apa masalah konkret atau konseptual yang sejauh ini mencegah teorinya bekerja dalam praktik?

Jawaban singkatnya adalah bahwa visi Hawkins belum diimplementasikan dengan cara yang dapat diakses secara luas, khususnya bagian-bagian yang sangat diperlukan terkait dengan prediksi.

Jawaban panjangnya adalah bahwa saya membaca buku Hawkins beberapa tahun yang lalu dan sangat senang dengan kemungkinan Hierarchical Temporal Memory (HTM). Saya masih begitu, terlepas dari kenyataan bahwa saya memiliki beberapa keraguan tentang beberapa pemikiran filosofisnya tentang makna kesadaran, kehendak bebas dan topik-topik lain semacam itu. Saya tidak akan menguraikan keresahan itu di sini karena mereka tidak cocok dengan alasan utama, mengapa jaring HTM belum berhasil sebanyak yang diharapkan sampai saat ini: setahu saya, Numenta hanya menerapkan versi terputus dari visinya. Mereka meninggalkan sebagian besar arsitektur prediksi, yang memainkan peran sangat penting dalam teori Hawkins. Seperti yang dikatakan Gerod M. Bonhoff dalam tesis 1 yang sangat baik tentang HTM,

Keputusan desain paling penting yang diadopsi Numenta adalah untuk menghilangkan umpan balik dalam hierarki dan bukannya memilih untuk mensimulasikan konsep teoretis ini dengan menggunakan hanya algoritma pengumpulan data untuk pembobotan. Keputusan ini segera dicurigai dan melanggar konsep-konsep kunci HTM. Umpan balik, Hawkins menegaskan, sangat penting untuk fungsi kortikal dan pusat teori-teorinya. Namun, Numenta mengklaim bahwa sebagian besar masalah yang berlaku HTM dapat diselesaikan dengan menggunakan implementasinya dan algoritma kepemilikan gabungan. "

Saya masih belajar tali di bidang ini dan tidak bisa mengatakan apakah Numenta sejak itu membatalkan pendekatan ini demi implementasi penuh ide-ide Hawkins, terutama arsitektur prediksi yang sangat penting. Bahkan jika mereka memilikinya, keputusan desain ini mungkin telah menunda adopsi selama bertahun-tahun. Itu bukan kritik per se; mungkin biaya komputasi untuk melacak nilai-nilai prediksi dan memperbaruinya dengan cepat terlalu berat untuk ditanggung pada saat itu, di atas biaya biasa pemrosesan jaring saraf, membuat mereka tidak memiliki jalur lain kecuali mencoba setengah-setengah seperti penyatuan kepemilikan mereka. mekanisme. Namun demikian, semua makalah penelitian terbaik yang pernah saya baca tentang topik tersebut sejak itu telah memilih untuk mengimplementasikan kembali algoritma daripada mengandalkan platform Numenta, biasanya karena fitur prediksi yang hilang.Laporan teknis Maltoni untuk Laboratorium Sistem Biometrik Universitas Bologna 2 . Namun, dalam semua kasus tersebut, tidak ada perangkat lunak yang dapat diakses untuk menempatkan varian HTM mereka untuk segera digunakan (sejauh yang saya tahu). Inti dari semua ini adalah bahwa seperti pepatah terkenal GK Chesterton tentang Kekristenan, "HTM belum diadili dan ditemukan kekurangan; mereka telah ditemukan sulit, dan dibiarkan tidak dicoba." Karena Numenta mengabaikan langkah-langkah prediksi, saya berasumsi bahwa itu akan menjadi batu sandungan utama menunggu siapa pun yang ingin mengkodekan visi penuh Hawkins tentang apa seharusnya HTM.

1 Bonhoff, Gerod M., 2008, Menggunakan Hierarchical Temporal Memory untuk Mendeteksi Aktivitas Jaringan Anomali. Dipersembahkan pada bulan Maret 2008 di Institut Teknologi Angkatan Udara, Pangkalan Angkatan Udara Wright-Patterson, Ohio.

2 Maltoni, Davide, 2011, Pengenalan Pola oleh Hierarchical Temporal Memory. DEIS Technical Report diterbitkan 13 April 2011. Laboratorium Sistem Biometrik Universitas Bologna: Bologna, Italia.

10 tahun siap produksi?

Mari kita letakkan itu dalam perspektif. Perceptron diperkenalkan pada tahun 1957. Itu tidak benar-benar bahkan mulai berbunga sebagai model yang dapat digunakan sampai rilis buku-buku PDP pada tahun 1986. Bagi mereka yang membuat skor: 29 tahun.

Dari buku-buku PDP, kami tidak melihat yang diuraikan sebagai jaringan mendalam yang dapat digunakan sampai dekade terakhir. Jika Anda mengambil tugas pengenalan kucing Andrew Ng dan Jeff Dean sebagai acara pendefinisian jaringan dalam pada tahun 2012. Diperkirakan lebih dari 25 tahun siap untuk produksi.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning