Geometri dan AI

Matriks, kubus, lapisan, tumpukan, dan hierarki adalah apa yang secara akurat dapat kita sebut topologi . Pertimbangkan topologi dalam konteks ini desain geometris tingkat yang lebih tinggi dari sistem pembelajaran.

Seiring meningkatnya kompleksitas, sering berguna untuk merepresentasikan topologi ini sebagai struktur grafik yang diarahkan. State diagram dan karya Markov tentang teori permainan adalah dua tempat di mana grafik berarah umum digunakan. Grafik yang diarahkan memiliki simpul (sering divisualisasikan sebagai bentuk tertutup) dan ujungnya sering divisualisasikan sebagai panah yang menghubungkan bentuk.

Kita juga dapat mewakili GAN sebagai grafik terarah, di mana output dari masing-masing jaringan mendorong pelatihan yang lain dengan cara yang berlawanan. GAN menyerupai strip Möbius secara topologi.

Kami tidak dapat menemukan desain dan arsitektur baru tanpa memahami tidak hanya matematika tentang konvergensi pada solusi optimal atau pelacakan tetapi juga topologi koneksi jaringan yang dapat mendukung konvergensi tersebut. Ini seperti pertama mengembangkan prosesor sambil membayangkan apa yang dibutuhkan sistem operasi sebelum menulis sistem operasi.

Untuk melihat topologi apa yang belum kita pertimbangkan, mari kita lihat yang mana.

Langkah Satu - Ekstrusi dalam Dimensi Kedua

Pada 1980-an, kesuksesan dicapai dengan perluasan desain perceptron asli. Peneliti menambahkan dimensi kedua untuk membuat jaringan saraf multi-layered. Konvergensi yang wajar dicapai melalui propagasi balik dari gradien fungsi kesalahan melalui gradien fungsi aktivasi yang dilemahkan oleh tingkat pembelajaran dan dibasahi dengan meta-parameter lainnya.

Langkah Dua - Menambahkan Dimensi ke Sinyal Input Diskrit

Kita melihat kemunculan jaringan konvolusional berdasarkan teknik konvolusi gambar yang disetel secara manual yang sudah ada, memperkenalkan dimensi pada input jaringan: Posisi vertikal, komponen warna, dan bingkai. Dimensi terakhir ini sangat penting untuk CGI, penggantian wajah, dan teknik morfologis lainnya dalam pembuatan film kontemporer. Tanpa itu, kami memiliki generasi gambar, kategorisasi, dan penghapusan noise.

Langkah Tiga - Tumpukan Jaringan

Kita melihat tumpukan jaring saraf muncul di akhir 1990-an, di mana pelatihan satu jaringan diawasi oleh yang lain. Ini adalah pengenalan lapisan konseptual, baik dalam arti lapisan berurutan neuron maupun dalam arti lapisan warna dalam gambar. Layering jenis ini juga bukan rekursi. Ini lebih seperti dunia alami di mana satu struktur adalah organ di dalam jenis struktur yang sama sekali berbeda.

Langkah Empat - Hierarki Jaringan

Kami melihat hierarki jaring saraf sering muncul dalam penelitian yang muncul pada tahun 2000-an dan awal 2010-an (Laplacian dan lainnya), yang melanjutkan interaksi antara jaring saraf dan melanjutkan analogi otak mamalia. Kita sekarang melihat struktur-meta, di mana seluruh jaringan menjadi simpul dalam grafik berarah yang mewakili topologi.

Langkah Lima% mdash; Keberangkatan dari Orientasi Cartesian

Non-Cartesian secara sistematis mengulangi pengaturan sel dan koneksi di antara mereka telah mulai muncul dalam literatur. Misalnya, Gauge Konvolusional Equivariant Networks dan Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) meneliti penggunaan pengaturan berdasarkan icosahedron biasa cembung.

Meringkas

Layers memiliki nilai fungsi aktivasi untuk verteks dan matriks atenuasi yang dipetakan ke set lengkap tepi terarah antara lapisan yang berdekatan [1]. Lapisan konvolusi gambar seringkali dalam susunan verteks dua dimensi dengan kubus atenuasi yang dipetakan ke himpunan tepi terarah antara lapisan yang berdekatan [2]. Tumpukan memiliki seluruh jaring berlapis sebagai simpul dalam meta-diarahkan-grafik, dan meta-simpul tersebut terhubung secara berurutan dengan masing-masing sisi baik sebagai meta-parameter pelatihan, sinyal penguatan (umpan balik waktu nyata), atau kontrol pembelajaran lainnya . Hierarki jaring mencerminkan gagasan bahwa banyak kontrol dapat digabungkan dan mengarahkan pembelajaran tingkat rendah, atau flip case di mana beberapa elemen pembelajaran dapat dikontrol oleh satu jaringan pengawas tingkat yang lebih tinggi.

Analisis Tren Topologi Pembelajaran

Kita dapat menganalisis tren dalam arsitektur pembelajaran mesin. Kami memiliki tiga tren topologi.

• Kedalaman dalam dimensi kausalitas - Layers ke pemrosesan sinyal di mana output dari satu lapisan aktivasi diumpankan melalui matriks parameter pelemahan (bobot) ke input dari lapisan berikutnya. Ketika kontrol yang lebih besar dibuat, hanya dimulai dengan penurunan gradien dasar di propatagion belakang, kedalaman yang lebih besar dapat dicapai.

• Dimensi sinyal input - Dari input skalar ke hypercubes (video memiliki kedalaman horizontal, vertikal, kedalaman warna termasuk transparansi, dan bingkai - Perhatikan bahwa ini tidak sama dengan jumlah input dalam arti perceptron.

• Perkembangan topologis - Dua di atas bersifat Kartesius. Dimensi ditambahkan pada sudut kanan ke dimensi yang ada. Karena jaringan ditransfer dalam hierarki (seperti dalam Hierarki Laplacian) dan Möbius strip seperti lingkaran (seperti dalam GAN), tren topografis dan paling baik diwakili oleh grafik yang diarahkan di mana simpul bukan neuron tetapi jaringan yang lebih kecil dari mereka.

Topologi apa yang Hilang?

Bagian ini memperluas arti dari pertanyaan judul.

• Adakah alasan mengapa banyak meta-simpul, masing-masing mewakili jaringan syaraf, dapat diatur sedemikian rupa sehingga beberapa meta-simpul pengawas dapat, bersama-sama, mengawasi banyak meta-simpul karyawan?
• Mengapa propagasi balik dari sinyal kesalahan adalah satu-satunya yang tidak setara dengan umpan balik negatif?
• Tidak bisakah kolaborasi antara meta-vertex daripada pengawasan digunakan, di mana ada dua sisi timbal balik yang mewakili kontrol?
• Karena jaring saraf digunakan terutama untuk mempelajari fenomena nonlinier, mengapa melarang jenis jalur tertutup lainnya dalam desain jaring atau interkoneksinya?
• Apakah ada alasan mengapa suara tidak dapat ditambahkan ke gambar sehingga klip video dapat dikategorikan secara otomatis? Jika demikian, apakah skenario merupakan ekstraksi fitur yang mungkin dari sebuah film dan dapatkah arsitektur permusuhan digunakan untuk menghasilkan skenario dan menghasilkan film tanpa sistem studio film? Seperti apa rupa topologi itu sebagai grafik berarah?
• Meskipun sel-sel yang disusun secara ortogonal dapat mensimulasikan pengaturan pengepakan reguler dari simpul dan tepi non-ortogonal, apakah efisien untuk melakukannya dalam penglihatan komputer di mana kemiringan kamera selain plus atau minus 90 derajat adalah umum?
• Apakah efisien untuk mengatur sel individu dalam jaringan atau jaringan sel dalam sistem AI secara orthogonal dalam sistem pembelajaran yang ditujukan untuk pemahaman dan perakitan bahasa alami atau kognisi buatan?

Catatan

1. Sel buatan dalam MLP menggunakan fungsi transfer aritmatika mengambang atau tetap daripada transmisi pulsa elektro-kimia berdasarkan ambang berbasis amplitudo dan kedekatan. Mereka bukan simulasi neuron yang realistis, sehingga menyebut simpul neuron akan keliru untuk analisis semacam ini.

2. Korelasi fitur gambar dan perubahan relatif antara piksel dalam jarak dekat jauh lebih tinggi daripada piksel jauh.

Topologi adalah studi tentang bentuk-bentuk geometris yang dibedakan oleh persimpangan dan bifurkasi. Istilah arsitektur grafis digunakan untuk aspek jaringan. Sangatlah tepat untuk menggunakannya untuk mempertimbangkan perluasan analogi jaringan saraf, dengan pemahaman bahwa JST tidak banyak seperti neuron biologis dalam cara mereka mengaktifkan. Karena itu, sulit untuk membatasi diskusi dengan masalah topologi ketika mempertimbangkan apa yang sebagian besar belum dijelajahi.

Paradigma karyawan pengawas adalah apa yang tumpukan dan hierarki Laplacian gunakan, sedangkan paradigma kolaborator adalah apa yang digunakan jaringan permusuhan. Meskipun umpan baliknya negatif, model generatif (G) dan model diskriminatif (D) sebenarnya berkolaborasi untuk mencapai tujuan, karena advokat iblis digunakan dalam wacana untuk menyatukan kebenaran. Tentu saja desain lain di mana simpul bukan neuron buatan tetapi seluruh elemen JST atau CNN akan datang.

Paradigma guru-siswa dan pengawas-karyawan mungkin hanya dua dari banyak. Untuk mensimulasikan plastisitas saraf, paradigma-tukang kebun, tukang-perbaikan-alat, dan paradigma-produk-insinyur perlu diselidiki.

Perbanyakan kembali sinyal kesalahan bukan satu-satunya yang setara non-linear dari umpan balik negatif. Topologi sirkular GAN juga merupakan umpan balik negatif, seperti yang Anda tunjukkan dalam penggunaan analogi strip Möbius. Seharusnya ada lebih banyak pemikiran di sepanjang garis itu.

Kolaborasi antara meta-simpul menarik. Haruskah kolaborasi dari tipe musuh yang dipura-pura? Bisakah umpan balik positif berguna dalam topologi kecerdasan buatan? Pemilik pertanian dan supir truk pendistribusian makanan membeli makanan di supermarket yang berada di ujung rantai proses yang perannya hanya sebagian. Siklus yang lebih besar dalam representasi grafik terarah topologi dan desain mungkin dapat menggunakan umpan balik positif atau negatif dengan bermanfaat.

Produksi buatan dari gambar bergerak mungkin keluar dari penelitian seperti karya Cornell U pada Video Generation From Text - Li, Min, Shen, Carlson, dan Carin .

Edge of Chaos and Machine Learning; dan Manfaat dalam Pengambilan Keputusan

Jawaban Langsung untuk Pertanyaan Anda : -

Edge of Chaos

Penjelasan orang awam : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

Apa Jawaban Tentang Ini : -

The Edge of Chaos dalam teori chaos mungkin menjadi topik penelitian penting dalam kecerdasan buatan.

Apa tepi kekacauan? Bidang ini dihipotesiskan ada dalam berbagai sistem. Ini memiliki banyak aplikasi di bidang tersebut. Bidang ini adalah zona transisi antara interaksi antara keteraturan dan gangguan.

Saya tertarik pada persimpangan antara AI dan teori chaos. Tepi kekacauan berfungsi sebagai topologi potensial yang sebagian besar belum dijelajahi dalam pembelajaran mesin.

Ini adalah bidang kaya yang menawarkan banyak potensi. Ini, keduanya, sebagian besar tidak diketahui dan di bawah perkiraan.

Saya akan mengeksplorasi manfaat menganalisis bidang seperti itu dalam jawaban ini. Manfaat muncul dalam pengambilan keputusan, seperti cara optimal untuk berinvestasi dan mengelola tenaga kerja dalam suatu organisasi.

Penjelasan Teknis : -

"Matriks, kubus, lapisan, tumpukan, dan hierarki adalah apa yang secara akurat dapat kita sebut topologi. Pertimbangkan topologi dalam konteks ini desain geometris tingkat yang lebih tinggi dari sistem pembelajaran." ~ Douglas Daseeco, Poster Pembukaan

Bandingkan dengan ekstrak ini dari abstrak makalah di bawah ini: -

"... Melalui analisis stabilitas dinamis pada berbagai model visi komputer, kami menemukan bukti langsung bahwa kinerja jaringan saraf dalam optimal terjadi di dekat titik transisi yang memisahkan penarik stabil dan kacau. ..." Feng, Ling, dan Choy Heng Lai. - "Kecerdasan Mesin Optimal Dekat Tepi Kekacauan." arXiv preprint arXiv: 1909.05176 (2019).

-

"Tepi kekacauan adalah ruang transisi antara keteraturan dan gangguan yang dihipotesiskan ada dalam beragam sistem. Zona transisi ini adalah wilayah ketidakstabilan terbatas yang menghasilkan interaksi dinamis konstan antara keteraturan dan gangguan.

Meskipun gagasan tepi kekacauan adalah abstrak dan tidak intuitif, ia memiliki banyak aplikasi dalam bidang-bidang seperti ekologi, manajemen bisnis, psikologi, ilmu politik, dan domain lain dari ilmu sosial. Fisikawan telah menunjukkan bahwa adaptasi ke tepi kekacauan terjadi di hampir semua sistem dengan umpan balik. "Kontributor Wikipedia." - "Tepi kekacauan." Wikipedia, Ensiklopedia Gratis . Wikipedia, Ensiklopedia Gratis, 10 Sep 2019. Web. 22 Sep 2019.

Manfaat Dari Mempelajari Bidang Itu : -

"[...] Strategi, protokol, tim, departemen, hierarki. Semua diatur dengan cermat untuk kinerja yang optimal.

Atau setidaknya, begitulah seharusnya. Tetapi ketika kita menerapkan lensa kompleksitas theory untuk bisnis yang kita lakukan, kita melihat hal-hal yang agak lebih kompleks. Kami tidak lagi memandang organisasi sebagai organisasi, atau departemen sebagai departemen, tetapi sebagai sistem adaptif yang kompleks, yang paling membantu dipahami dalam tiga bagian:

PEKERJAAN

Menggunakan model mental untuk membuat keputusan yang lebih baik di tempat kerja Kehidupan profesional dipenuhi dengan pilihan yang sulit. Apakah saya siap untuk promosi ini? Manakah dari manajer saya yang harus saya pilih sebagai mentor? Apa yang harus saya makan saat makan siang? Tidak ada metode yang sangat mudah untuk secara konsisten mengambil tindakan terbaik — bahkan yang terbaik dari kita membuat kesalahan — tetapi, dengan alat yang tepat, adalah mungkin untuk memaksimalkan peluang keberhasilan.

Pertama, karyawan (dalam kompleksitas berbicara: agen heterogen). Setiap karyawan memiliki aturan keputusan yang berbeda dan berkembang yang mencerminkan lingkungan dan upaya mengantisipasi perubahan di dalamnya. Kedua, karyawan berinteraksi satu sama lain, dan struktur yang diciptakan oleh interaksi ini - para ilmuwan menyebutnya kemunculan ini. Terakhir, struktur menyeluruh yang muncul, berperilaku seperti sistem tingkat yang lebih tinggi dengan sifat dan karakteristik yang berbeda dari agen-agen yang mendasarinya. Bagian terakhir ini adalah alasan kita sering mengatakan 'keseluruhan lebih besar daripada jumlah bagian-bagiannya'.

Mengingat keinginan manajer untuk kontrol, kompleksitas jauh dari kenyataan yang nyaman. Alih-alih menghadapi kenyataan brutal dari sistem yang sedang mereka upayakan untuk bertahan, para manajer sering kali bekerja di gundukan, menciptakan model dan mekanisme yang memaksakan veneer kepastian. Dengan demikian, mereka membantu diri mereka sendiri dan kolega mereka untuk membuat keputusan dengan variabel yang lebih sedikit. Memenuhi tujuan yang ditetapkan oleh model-model ini menghasilkan bukti keberhasilan - tetapi ini adalah keberhasilan yang disederhanakan yang mungkin tidak dalam kepentingan terbaik sistem secara keseluruhan.

Misalnya, menempatkan prioritas kaku pada memaksimalkan pengembalian pemegang saham membuat hal-hal yang jelas bagi para pekerja: dalam kasus tradeoff yang sulit, opsi yang cocok dengan keuntungan langsung adalah pilihan yang lebih disukai. Tetapi, tentu saja, kita semua sadar bahwa mengurangi pengeluaran dan investasi untuk meningkatkan margin jangka pendek dapat merusak kesehatan jangka panjang perusahaan. Hanya dengan merangkul kompleksitas, kita dapat secara efektif menyeimbangkan nilai dan prioritas yang bersaing (dan dampak keputusan terhadap semuanya). [...] "- Fresno, Blanca González del." Pesan dari Chaos: Cara Mendaftar Teori Kompleksitas di Tempat Kerja: BBVA. " BERITA BBVA , BBVA, 4 Des 2017, < www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.

Bacaan lebih lanjut : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-artificial-intelligence-in-the-future-operating-environment/ )
• ( https://scitechdaily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https://www.technologyreview.com/s/602234/how-the-mathematics-of-algebraic-topology-is-revolutionizing-brain-science/ )

Sumber dan Referensi : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self-organized_criticality )

Ini mungkin di luar topik. Jika demikian, hapus.

Dalam sirkuit elektronik kami memiliki blok logis - generator, pemicu, sel memori, penyeleksi, alus, fpus, bus dan banyak chip lainnya. Dan dari sini kita memiliki komputer, dan dari tingkat selanjutnya kita memiliki jaringan komputer ...

Untuk pembelajaran mesin, kita harus memiliki organisasi yang serupa, tetapi jika kita memiliki komputer 64-bit, jaringan saraf kita mungkin memiliki input / output yang lebih kompleks DAN fungsi yang lebih logis daripada yang didefinisikan dalam bahasa pemrograman apa pun.

Jadi, untuk bit input X kita memiliki X ^ (2 ^ 2) menyatakan untuk satu bit output, dan 2 ^ X bit untuk pilihan fungsi logis yang diperlukan.

Jadi, kita harus secara konsisten mempelajari fungsi-fungsi ini, menyoroti yang diperlukan, sebagai filter pembuka pertama seperti untuk contoh.