Apakah ada AI yang telah lulus tes MIST sejauh ini?

11

MIST adalah tes kuantitatif kemanusiaan, yang terdiri dari ~ 80 ribu proposisi seperti:

  • Apakah Bumi sebuah planet?
  • Apakah matahari lebih besar dari kakiku?
  • Apakah orang kadang berbohong?
  • dll.

Sudahkah AI mencoba dan lulus tes ini sampai saat ini?

kenorb
sumber

Jawaban:

8

Ya, meskipun seberapa bermanfaat AI ini bisa menjadi pertanyaan lain sepenuhnya.

mpgac adalah "AGI minimal cerdas" yang dilatih pada korpus pertanyaan MIST GAC-80K. Akibatnya, harus "minimal" lulus tes ini. Namun, dilatih pada corpus GAC-80K jelas membuatnya kurang untuk tujuan praktis. Dari README:

Jelas ini seharusnya hanya mampu menghasilkan sinyal cerdas minimal ketika pertanyaan akal sehat biasa diajukan, dari jenis yang digambarkan di atas, menggunakan pertanyaan yang masuk akal bagi manusia rata-rata antara tahun 2000 dan 2005. Tentang pengetahuan pakar atau urusan terkini terkait pertanyaan-pertanyaan itu seharusnya tampil tidak lebih baik daripada kebetulan.

Maksud dari mpgac adalah untuk membandingkannya dengan AI lain yang dapat dibangun untuk lulus tes ini. Atau seperti yang ditulis penulis dalam README:

Saat memindai langit, bagaimana kita dapat mengetahui apakah sinyal radio yang terdeteksi berasal dari sumber yang cerdas, atau hanya sekadar suara latar atau sensor?

Idealnya, Anda ingin membangun program yang "lebih baik" daripada mpgac. Dalam banyak cara yang sama seperti ELIZA dapat dilihat sebagai garis dasar untuk Tes Turing, mpgac adalah garis dasar untuk tes MIST.

Repo GitHub dari mpgac (serta GAC-80K corpus) tersedia di sini .

Kiri SE Pada 10_6_19
sumber
2

Saya percaya ini adalah jenis tes di mana pengendara sepeda Doug Lenat akan melakukannya dengan sangat baik? Tetapi saya tidak bisa menjawab pertanyaan: berapa banyak dari korpus yang bisa dijawab dengan benar? Mungkin cukup banyak! (dan berapa banyak manusia yang bisa lulus ujian itu? mungkin tidak semuanya, tetapi banyak yang bisa ...)

[Tapi apakah cyc dianggap sebagai AI? mungkin tidak ... jadi saya mungkin keluar dari topik. Tapi imo itu database harus dimasukkan ke AI apa pun yang mencapai semacam "kecerdasan" ...]

Olivier Dulac
sumber