Apakah 'Eugene Goostman' benar-benar lulus ujian Turing?

18

Dikatakan bahwa 'Eugene Goostman', sebuah program komputer yang dikembangkan untuk mensimulasikan seorang bocah lelaki berusia 13 tahun, berhasil meyakinkan 33 persen hakim bahwa itu adalah manusia, dan dengan demikian lulus dari Tes Turing.

Program komputer, alias obrolan, berpura-pura menjadi bocah lelaki Ukrania berusia 13 tahun yang bahasa Inggrisnya adalah bahasa kedua - sesuatu yang memang sangat berbeda.

Bagi saya, Eugene terdengar persis seperti obrolan biasa-biasa saja harus: berulang, tidak masuk akal, dan dikotori dengan non-sequitur. Saya tidak tahu bagaimana itu meyakinkan para hakim (yang tampaknya tidak profesional).

Banyak orang mengkritik Eugene seperti Prof Stevan Harnad yang mengatakan "Ini omong kosong" dan "Kami belum lulus tes Turing. Kami bahkan tidak dekat."

Pendapat berbeda, tetapi saya benar-benar ingin tahu apakah secara resmi lulus ujian?

Juga dikatakan bahwa:

Dua hadiah sekali saja yang tidak pernah diberikan. 25K ditawarkan untuk obrolan pertama yang tidak dapat dibedakan oleh hakim dari manusia asli dan yang dapat meyakinkan hakim bahwa manusia adalah program komputer. $ 100.000 adalah hadiah untuk obrolan pertama yang hakim tidak dapat bedakan dari manusia nyata dalam tes Turing yang mencakup penguraian dan pemahaman teks, visual, dan input pendengaran. Setelah ini tercapai, kompetisi tahunan akan berakhir.

Apakah itu berarti Eugene memenangkan $ 25.000?

George Chalhoub
sumber
2
Sangat penting bagi hakim untuk mengetahui bahwa mereka berada dalam situasi tersebut.
Thorbjørn Ravn Andersen
3
2/3 dari hakim berpikir bahwa 'bot ini bukan manusia. Bagi saya yang mengatakan bahwa sifat artifisial dari interaksi ini jelas lebih dari mayoritas hakim. Saya akan menyebutnya gagal jelas. (Dan bahkan jika "Eugene" "menang" - bagaimana orang tiruan mengumpulkan uang nyata? BitCoin? :-)
Bob Jarvis - Reinstate Monica
Bisakah Anda memberikan contoh percakapan? Saya berinteraksi dengan Ukraina setiap hari dan cara mereka berbicara bahasa Inggris mudah dikenali.
Stephan Bijzitter

Jawaban:

18

Tidak ada "tes Turing resmi" sehingga tidak ada konsep "lulus tes resmi". Turing mendeskripsikan metodologi yang bisa digunakan untuk mengevaluasi kecerdasan buatan. Panitia acara yang dimenangkan Eugene Goostman menerapkan metodologi itu dengan cara tertentu dan program memenuhi kriteria yang dipilih panitia. Dalam arti itu, ia lulus ujian.

Karena tidak ada "Turing test resmi", mungkin akan lebih tepat untuk mengatakan bahwa Eugene Goostman melewati sebuah tes Turing atau bahkan lulus tes Turing-gaya. Ini tidak mungkin bahwa media akan menangkap kehalusan tersebut, terutama mengingat ketenaran Turing dan gagasan " the tes Turing" di hati nurani publik.

David Richerby
sumber
3
Selain itu, Eugene Goostman akan menjadi sampah di permainan imitasi asli Turing ;-)
Steve Jessop
9

Saya pikir hadiah yang Anda maksudkan adalah Hadiah Loebner . Menurut halaman Wikipedia (lihat tautan sebelumnya), pemenang untuk 2014 adalah 'Rose' oleh Bruce Wilcox. Program itu tidak memenangkan satu dari hadiah satu kali saja, tetapi mendapatkan $ 4.000 hadiah uang. 'Eugene Goostman' berkompetisi pada 2005 dan 2008, finis kedua kali.

Kompetisi 'Eugene Goostman' dimenangkan oleh Kevin Warwick dari Universitas Coventry untuk menandai 60 tahun sejak Alan Turing meninggal. Saya tidak mengetahui adanya uang hadiah.

Lihatlah pendapat Ray Kurzweil tentang kompetisi dan program yang dimaksud. Kutipan:

Profesor Warwick mengklaim bahwa tes itu “tidak dibatasi.” Namun, memiliki chatbot yang mengklaim sebagai anak berusia 13 tahun, dan seseorang yang bahasa Inggrisnya bukan bahasa pertama, secara efektif merupakan batasan. Selain itu, interaksi itu dilaporkan dibatasi masing-masing hingga lima menit. Ada kemungkinan besar untuk membodohi hakim yang naif dalam periode waktu yang singkat.

Saya mengobrol dengan chatbot Eugene Goostman, dan tidak terkesan. Eugene tidak melacak pembicaraan, mengulangi kata demi kata, dan sering merespons dengan chatbot biasa.

Saya juga menemukan ini sebagai komentar yang bagus: WIRED - Komputer Itu Sebenarnya Mendapat F pada Tes Turing

Eric Hughes
sumber
1
Saya menyukai bit Wired juga, khususnya "Dalam kompetisi 1991, bot bernama PC Therapist mampu membuat lima dari 10 juri percaya bahwa itu adalah manusia." Juga mengenai "istimewa"> ambang batas pembodohan 30%: "Jadi ayah dari tes Turing tidak menggunakan ini sebagai ambang batas untuk kecerdasan, ia hanya menyatakan ramalannya di mana ia pikir komputer akan menjadi lima dekade di masa depan. "
Fizz
10
Singkatnya: Bot Eugene "lulus" tes ini bukan dengan mensimulasikan kecerdasan manusia, tetapi dengan mensimulasikan kebodohan manusia.
duskwuff
2

Menambahkan tautan Wikipedia untuk kedalaman lebih dalam pada tes Turing "asli" . Ada banyak tes yang disebut "tes Turing". Wikipedia menyebutkan "setidaknya 3 versi utama". Tes yang dilewati oleh Eugeene tidak ada di antara mereka. Tes yang dilewati oleh Eugeene tidak dirancang oleh Alan Turing, tetapi itu adalah tes yang disebut tes Turing, terinspirasi oleh Alan Turing, dan Eugeene memang lulus.

Bagian yang menyebutkan setidaknya 3 versi utama dari tes Turing:

Saul Traiger berpendapat bahwa setidaknya ada tiga versi utama dari tes Turing, dua di antaranya ditawarkan dalam "Mesin Komputasi dan Kecerdasan" dan satu yang ia gambarkan sebagai "Interpretasi Standar." Meskipun ada beberapa perdebatan mengenai apakah "Interpretasi Standar" itu dijelaskan oleh Turing atau, sebaliknya, berdasarkan kesalahan membaca makalahnya, ketiga versi ini tidak dianggap setara, dan kekuatan dan kelemahannya berbeda.

Versi 1

Game asli Turing menggambarkan permainan pesta sederhana yang melibatkan tiga pemain. Pemain A adalah seorang pria, pemain B adalah seorang wanita dan pemain C (yang berperan sebagai interogator) adalah jenis kelamin apa pun. Dalam Permainan Imitasi, pemain C tidak dapat melihat pemain A atau pemain B, dan dapat berkomunikasi dengannya hanya melalui catatan tertulis. Dengan mengajukan pertanyaan pemain A dan pemain B, pemain C mencoba menentukan yang mana dari keduanya adalah pria dan mana yang wanita. Peran pemain A adalah untuk menipu interogator agar mengambil keputusan yang salah, sementara pemain B berusaha membantu interogator dalam membuat keputusan yang tepat.

Versi 2

Versi kedua muncul kemudian di koran Turing 1950. Mirip dengan Tes Permainan Imitasi Asli, peran pemain A dilakukan oleh komputer. Namun, peran pemain B dilakukan oleh pria daripada wanita. [...] Dalam versi ini, baik pemain A (komputer) dan pemain B mencoba menipu interogator untuk membuat keputusan yang salah.

Versi 3

Pemahaman umum mengatakan bahwa tujuan dari Tes Turing tidak secara khusus untuk menentukan apakah komputer mampu menipu seorang interogator untuk percaya bahwa itu adalah manusia, tetapi apakah komputer dapat meniru manusia. Meskipun ada beberapa perselisihan apakah penafsiran ini dimaksudkan oleh Turing - Sterrett percaya bahwa itu dan dengan demikian mengonfigurasi versi kedua dengan yang ini, sementara yang lain, seperti Traiger, tidak - ini tetap mengarah pada apa yang dapat dilihat sebagai " interpretasi standar. " Dalam versi ini, pemain A adalah komputer dan pemain B adalah orang yang berjenis kelamin baik. Peran interogator bukan untuk menentukan mana yang laki-laki dan mana yang perempuan, tetapi mana yang komputer dan mana yang manusia. Masalah mendasar dengan interpretasi standar adalah bahwa interogator tidak dapat membedakan mana responden adalah manusia, dan mana yang mesin. Ada masalah tentang durasi, tetapi interpretasi standar umumnya menganggap batasan ini sebagai sesuatu yang harus masuk akal.

Sebaliknya, tes yang dilewati oleh Eugeene membuat hakim manusia mengobrol dengan chatbot selama 5 menit, setelah itu mereka harus memutuskan apakah itu bot atau bukan.

Peter - Unban Robert Harvey
sumber
0

Ya, itu memenangkan "a" Turing Test yang mengikuti deskripsi asli Alan Turing sedekat mungkin.
Namun ini bukan versi hadiah uang $ 25000 yang merupakan Hadiah Loebner, yang spesifikasinya berbeda dari deskripsi Alan Turing.
Lebih penting lagi, Alan Turing tidak pernah bermaksud menjadikan ini sebagai ujian sejati , jadi hasilnya bukan bukti kecerdasan, jika itu yang sebenarnya ingin Anda ketahui.

Don Patrick
sumber