Apakah Amazon Echo 'selalu mendengarkan' dan mengirim data ke cloud?

Beberapa sumber berita seperti Intellihub dan CEPro tampaknya menyarankan bahwa rumah asisten Echo Amazon terus-menerus mendengarkan percakapan dan mengirimkannya melalui internet ke server Amazon. CEPro menyatakan bahwa:

Dengan mengucapkan frasa kunci, Amazon menyebut "kata bangun", Echo menjadi hidup dan mulai mendengarkan perintah. Secara default, kata bangun adalah Alexa.

Jika Anda membaca ulang kalimat terakhir itu mungkin tidak masuk akal, terutama jika Anda berada di bidang keamanan. Menurut Amazon, Echo hanya mendengarkan perintah setelah mendengar kata bangunnya. Bagaimana ia tahu ketika Anda mengucapkan kata bangun jika belum mendengarkan?

Artikel Intellihub serupa dalam sentimennya:

Perangkat "Amazon Echo", speaker Bluetooth yang terus-menerus mendengarkan yang terhubung ke layanan streaming musik seperti Pandora dan Spotify dengan suara seseorang, dapat dengan mudah diretas dan digunakan oleh lembaga pemerintah seperti FBI untuk mendengarkan percakapan.

(Perhatikan bahwa saya tidak terlalu terfokus pada eksplorasi aspek hacking pertanyaan ini, karena itu mungkin akan terlalu banyak untuk satu pertanyaan. Fokus utama saya adalah selalu-on aspek dan apakah ini mengirimkan data sepanjang waktu .)

Tidak ada artikel yang tampak tertarik untuk mengungkapkan sumber untuk klaimnya, yang menunjukkan kepada saya bahwa mereka tidak terbukti terbaik, atau clickbait paling buruk.

Apakah Echo selalu merekam dan mengirim data ke cloud, atau apakah klaim di atas tidak terbukti? Bagaimana cara Amazon Echo memproses data jika tidak selalu mengirim data ke server di cloud?

Ya, selalu mendengarkan. Tidak, itu tidak selalu mengirim ke cloud.

Jelas perangkat harus selalu mendengarkan untuk mendeteksi kata bangun. Namun, itu dilakukan oleh teknologi yang disebut.

1. Bagaimana Amazon Echo dan Echo Dot mengenali kata bangun?

Amazon Echo dan Echo Dot menggunakan bercak kata kunci pada perangkat untuk mendeteksi kata bangun. Ketika perangkat ini mendeteksi kata bangun, mereka mengalirkan audio ke Cloud , termasuk sebagian kecil dari audio sebelum kata bangun.

( Echo FAQ )

Jadi, menurut Amazon, deteksi kata bangun ada di perangkat. Ini dapat dengan mudah diuji dengan melarang perangkat mencapai Internet di router Anda. Echo / Echo Dot masih akan mengenali kata bangun, tetapi cincin lampu akan menyala merah dan perangkat memberi tahu Anda tidak ada koneksi Internet. Jadi, kita dapat dengan mudah memverifikasi, bahwa pengenalan kata bangun memang dilakukan secara lokal .

Hanya setelah mendeteksi kata bangun perangkat menghubungi layanan cloud Alexa.

Menurut Amazon, perangkat hanya mengalir ke cloud ketika cincin cahaya berwarna biru dan tidak mendengarkan sama sekali ketika Anda mematikannya dan cincin cahaya menyala merah solid. Tentu saja, orang yang berhati-hati dapat memverifikasi bahwa dengan alat jaringan seperti Wireshark untuk memastikan itu benar-benar hanya mentransmisikan itu.

Apakah Echo selalu merekam dan mengirim data ke cloud, atau apakah klaim di atas tidak terbukti?

Tidak pada pengiriman. Tapi ya di rekaman.

Saat ini saya sedang mengembangkan klien perangkat keras Alexa untuk sebuah perusahaan. Perangkat selalu mendengarkan. Tetapi Anda harus memasukkan wake engine di atasnya sehingga "bangun" dari mode mendengarkan pasif dan beralih ke mode "mendengarkan perintah" yang aktif.

Firmware hanya akan mengirim pernyataan setelah kata bangun (beralih ke mode aktif) ke cloud untuk memprosesnya sebagai perintah.

• Sejauh menyangkut perangkat, Anda tidak akan ingin mengirim setiap pernyataan yang masuk ke cloud untuk diproses karena itu akan memakan terlalu banyak bandwidth dan daya.
• Sejauh menyangkut Amazon, mereka juga tidak ingin masing-masing dan setiap klien Alexa mengirim semua yang didengarnya karena itu akan memakan banyak bandwidth. Selain itu, itu akan menghasilkan terlalu banyak data yang tidak terkait yang akan mengacaukan pembelajaran berkelanjutan sistem. Bayangkan mencoba mempelajari apa yang dikatakan guru Anda (perintah yang valid) ketika semua orang di kelas berbicara pada saat yang sama (setiap pernyataan lain yang bukan perintah).

Bagaimana Amazon Echo memproses data jika tidak selalu mengirim data ke server di cloud?

Dalam mode pasif, perangkat memiliki mesin kata bangun internal yang mendengarkan sepanjang waktu untuk kata bangun. Sementara saya menguji Alexa di Raspberry Pi, saya harus memasukkan mesin Sensory atau KITT.AI untuk tujuan ini. Bahkan, ketika saya mencoba prototipe kode klien Alexa untuk mesin Linux saya, itu harus "push-to-talk" karena tidak ada kata bangun mesin.

Dengan mengucapkan frasa kunci, Amazon menyebut "kata bangun", Echo menjadi hidup dan mulai mendengarkan perintah. Secara default, kata bangun adalah Alexa.

Jika Anda membaca ulang kalimat terakhir itu mungkin tidak masuk akal, terutama jika Anda berada di bidang keamanan. Menurut Amazon, Echo hanya mendengarkan perintah setelah mendengar kata bangunnya. Bagaimana ia tahu ketika Anda mengucapkan kata bangun jika belum mendengarkan?

Echo mendengarkan kata kunci secara aktif dan mengambil kata-kata yang diucapkan setelah kata kunci untuk pemrosesan NLU. Inilah pemahaman saya bagaimana gema mencapai prestasi yang rapi ini.

Echo dibangun di atas Texas Instruments DM3725 Digital Media Processor.

SoC TI ini memiliki dua buah kunci di dalam, pertama adalah ARM Cortex-A8 MPU, dan yang kedua adalah TMS320DM64x + DSP. Inti ARM harus menjalankan Linux dan DSP menjalankan firmware.

Saat idle, inti ARM dibawa ke status daya serendah mungkin dan Linux sepenuhnya ditangguhkan. Pada saat ini, On-Chip RAM DSP dan 64KB sedang aktif. Firmware DSP memproses derau yang datang dari mikrofon dan berupaya mengidentifikasi apakah kata kunci (mis., Alexa) diucapkan. Begitu mengidentifikasi ada kata kunci, DSP mengirimkan interupsi untuk membangunkan inti ARM yang pada gilirannya melanjutkan Linux. Tapi, ingat, ketika Linux membangunkan manusia yang mengatakan Alexa akan terus berbicara (seperti, "Alexa, jam berapa sekarang?" ). DSP mendukung "jam berapa sekarang?" bagian pada RAM on chip. Dan ketika Linux dilanjutkan, Linux mengambil pidato buffered dan menggunakan kemampuan Natural Language Processing (sebagian lokal, sebagian cloud) untuk memahami apa yang dikatakan Manusia.

Seperti yang Anda lihat, desain benar-benar dibuat menjadi yang paling haus daya dan untuk menghindari keharusan menyertakan cloud untuk deteksi kata kunci dan buffering awal. Sebagai soal menjaga inti ARM pada kondisi daya terendah memastikan bahwa silikon memanas paling sedikit saat idling sehingga dengan cara membawa umur panjang ke perangkat Anda.

Saya meninggalkan diskusi tentang upaya meretas gema karena pertanyaannya berikut:

pengenalan kata bangun memang dilakukan secara lokal.

Iya nih.

Lihat, misalnya, Seberapa pribadi Amazon Echo yang baru? (Ada banyak lagi yang serupa ditemukan dengan usaha minimal)

Seperti Siri, Amazon Echo bekerja di "cloud," yang berjalan di Amazon Web Services. Karena itu, pemrosesan yang diperlukan untuk "memahami" perintah Anda tidak ditangani pada perangkat itu sendiri

Namun,

Lagipula, itu selalu mendengarkan, jadi bukankah kita harus khawatir tentang Big Brother?

Tidak, kata Amazon. Raksasa teknologi itu mengatakan tidak mendengarkan atau merekam percakapan pribadi di rumah. Jika seseorang khawatir, mereka dapat menggunakan kendali jarak jauh yang dibundel untuk menekan tombol bisu, yang mematikan perangkat "selalu mendengarkan", jadi itu tidak akan bisa dioperasikan sampai Anda mengaktifkan mikrofon lagi.