Penggunaan teori informasi dalam ilmu data terapan

9

Hari ini saya membaca buku "Teori Informasi: Pengantar tutorial" oleh James Stone dan berpikir sejenak tentang sejauh mana penggunaan teori informasi dalam ilmu data terapan (jika Anda tidak nyaman dengan istilah yang masih agak kabur ini, berpikir analisis data , yang ilmu data IMHO adalah versi dimuliakan). Saya menyadari penggunaan yang signifikan dari teori informasi berbasis pendekatan , metode dan langkah-langkah , terutama entropi , di bawah kap berbagai teknik statistik dan metode analisis data.

Namun, saya ingin tahu tentang tingkat / tingkat pengetahuan yang diperlukan untuk seorang ilmuwan sosial terapan untuk berhasil memilih dan menerapkan konsep-konsep, langkah-langkah dan alat-alat tanpa menyelam terlalu jauh ke dalam asal-usul matematika dari teori. Saya menantikan jawaban Anda, yang dapat menjawab kekhawatiran saya dalam konteks buku yang disebutkan di atas (atau buku serupa lainnya - jangan ragu untuk merekomendasikan) atau secara umum.

Saya juga akan menghargai beberapa rekomendasi untuk cetak atau online sumber yang membahas teori informasi dan konsep-konsep, pendekatan, metode dan langkah-langkah dalam konteks dari (di dibandingkan dengan) lainnya (lebih) pendekatan statistik tradisional ( frequentist dan Bayesian ).

information-theory Aleksandr Blekh
sumber
2
Mungkin salah satu kasus penggunaan entropi yang paling dikenal dan "diterapkan" terjadi ketika membangun pohon. Salah satu kemungkinan ketika algoritma terpecah adalah untuk mengambil metrik perolehan informasi, yang merupakan perbedaan antara entropi antara tingkat atas dan tingkat bawah. Anda memiliki informasi lebih lanjut di sini en.wikipedia.org/wiki/Information_gain_in_decision_trees
D.Castro
@ D.Castro: Terima kasih atas komentar Anda - Saya mengetahui kasus itu (dan bahkan mengirim jawaban tentang topik yang tepat ini di sini di Cross Validated, atau di situs SE Ilmu Data). Saya berharap untuk liputan / diskusi yang lebih komprehensif tentang masalah ini.
Aleksandr Blekh
1
Bagi saya, dan sebagian besar, ini adalah masalah disiplin atau bidang di mana seseorang dilatih serta benua geografis. Dalam pandangan saya, fisikawan, matematikawan, dan praktisi pembelajaran mesin murni jauh lebih mungkin menerima paparan mendalam terhadap teori informasi daripada, katakanlah, ahli statistik, ekonom, atau analis keuangan kuantitatif. Selain itu, saya akan menggandakan hal ini untuk orang-orang yang dilatih di Eropa, yaitu, orang Eropa lebih mungkin akrab dengan IT. Namun, munculnya model untuk pembelajaran statistik berubah untuk para ilmuwan data di Amerika Serikat.
Mike Hunter
@DJohnson Poin terkecil tetapi di Inggris dan mungkin di tempat lain TI == teknologi informasi. Kalau tidak, kesan Anda mirip milikku.
Nick Cox
@NickCox Terima kasih, poin Anda juga berlaku untuk Amerika. Itu komentar yang agak panjang dan, jika ruang memungkinkan, saya akan mengeja kata-kata itu atau, lebih baik lagi, telah memperkenalkan arti akronim pada poin sebelumnya.
Mike Hunter

Jawaban:

4

Jadi bagian pertama dari pertanyaan: Apakah para ilmuwan data perlu mengetahui teori informasi ? Saya pikir jawabannya tidak sampai baru-baru ini. Alasan saya berubah pikiran adalah salah satu komponen penting: kebisingan.

Banyak model pembelajaran mesin (baik stokastik atau tidak) menggunakan noise sebagai bagian dari proses encoding dan transformasi mereka dan dalam banyak model ini, Anda perlu menyimpulkan probabilitas kebisingan yang terpengaruh setelah mendekode output yang ditransformasikan dari model. Saya pikir ini adalah bagian inti dari teori informasi. Tidak hanya itu, dalam pembelajaran yang mendalam, KL divergence adalah ukuran yang sangat penting digunakan yang juga berasal dari Teori Informasi.

Bagian kedua dari pertanyaan: Saya pikir sumber terbaik adalah Teori Informasi, Inferensi dan Algoritma Pembelajaran David MacKay . Dia mulai dengan Teori Informasi dan mengambil ide-ide itu menjadi inferensi dan bahkan jaringan saraf. Pdf gratis situs web Dave dan ceramahnya online yang bagus

Ambodi
sumber
3
Buku yang bagus sekali. Siapa pun yang tertarik juga harus melirik en.wikipedia.org/wiki/David_J._C._MacKay
Nick Cox
Terima kasih atas jawaban Anda (+1 dan kemungkinan diterima, jika tidak ada jawaban yang lebih komprehensif akan muncul segera). Penghargaan khusus untuk referensi. Saya terkejut Anda menemukan pertanyaan saya yang hampir terlupakan, tetapi penting ini. :-)
Aleksandr Blekh
Ya itu menarik. Anda tidak boleh menyerah pada pertanyaan. Datang kepada saya setelah saya menghadiri NIPS2016 dan saya melihat semua pembicaraan tentang divergensi KL dan dampak kebisingan pada pembuat enkode.
Ambodi