Tensor dalam literatur jaringan saraf: apa definisi paling sederhana di luar sana?

16

Dalam literatur jaringan saraf, sering kita menemukan kata "tensor".

Apakah berbeda dari vektor? Dan dari sebuah matriks? Apakah Anda punya contoh spesifik yang menjelaskan definisi itu?

Saya agak bingung tentang definisinya. Wikipedia tidak membantu dan kadang-kadang saya memiliki kesan bahwa definisinya tergantung pada lingkungan pembelajaran mesin tertentu yang digunakan (TensorFlow, Caffee, Theano).

user_1177868
sumber
1
+1. Sangat terkait: stats.stackexchange.com/a/198395/28666 .
Amuba mengatakan Reinstate Monica

Jawaban:

11

Untuk keperluan analisis data, Anda dapat secara efektif menganggapnya sebagai array, mungkin multidimensi. Dengan demikian mereka termasuk skalar, vektor, matriks, dan semua susunan orde yang lebih tinggi.

Definisi matematika yang tepat lebih rumit. Pada dasarnya idenya adalah bahwa tensor mengubah fungsi multilinear menjadi fungsi linier. Lihat (1) atau (2) . (Fungsi multilinear adalah fungsi yang linier di setiap komponennya, contohnya adalah penentu yang dianggap sebagai fungsi vektor kolom.)

Salah satu konsekuensi dari properti matematika ini menentukan tensor adalah bahwa tensor mentransformasikan dengan baik sehubungan dengan Jacobian, yang menyandikan transformasi dari satu sistem koordinat ke yang lain. Inilah sebabnya mengapa orang sering melihat definisi tensor sebagai "objek yang berubah dengan cara tertentu di bawah perubahan koordinat" dalam fisika. Lihat video ini misalnya, atau yang ini .

Jika kita berurusan dengan objek yang cukup "bagus" (semua turunan yang kita inginkan ada dan terdefinisi dengan baik), maka semua cara berpikir tentang tensor ini pada dasarnya setara. Perhatikan bahwa cara pertama untuk memikirkan tensor yang saya sebutkan (array multidimensi) mengabaikan perbedaan antara tensor kovarian dan kontravarian. (Perbedaannya berkaitan dengan bagaimana koefisien mereka berubah di bawah perubahan basis ruang vektor yang mendasarinya, yaitu antara vektor baris dan kolom pada dasarnya.) Lihat pertanyaan StackExchange lainnya: (1) (2) (3) (4)

Untuk buku yang digunakan oleh para peneliti yang mempelajari aplikasi tensor ke jaringan saraf (misalnya di Technion in Israel), ada Tensor Spaces dan Numerical Calculus karya Wolfgang Hackbusch . Saya belum membacanya sendiri, meskipun beberapa bab nanti tampaknya menggunakan matematika tingkat lanjut.

Chill2Macht
sumber
3
+1. Sangat terkait: stats.stackexchange.com/a/198395/28666 . Tampak bagi saya bahwa dalam pembelajaran mesin, tensor hanyalah array dan tidak lebih. Dalam matematika, tensor dipahami secara berbeda; dan biasanya kata "tensor" digunakan lebih sempit daripada "elemen produk tensor". Lihat jawaban tertaut.
Amuba mengatakan Reinstate Monica