Derivatif gradien dan vektor: vektor baris atau kolom?

Cukup banyak referensi (termasuk wikipedia, dan http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf dan http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) mendefinisikan turunan dari suatu fungsi oleh vektor sebagai turunan parsial dari fungsi yang diatur dalam satu baris (jadi turunan dari fungsi yang dinilai skalar adalah vektor baris). Dalam konvensi ini, gradien dan turunan vektor adalah transpos satu sama lain. Manfaat dari konvensi ini adalah kita dapat menafsirkan makna turunan sebagai fungsi yang memberi tahu Anda laju perubahan linear di setiap arah. Gradien tetap menjadi vektor, ini memberi tahu Anda arah dan besarnya laju perubahan terbesar.

Saya baru-baru ini membaca Aljabar Matriks Gentle ( http://books.google.com/books/about/Matrix_Algebra.html?id=Pbz3D7Tg5eoC ) dan dia tampaknya menggunakan konvensi lain, di mana ia mendefinisikan gradien sama dengan turunan vektor, menghasilkan dalam susunan kolom (jadi turunan dari fungsi bernilai skalar adalah vektor kolom). Sebagai hasil dari pengaturan ini, setiap hasil diferensiasi adalah transpos dari hasil dalam konvensi lain. Manfaat dari konvensi ini, saya kira di sini, hanya gradien dan turunannya sama. Jadi untuk tugas-tugas optimasi, alih-alih membedakan dan kemudian mengambil transpose, Anda bisa membedakan.

Saya pikir ketegangan antara Jacobian dan gradien. Dalam konvensi baris, Jacobian mengikuti langsung dari definisi turunannya, tetapi Anda harus menerapkan transpos untuk mendapatkan gradien; sedangkan dalam konvensi kolom, gradien adalah yang tidak perlu ditranskripsikan, tetapi Anda harus menerapkan transpos untuk mendapatkan Jacobian. Jadi jika Anda lebih suka menganggap hasil turunan sebagai peta linier, maka konvensi pertama masuk akal; jika Anda lebih suka menganggap hasilnya sebagai vektor / arah maka konvensi kedua masuk akal. Jadi, Anda hanya harus konsisten.

Manakah dari konvensi ini yang lebih umum digunakan dalam Pembelajaran Mesin? Apakah saya akan menjadi sangat putus asa jika saya menghabiskan terlalu banyak waktu membaca pekerjaan di kebaktian yang "salah"?

Jika Anda mempertimbangkan peta linier antara ruang vektor (seperti Jacobian) $J : u \in U \rightarrow v \in V$, elemen-elemen $v = J u$harus setuju dalam bentuk dengan definisi matriks-vektor : komponen$v$ adalah produk dalam dari baris $J$ dengan $u$.

Dalam misalnya regresi linier, ruang keluaran (skalar dalam kasus ini) adalah kombinasi fitur yang berbobot: $\mathbf{w} ^\intercal \mathbf{u} = v$, lagi-lagi membutuhkan produk dalam.

Konvensi apa yang akhirnya Anda gunakan tidak ada konsekuensinya, selama Anda tetap menggunakannya. Matrix Cookbook oleh Pedersen dan Petersen adalah sumber yang agak kering tapi pasti informatif.