Estimasi Posisi 3D menggunakan kamera 2D

Saya memiliki kamera (iPhone), saya memiliki objek kontrol 3D pada gambar yang saya tahu sifat-sifatnya dengan sangat baik. (Objek kontrol saya). Ada juga objek sekunder yang bergerak. Tujuan utamanya adalah untuk menetapkan lintasan 3D dari objek bergerak untuk periode waktu tertentu. (Pelacakan)

Saya suka bertanya, bisakah saya mencari tahu?

• Jarak ponsel ke objek kontrol (untuk diskusi, mari kita asumsikan kamera berada pada ketinggian tertentu dan jarak tertentu tidak diketahui tetapi kamera tegak lurus ke permukaan yang diketahui)

• Objek sekunder tempat saya dapat menemukan objek di setiap frame berikutnya. Tujuan saya adalah memperkirakan lintasan 3D-nya seperti yang telah saya sebutkan di atas.

Pertanyaan bonus, kita dapat membuat sistem sedemikian rupa sehingga jarak ponsel ke objek kontrol dapat diatur (meskipun tidak disukai), apakah ini membantu saya dengan poin kedua?

Jika objek Anda memiliki 6 titik yang diketahui (dikenal koordinat 3D, dan ) Anda dapat menghitung lokasi kamera yang terkait dengan sistem koordinat objek.$X, Y$$Z$

Pertama, beberapa dasar.

Koordinat homogen adalah presentasi vektor koordinat euclidean di mana kita telah menambahkan apa yang disebut faktor skala sehingga koordinat adalah . Dalam perhitungan Anda sendiri, usahakan untuk menjaga sesering mungkin (artinya Anda "menormalkan" koordinat homogen dengan membaginya dengan elemen terakhir: ). Kita juga dapat menggunakan presentasi homogen untuk titik 2D sedemikian rupa sehingga (ingat bahwa ini dan$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$berbeda untuk setiap titik, baik itu titik 2D atau 3D). Presentasi koordinat yang homogen membuat matematika lebih mudah.

Matriks kamera adalah matriks proyeksi dari dunia 3D ke sensor gambar:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Di mana adalah titik pada sensor gambar (dengan satuan piksel) dan adalah titik 3D yang diproyeksikan (katakanlah ia memiliki milimeter sebagai unitnya).$\textbf{x}$$\textbf{X}$

Kita ingat bahwa produk silang antara dua vektor 3 dapat didefinisikan sebagai perkalian vektor-vektor sedemikian rupa sehingga:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Juga berguna untuk mencatat bahwa produksi silang .$\textbf{v} \times \textbf{v} = \textbf{0}$

Sekarang mari kita coba untuk menyelesaikan matriks proyeksi dari persamaan sebelumnya. Mari kita gandakan persamaan proyeksi dari sisi kiri dengan matriks produk silang :$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Hasilnya harus nol vektor. Jika sekarang kita buka persamaan yang kita dapatkan:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Dimana adalah transpos dari : th deretan kamera matriks . Baris terakhir dari persamaan matriks (besar) sebelumnya adalah kombinasi linear dari dua baris pertama, sehingga tidak membawa informasi tambahan dan dapat ditinggalkan.$\textbf{P}_n$$n$$P$

Jeda kecil sehingga kami bisa mengumpulkan barang-barang kami. Perhatikan bahwa persamaan matriks sebelumnya harus dibentuk untuk setiap korespondensi 3D-> 2D yang diketahui (harus ada setidaknya 6 dari mereka).

Sekarang, untuk setiap korespondensi poin, hitung dua baris pertama dari matriks di atas, susun matriks di atas satu sama lain dan Anda mendapatkan matriks baru yang$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Karena kita memiliki 12 yang tidak diketahui dan (setidaknya) 12 persamaan, ini dapat diselesaikan. Satu-satunya masalah adalah kita tidak ingin memiliki jawaban sepele di mana

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Untungnya kita dapat menggunakan dekomposisi nilai singular (SVD) untuk memaksa

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

Jadi untuk menyelesaikan persamaan, hitung SVD dari matriks dan pilih vektor singular yang sesuai dengan nilai eigen terkecil. Vektor ini adalah vektor nol dari matriks A dan juga solusi untuk kamera matriks . Hanya unstack yang dan bentuk .$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

Sekarang Anda ingin tahu jarak ke objek. didefinisikan sebagai:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

di mana adalah lokasi kamera relatif terhadap objek asal. Ini dapat diselesaikan dari dengan menghitung vektor nol s.$\textbf{C}$$P$$P$

(Hartley, Zisserman - Geometri Tampilan Ganda dalam Penglihatan Komputer)

Akhirnya, ketika Anda menghitung lokasi kamera untuk dua frame, Anda dapat menghitung lokasi objek yang tidak diketahui (atau lokasi beberapa titik objek) dengan menyelesaikan dua persamaan untuk :$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

Yang hampir sama dengan cara kita memecahkan matriks kamera:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Dan seterusnya.