Bagaimana saya bisa merekonstruksi struktur 3D dari serangkaian gambar?

Saya memiliki serangkaian kontur (kumpulan segmen garis) yang dikelompokkan dengan cara berikut:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

dimana

• $S_i$ menunjukkan urutan foto dari satu objek konkret.
• $I^j$ menunjukkan suatu gambar, dengan sudut pandang ( berarti tampilan depan). $j^{th}$$j=0$

Berikut adalah contoh (tampilan belakang): $I^\pi$

Bagaimana saya bisa merekonstruksi struktur 3d objek dengan diberikan ?$S_i$

Dapatkah seseorang mengarahkan saya ke beberapa makalah atau bahkan memberi saya beberapa kata kunci? Saya tahu bahwa ada banyak artikel yang beroperasi dengan awan titik dan sebagainya, tetapi itu tidak berfungsi karena saya beroperasi dengan garis.

Sebenarnya itu adalah topik yang cukup sulit. Transaksi rekonstruksi 3d multi-view klasik dengan pencocokan titik di tempat pertama, yaitu menemukan titik yang sama pada setiap gambar. Mengingat parameter kamera (tampilan) untuk setiap gambar, titik 3d asli dapat direkonstruksi. (Menggunakan laser atau proyektor adegan dapat menyala sehingga pencocokan dapat dilakukan dengan relatif mudah.)

Alkitab bidang ini adalah Multiple View Geometry in Computer Vision oleh Hartley dan Zisserman

Dalam buku ini ada bagian tentang tensor trifocal, yang merupakan batasan multinear antara 3 pandangan. Ini mengandung tidak hanya titik tetapi juga batasan korespondensi baris. Ini dapat digunakan untuk rekonstruksi bangunan dengan sangat baik.

Jadi kontur Anda harus dicocokkan di tempat pertama, dan mungkin dapat direkonstruksi mengetahui parameter kamera (kalibrasi kamera juga tercakup dalam buku ini). Maka Anda akan memiliki kontur dalam 3d tetapi tidak lebih. Untuk permukaan nyata Anda harus melakukan pencocokan titik padat. Meskipun tensor yang saya sebutkan terlihat bagus tetapi digunakan untuk garis lurus dan saya yakin bahwa mobil modern memiliki garis melengkung di mana-mana.

Saya tidak tahu bagaimana Anda mendapatkan kontur itu tetapi melihat gambar yang telah Anda posting saya cukup skeptis tentang kekokohan algoritma itu, sehingga rekonstruksi akan menjadi buruk.

Metode lain yang terlintas dalam pikiran saya adalah lambung visual atau ukiran ruang . Kontur matematika juga harus dilakukan. Menjalankan metode pada setiap kontur Anda dapat memiliki model.

Meskipun disebutkan oleh buku Fodor Hartley dan Zisserman pasti layak dibaca lebih untuk pemahaman umum daripada untuk algoritma praktis. Cukup ketinggalan jaman dan metode-metode itu tidak efisien. Tentang masalah Anda - perumusan masalah itu sendiri sangat jarang. Seperti yang disebutkan oleh Fodor dimulai dengan mencocokkan poin fitur daripada kontur jauh lebih mudah. Dalam hal poin, ikhtisar terbaik dari metode modern yang tersedia adalah karya Triggs "Penyesuaian Bundel - Sintesis Modern" Tetapi sebelum menggunakan penyesuaian bundel, Anda harus mencocokkan titik yang sesuai pada gambar menggunakan sesuatu seperti SIFT atau pencocokan templat. Google untuk rekonstruksi 3Duntuk contoh beberapa metode lengkap. Anda juga dapat menggunakan paket open source untuk itu, ada beberapa yang tersedia.

Jika Anda bersikeras menggunakan kontur masalahnya jauh lebih sulit, meskipun masih (hampir) traktat. Pertama, Anda harus mengidentifikasi dan mencocokkan kontur yang sesuai di semua gambar, setelah itu menuliskan fungsi biaya - jumlah kesalahan proyeksi ulang untuk setiap grup kontur yang cocok sebagai fungsi dari posisi kamera & orientasi setiap gambar. Setelah itu temukan set posisi kamera yang meminimalkan fungsi biaya ini. Setiap langkah dari proses ini sangat sulit, dan tidak ada gambaran yang bagus seperti Triggs. Anda dapat google beberapa makalah yang relevan sebagai kombinasi dari istilah "kontur" "kontur yang cocok" "penyesuaian bundel" "kesalahan proyeksi ulang" "rekonstruksi 3D".

Lihat Rekonstruksi Model dari Gambar yang sedikit berbeda dari apa yang Anda lakukan tetapi saya berbicara tentang cara beralih dari gambar ke model 3d. Lihat juga MeshLab , ia memiliki beberapa algoritma rekonstruksi yang dapat Anda gunakan untuk memasukkan data Anda.