Apa perbedaan antara Inception v2 dan Inception v3?

18

Makalah yang masuk lebih dalam dengan konvolusi menjelaskan GoogleNet yang berisi modul-modul awal:

masukkan deskripsi gambar di sini

Perubahan ke awal v2 adalah bahwa mereka mengganti konvolusi 5x5 oleh dua konvolusi 3x3 berturut-turut dan pooling diterapkan:

masukkan deskripsi gambar di sini

Apa perbedaan antara Inception v2 dan Inception v3?

Martin Thoma
sumber
Apakah itu hanya normalisasi batch? Atau apakah Inception v2 sudah memiliki normalisasi batch?
Martin Thoma
github.com/SKKSaikia/CNN-GoogLeNet Repositori ini menampung semua versi GoogLeNet dan perbedaannya. Cobalah.
Amartya Ranjan Saikia

Jawaban:

22

Dalam makalah Normalisasi Batch , Sergey et al, 2015. mengusulkan arsitektur Inception-v1 yang merupakan varian dari GoogleNet dalam makalah yang akan lebih dalam dengan konvolusi , dan sementara itu mereka memperkenalkan Batch Normalisasi ke Inception (BN-Inception).

Perbedaan utama ke jaringan yang dijelaskan dalam (Szegedy et al., 2014) adalah bahwa lapisan konvolusional 5x5 digantikan oleh dua lapisan berturut-turut konvolusi 3x3 dengan hingga 128 filter.

Dan dalam makalah Memikirkan Kembali Arsitektur Inception untuk Computer Vision , penulis mengusulkan Inception-v2 dan Inception-v3.

Dalam Inception-v2 , mereka memperkenalkan Factorization (faktorisasi konvolusi menjadi konvolusi yang lebih kecil) dan beberapa perubahan kecil menjadi Inception-v1.

Perhatikan bahwa kami telah memfaktorkan konvolusi 7x7 tradisional menjadi tiga konvolusi 3x3

Adapun Inception-v3 , itu adalah varian dari Inception-v2 yang menambahkan BN-auxiliary.

BN auxiliary mengacu pada versi di mana lapisan yang terhubung sepenuhnya dari classifier tambahan juga dinormalisasi, bukan hanya belitan. Kami merujuk ke model [Inception-v2 + BN auxiliary] sebagai Inception-v3.

daoliker
sumber
3

di samping apa yang disebutkan oleh daoliker

Inception v2 menggunakan konvolusi yang dapat dipisahkan sebagai lapisan pertama dengan kedalaman 64

kutipan dari kertas

Model kami menggunakan konvolusi yang dapat dipisahkan dengan pengali kedalaman 8 pada lapisan konvolusional pertama. Ini mengurangi biaya komputasi sambil meningkatkan konsumsi memori pada waktu pelatihan.

mengapa ini penting? karena dijatuhkan di v3 dan v4 dan memulai resnet, tetapi diperkenalkan kembali dan banyak digunakan di mobilenet nanti.

Muayyad Alsadi
sumber
1

Jawabannya dapat ditemukan di Going lebih dalam dengan makalah konvolusi: https://arxiv.org/pdf/1512.00567v3.pdf

Periksa Tabel 3. Inception v2 adalah arsitektur yang dijelaskan dalam Going lebih dalam dengan kertas konvolusi. Inception v3 adalah arsitektur yang sama (perubahan kecil) dengan algoritma pelatihan yang berbeda (RMSprop, label smoothing regularizer, menambahkan head tambahan dengan norma batch untuk meningkatkan pelatihan dll).

Sid M
sumber
1

Sebenarnya jawaban di atas keliru. Memang, itu berantakan dengan penamaan. Namun, tampaknya itu diperbaiki di makalah yang memperkenalkan Inception-v4 (lihat: "Inception-v4, Inception-ResNet dan Dampak Koneksi Residual pada Pembelajaran"):

Arsitektur konvolusional mendalam Inception diperkenalkan sebagai GoogLeNet di (Szegedy et al. 2015a), di sini bernama Inception-v1. Kemudian arsitektur Inception disempurnakan dengan berbagai cara, pertama dengan pengenalan normalisasi batch (Ioffe dan Szegedy 2015) (Inception-v2). Kemudian dengan ide faktorisasi tambahan dalam iterasi ketiga (Szegedy et al. 2015b) yang akan disebut sebagai Inception-v3 dalam laporan ini.

desa
sumber