Acara inotify tidak ada (dalam direktori .git)

Saya menonton file untuk perubahan menggunakan acara inotify (seperti yang terjadi, dari Python, memanggil libc).

Untuk beberapa file selama git clone, saya melihat sesuatu yang aneh: Saya melihat suatu IN_CREATEperistiwa, dan saya melihat lsbahwa file tersebut memiliki konten, namun, saya tidak pernah melihat IN_MODIFYatau IN_CLOSE_WRITE. Ini menyebabkan masalah bagi saya karena saya ingin merespons IN_CLOSE_WRITEpada file: khususnya, untuk memulai pengunggahan konten file.

File yang berperilaku aneh ada di .git/objects/packdirektori, dan berakhir di .packatau .idx. File lain yang dibuat git memiliki rantai IN_CREATE-> IN_MODIFY-> yang lebih teratur IN_CLOSE_WRITE(Saya tidak menonton IN_OPENacara).

Ini ada di dalam docker pada MacOS, tapi saya telah melihat bukti yang sama pada docker di Linux dalam sistem jarak jauh, jadi kecurigaan saya adalah aspek MacOS tidak relevan. Saya melihat ini jika menonton dan git cloneberada di wadah buruh pelabuhan yang sama .

Pertanyaan saya:

• Mengapa acara ini hilang pada file-file ini?

• Apa yang bisa dilakukan? Secara khusus, bagaimana saya bisa menanggapi penyelesaian penulisan ke file-file ini? Catatan: idealnya saya ingin menjawab ketika penulisan "selesai" untuk menghindari pengunggahan yang tidak perlu / (salah) mengunggah tulisan "belum selesai".

Sunting: Membaca https://developer.ibm.com/tutorials/l-inotify/ sepertinya yang saya lihat konsisten dengan

• file sementara yang terpisah, dengan nama seperti tmp_pack_hBV4Alz, sedang dibuat, dimodifikasi dan, ditutup;
• a keras link dibuat untuk file ini, dengan akhir .packnama;
• tmp_pack_hBV4Alznama aslinya dihapus.

Saya pikir masalah saya, yang mencoba menggunakan tidak sah sebagai pemicu untuk mengunggah file, kemudian mengurangi untuk memperhatikan bahwa .packfile tersebut merupakan tautan keras ke file lain, dan mengunggah dalam kasus ini?

Untuk menjawab pertanyaan Anda secara terpisah untuk git2.24.1 di Linux 4.19.95:

• Mengapa acara ini hilang pada file-file ini?

Anda tidak melihat IN_MODIFY/ IN_CLOSE_WRITEacara karena git cloneakan selalu mencoba menggunakan tautan keras untuk file di bawah .git/objectsdirektori. Ketika kloning melalui jaringan atau melintasi batas-batas sistem file, peristiwa ini akan muncul lagi.

• Apa yang bisa dilakukan? Secara khusus, bagaimana saya bisa menanggapi penyelesaian penulisan ke file-file ini? Catatan: idealnya saya ingin menjawab ketika penulisan "selesai" untuk menghindari pengunggahan yang tidak perlu / (salah) mengunggah tulisan "belum selesai".

Untuk mengetahui modifikasi tautan keras, Anda harus mengatur handler untuk CREATEacara inotify yang mengikuti dan melacak tautan tersebut. Harap dicatat bahwa yang sederhana CREATEjuga dapat berarti bahwa file yang kosong dibuat. Kemudian, pada IN_MODIFY/ IN_CLOSE_WRITEke salah satu file Anda harus memicu tindakan yang sama pada semua file yang terhubung juga. Jelas Anda juga harus menghapus hubungan itu di DELETEacara tersebut.

Pendekatan yang lebih sederhana dan lebih kuat mungkin hanya dengan hash semua file secara berkala dan memeriksa apakah konten file telah berubah.

Koreksi

Setelah memeriksa gitkode sumber erat dan berjalan gitdengan strace, saya menemukan bahwa gitmemang menggunakan file yang dipetakan memori, tetapi sebagian besar untuk membaca konten. Lihat penggunaan xmmapyang selalu dipanggil dengan PROT_READsaja. . Karenanya jawaban saya sebelumnya di bawah BUKAN jawaban yang benar. Namun demikian untuk tujuan informasi saya masih ingin menyimpannya di sini:

• Anda tidak melihat IN_MODIFYacara karena packfile.cdigunakan mmapuntuk akses file dan inotifytidak melaporkan modifikasi untuk mmapfile ed.

  Dari halaman manual inotify :

  API inotify tidak melaporkan akses file dan modifikasi yang mungkin terjadi karena mmap (2), msync (2), dan munmap (2).

Saya dapat berspekulasi bahwa Git sebagian besar waktu menggunakan pembaruan file atom yang dilakukan seperti ini:

1. Isi file dibaca ke dalam memori (dan dimodifikasi).
2. Konten yang dimodifikasi ditulis ke dalam file terpisah (biasanya terletak di direktori yang sama dengan yang asli, dan memiliki nama acak ( mktemp-style).
3. File baru kemudian rename(2)d-d lebih dari yang asli; operasi ini menjamin bahwa setiap pengamat yang mencoba membuka file menggunakan namanya akan mendapatkan konten lama atau baru.

Pembaruan seperti itu dilihat inotify(7)sebagai moved_toperistiwa — karena file "muncul kembali" dalam direktori.

Berdasarkan jawaban yang diterima ini, saya berasumsi mungkin ada beberapa perbedaan dalam peristiwa berdasarkan protokol yang digunakan (yaitu ssh atau https).

Apakah Anda mengamati perilaku yang sama saat memantau kloning dari sistem file lokal dengan --no-hardlinksopsi?

$ git clone git@github.com:user/repo.git
# set up watcher for new dir
$ git clone --no-hardlinks repo new-repo

Perilaku Anda yang diamati saat menjalankan percobaan pada linux dan host Mac mungkin menghilangkan masalah terbuka ini sebagai penyebab https://github.com/docker/for-mac/issues/896 tetapi menambahkan hanya memetikan.

Ada kemungkinan lain (dari laki-laki tidak tahu):

Perhatikan bahwa antrian acara dapat meluap. Dalam hal ini, peristiwa hilang. Aplikasi yang kuat harus menangani kemungkinan acara yang hilang dengan anggun. Misalnya, mungkin perlu untuk membangun kembali sebagian atau semua cache aplikasi. (Salah satu pendekatan yang sederhana, tetapi mungkin mahal, adalah dengan menutup deskriptor file inotify, mengosongkan cache, membuat deskriptor file inotify baru, dan kemudian membuat kembali entri arloji dan cache untuk objek yang akan dipantau.)

Dan sementara git clonedapat menghasilkan aliran acara besar, ini bisa terjadi.

Bagaimana cara menghindari ini:

1. Tingkatkan buffer baca, coba fcntl (F_SETPIPE_SZ) (pendekatan ini adalah tebakan, saya belum pernah mencoba).
2. Baca acara menjadi buffer besar di utas khusus, proseskan peristiwa di utas lain.

Mungkin Anda membuat kesalahan yang sama yang saya buat bertahun-tahun yang lalu. Saya hanya menggunakan dua kali inotify. Pertama kali, kode saya hanya berfungsi. Kemudian, saya tidak lagi memiliki sumber itu dan mulai lagi, tetapi kali ini, saya kehilangan acara dan tidak tahu mengapa.

Ternyata ketika saya membaca sebuah acara, saya benar-benar membaca sekumpulan kecil acara. Saya parsing yang saya harapkan, berpikir itu saja, itu saja. Akhirnya, saya menemukan ada lebih banyak data yang diterima, dan ketika saya menambahkan sedikit kode untuk mem-parsing semua peristiwa yang diterima dari satu pembacaan, tidak ada lagi peristiwa yang hilang.