Mengapa cURL mengembalikan kesalahan “(23) Gagal menulis”?

Ini berfungsi ok sebagai alat tunggal:

curl "someURL"
curl -o - "someURL"

tapi itu tidak bekerja di saluran pipa:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

mengembalikan:

(23) Failed writing body

Apa masalah dengan piping output CURL? Bagaimana cara buffer seluruh output CURL dan kemudian menanganinya?

Ini terjadi ketika program yang disalurkan (misalnya grep) menutup pipa baca sebelum program sebelumnya selesai menulis seluruh halaman.

Di curl "url" | grep -qs foo, segera setelah grep memiliki apa yang diinginkannya, ia akan menutup aliran baca dari curl. cURL tidak mengharapkan ini dan memancarkan kesalahan "Failed writing body".

Solusinya adalah menyalurkan aliran melalui program perantara yang selalu membaca seluruh halaman sebelum memasukkannya ke program berikutnya.

Misalnya

curl "url" | tac | tac | grep -qs foo

tacadalah program Unix sederhana yang membaca seluruh halaman input dan membalik urutan baris (karenanya kami menjalankannya dua kali). Karena harus membaca seluruh input untuk menemukan baris terakhir, itu tidak akan menampilkan apa pun untuk grep sampai cURL selesai. Grep masih akan menutup aliran baca ketika memiliki apa yang dicari, tetapi hanya akan memengaruhi tac, yang tidak memunculkan kesalahan.

Untuk kelengkapan dan pencarian di masa mendatang:

Ini masalah bagaimana CURL mengelola buffer, buffer menonaktifkan aliran output dengan opsi -N.

Contoh: curl -s -N "URL" | grep -q Welcome

Kemungkinan lain, jika menggunakan opsi -o(file output) - direktori tujuan tidak ada.

misalnya. jika sudah -o /tmp/download/abc.txtdan / tmp / unduh tidak ada.

Oleh karena itu, pastikan direktori yang diperlukan dibuat / ada sebelumnya, gunakan --create-dirsopsi dan - ojika perlu

Jadi itu masalah pengkodean. Iconv memecahkan masalah

curl 'http://www.multitran.ru/c/m.exe?CL=1&s=hello&l1=1' | iconv -f windows-1251 | tr -dc '[:print:]' | ...

Anda dapat melakukan ini alih-alih menggunakan -oopsi:

curl [url] > [file]

Saya memiliki kesalahan yang sama tetapi dari alasan berbeda. Dalam kasus saya, saya memiliki (tmpfs) partisi dengan hanya 1GB ruang dan saya mengunduh file besar yang akhirnya mengisi semua memori pada partisi itu dan saya mendapatkan kesalahan yang sama seperti Anda.

Server kehabisan ruang disk, dalam kasus saya.

Periksa dengan df -k .

Saya diberitahu tentang kurangnya ruang disk ketika saya mencoba memipakan tacdua kali, seperti yang dijelaskan dalam salah satu jawaban lain: https://stackoverflow.com/a/28879552/336694 . Itu menunjukkan kepada saya pesan kesalahan write error: No space left on device.

Saya menemukan pesan kesalahan ini ketika mencoba menginstal varnish cache di ubuntu. Pencarian google mendaratkan saya di sini untuk kesalahan (23) Failed writing body, maka memposting solusi yang bekerja untuk saya.

Bug ini ditemui saat menjalankan perintah sebagai root curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

solusinya adalah berjalan apt-key addsebagai non root

curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

Jika Anda mencoba sesuatu yang mirip seperti source <( curl -sS $url )dan mendapatkan (23) Failed writing bodykesalahan, itu karena sumber substitusi proses tidak berfungsi bash 3.2(default untuk macOS).

Sebagai gantinya, Anda dapat menggunakan solusi ini.

source /dev/stdin <<<"$( curl -sS $url )"

Bagi saya, itu masalah izin. Docker run disebut dengan profil pengguna tetapi root adalah pengguna di dalam wadah. Solusinya adalah membuat curl write ke / tmp karena itu memiliki izin menulis untuk semua pengguna, bukan hanya root.

Saya menggunakan opsi -o.

-o / tmp / file_to_download

Di Bash dan zsh (dan mungkin cangkang lain), Anda bisa menggunakan subtitusi proses ( Bash / zsh ) untuk membuat file dengan cepat, dan kemudian menggunakannya sebagai input untuk proses selanjutnya dalam rantai pipa.

Sebagai contoh, saya mencoba mengurai output JSON dari cURL menggunakan jqdan less, tetapi mendapatkan Failed writing bodykesalahan.

# Note: this does NOT work
curl https://gitlab.com/api/v4/projects/ | jq | less

Ketika saya menulis ulang menggunakan proses substitusi, itu berhasil!

# this works!
jq "" <(curl https://gitlab.com/api/v4/projects/) | less

Catatan: jqmenggunakan argumen ke-2 untuk menentukan file input

Bonus: Jika Anda menggunakan jqseperti saya dan ingin menjaga output berwarna di less, gunakan baris perintah berikut ini sebagai gantinya:

jq -C "" <(curl https://gitlab.com/api/v4/projects/) | less -r

(Terima kasih kepada Kowaru untuk penjelasan mereka tentang mengapa Failed writing body itu terjadi. Namun, solusi mereka menggunakan tacdua kali tidak bekerja untuk saya. Saya juga ingin menemukan solusi yang dapat meningkatkan skala untuk file besar dan mencoba untuk menghindari masalah lain yang dicatat sebagai komentar untuk jawaban itu.)