Mengapa pemisah unit (ASCII 31) tidak terlihat dalam output terminal?

Pemisah unit karakter ASCII (ASCII 31, oktal 37), terlihat dalam Vim sebagai a ^_. Tetapi jika saya mencetak file yang sama ke terminal, karakternya tidak terlihat. Hal ini menyebabkan bidang pada garis saling menempel:

# In Vim and less:

first field^_second field^_last field

# cat the same file to terminal:
cat delim.txt
first fieldsecond fieldlast field

# print 2nd field with awk 
cat delim.txt | awk 'BEGIN {FS = "\037"} {print $2}'
second field

Saya kira saya dapat membuat pemisah unit terlihat dengan cat -v:

cat -v delim.txt
first field^_second field^_last field

Tapi ini agak rumit. Mengapa pemisah unit tidak memiliki representasi yang terlihat saat dicetak ke stdout di shell Bash? Saya bahkan tidak bisa menyalin dan menempelkan output shell dengan benar; pemisah unit tersesat dalam proses.

Karakter pemisah unit ( US), juga dikenal sebagai IS1, ada di cntrlkelas karakter dan tidak di printkelas karakter. Ini adalah karakter kontrol yang dimaksudkan untuk mengatur teks ke dalam grup, untuk program yang dirancang untuk memanfaatkan informasi itu . Secara umum, karakter yang tidak dapat dicetak mungkin akan ditafsirkan dan diterjemahkan secara berbeda dalam program atau lingkungan yang berbeda.

Alasan Anda melihatnya diwakili ^_dalam Vim adalah karena Vim adalah editor interaktif. Ia dapat dengan bebas membuat karakter yang tidak dapat dicetak sesuai keinginannya, selama karakter biner yang benar ditulis ke disk.

Anda tidak bisa mendapatkan perilaku yang sama di shell karena program shell Unix ditulis untuk beroperasi dan saling menyampaikan teks biasa. Saat Anda catfile, teks yang ditulis ke terminal harus apa yang sebenarnya ada dalam file.

Sehingga meninggalkannya ke perangkat terminal untuk menafsirkan karakter. Dan ternyata bahwa beberapa emulator terminal melakukan render USkarakter berbeda dari orang lain. Dalam gnome-terminal(atau vteterminal berbasis apa pun ), karakter akan diberikan sebagai kotak yang berisi kode hex 001F. Dalam xtermatau rxvt, karakternya memang tidak terlihat.

Pemisah unit berada dalam kisaran ASCII Karakter Kontrol , dan oleh karena itu tidak (atau seharusnya tidak biasanya) memiliki representasi visual.

Vim dan beberapa editor lain menampilkannya, sehingga Anda dapat mengeditnya. Seperti yang Anda perhatikan, cat -vtampilkan juga. Halaman manual menunjukkan, itu -vadalah bentuk singkat dari --show-nonprinting, yang menyebabkannya untuk mengganti karakter yang tidak dicetak dengan representasi yang dapat dicetak, yang bukan konten asli dari file dan karena itu dapat menyebabkan masalah, jika output sebenarnya ke program lain .

Representasi yang Anda lihat sudah mengisyaratkan itu adalah karakter kontrol: karakter yang diawali dengan a ^adalah notasi umum untuk Ctrl+ karakter, yang merupakan kombinasi kunci yang menghasilkan karakter ini di terminal. Ctrl+ _akan membiarkan Anda memasukkan pemisah unit dalam vim, misalnya. Tetapi editor lain atau beberapa penampil GUI mungkin menampilkan kode hex, pengganti atau sesuatu yang sama sekali berbeda.

Karena terminal Anda tidak mencetak karakter kontrol, itu juga tidak disalin ketika memilih teks (karakter spasi seperti baris dan tab baru adalah pengecualian di sini, yang juga karakter kontrol). Contoh lain dari karakter kontrol di terminal yang biasanya diabaikan ketika menyalin adalah kode warna, yang merupakan ESCkarakter yang diikuti oleh kode untuk mewarnai teks.

Jadi untuk menunjukkan karakter pada terminal Anda, tidak ada cara lain selain menggunakan program yang menggantikan pemisah unit dengan beberapa karakter yang dapat dicetak.

Sedikit di margin yang lain jawaban (sangat baik), jika Anda ingin mengubah hanya karakter kontrol ^_ketika menampilkan isi file, Anda mungkin ingin transliterasi itu menggunakan trutilitas (dan sedikit sintaks yang kompatibel dengan bash) :

# Replace the control character US (^_) by *one* other character
$ cat my.file | tr $'\c_' ':'

Jika Anda perlu mengganti karakter kontrol itu dengan formulir "diperluas", Anda perlu sed:

# Replace the control character US (^_) by any string
cat /tmp/f | sed s/$'\c_'/^_/g

Harap perhatikan sintaks $'\cX': sintaks ini memberi tahu Anda (shell yang kompatibel dengan bash) untuk mengganti karakter kontrol yang sesuai. Lihat wikipedia untuk daftar karakter kontrol alias menggunakan "notasi caret". Jika Anda tidak menyukai sintaks itu, Anda mungkin lebih suka menggunakan notasi oktal $'\037'atau heksadesimal $'\x1f'.