Mengatur penyandian yang benar saat memipakan stdout dengan Python

Saat menyalurkan output dari program Python, juru bahasa Python menjadi bingung tentang penyandian dan mengaturnya ke None. Ini berarti program seperti ini:

# -*- coding: utf-8 -*-
print u"åäö"

akan berfungsi dengan baik saat dijalankan secara normal, tetapi gagal dengan:

UnicodeEncodeError: 'ascii' codec tidak dapat menyandikan karakter u '\ xa0' di posisi 0: ordinal tidak dalam jangkauan (128)

bila digunakan dalam urutan pipa.

Apa cara terbaik untuk membuat ini berfungsi saat pemipaan? Bisakah saya katakan saja untuk menggunakan pengkodean apa pun shell / filesystem / apa pun yang menggunakan?

Saran yang saya lihat sejauh ini adalah untuk memodifikasi situs Anda.py secara langsung, atau hardcoding defaultencoding menggunakan hack ini:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

Apakah ada cara yang lebih baik untuk membuat perpipaan bekerja?

Kode Anda berfungsi saat dijalankan dalam skrip karena Python mengkodekan output ke apa pun yang menggunakan aplikasi terminal Anda. Jika Anda mengirim pipa, Anda harus menyandikannya sendiri.

Aturan praktisnya adalah: Selalu gunakan Unicode secara internal. Dekode apa yang Anda terima, dan sandi apa yang Anda kirim.

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Contoh didaktik lain adalah program Python untuk mengkonversi antara ISO-8859-1 dan UTF-8, membuat semuanya huruf besar di antaranya.

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

Mengatur pengkodean default sistem adalah ide yang buruk, karena beberapa modul dan pustaka yang Anda gunakan dapat bergantung pada fakta bahwa itu adalah ASCII. Jangan lakukan itu.

Pertama, mengenai solusi ini:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Tidak praktis untuk mencetak secara eksplisit dengan penyandian yang diberikan setiap waktu. Itu akan menjadi berulang dan rawan kesalahan.

Solusi yang lebih baik adalah mengubah sys.stdoutpada awal program Anda, untuk menyandikan dengan penyandian yang dipilih. Berikut adalah salah satu solusi yang saya temukan di Python: Bagaimana sys.stdout.encoding dipilih? , khususnya komentar oleh "toka":

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

Anda mungkin ingin mencoba mengubah variabel lingkungan "PYTHONIOENCODING" menjadi "utf_8". Saya telah menulis sebuah halaman tentang cobaan saya dengan masalah ini .

Tl; dr dari posting blog:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

Memberi anda

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

melakukan pekerjaan itu, tetapi tidak dapat mengaturnya di python itu sendiri ...

yang dapat kami lakukan adalah memverifikasi jika tidak mengatur dan memberi tahu pengguna untuk menyetelnya sebelum skrip panggilan dengan:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

Perbarui untuk membalas komentar: masalah baru saja ada ketika mengirim pesan ke stdout. Saya menguji dalam Fedora 25 Python 2.7.13

python --version
Python 2.7.13

kucing b.py

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

menjalankan ./b.py

UTF-8

menjalankan ./b.py | kurang

None

Saya memiliki masalah serupa minggu lalu . Itu mudah untuk diperbaiki di IDE saya (PyCharm).

Inilah perbaikan saya:

Mulai dari bilah menu PyCharm: File -> Settings ... -> Editor -> File Encodings, kemudian atur: "IDE Encoding", "Project Encoding" dan "Encoding default untuk file properti" ALL ke UTF-8 dan dia sekarang bekerja seperti pesona.

Semoga ini membantu!

Versi yang bisa diperdebatkan dari jawaban Craig McQueen.

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

Pemakaian:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

Saya bisa "mengotomatisasi" itu dengan panggilan ke:

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

Ya, mungkin untuk mendapatkan loop tak terbatas di sini jika "setenv" ini gagal.

Saya hanya berpikir saya akan menyebutkan sesuatu di sini yang saya harus menghabiskan waktu lama untuk bereksperimen sebelum saya akhirnya menyadari apa yang sedang terjadi. Ini mungkin sangat jelas bagi semua orang di sini sehingga mereka tidak repot-repot menyebutkannya. Tapi itu akan membantu saya jika mereka melakukannya, maka pada prinsip itu ...!

NB: Saya menggunakan Jython secara khusus, v 2.7, jadi mungkin saja ini tidak berlaku untuk CPython ...

NB2: dua baris pertama file .py saya di sini adalah:

# -*- coding: utf-8 -*-
from __future__ import print_function

Mekanisme konstruksi string "%" (AKA "interpolasi operator") menyebabkan masalah TAMBAHAN juga ... Jika pengkodean default "lingkungan" adalah ASCII dan Anda mencoba melakukan sesuatu seperti

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Anda tidak akan kesulitan menjalankan di Eclipse ... Di Windows CLI (jendela DOS) Anda akan menemukan bahwa penyandiannya adalah kode halaman 850 (OS Windows 7 saya) atau yang serupa, yang setidaknya dapat menangani karakter aksen Eropa, jadi akan bekerja.

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

juga akan bekerja.

Jika, OTOH, Anda mengarahkan ke file dari CLI, pengkodean stdout akan menjadi None, yang akan menjadi standar ASCII (pada OS saya), yang tidak akan dapat menangani salah satu dari cetakan di atas ... (pengkodean menakutkan kesalahan).

Jadi, Anda mungkin berpikir untuk mengarahkan ulang stdout Anda dengan menggunakan

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

dan coba jalankan dalam pemipaan CLI ke file ... Anehnya, cetak A di atas akan berfungsi ... Tapi cetak B di atas akan membuang kesalahan penyandian! Namun berikut ini akan berfungsi OK:

print( u"bonjour, " + "fréd" ) # Call this "print C"

Kesimpulan saya datang ke (sementara) adalah bahwa jika sebuah string yang ditentukan untuk menjadi string Unicode menggunakan awalan "u" diajukan ke mekanisme penanganan% tampaknya melibatkan penggunaan pengkodean lingkungan default, terlepas dari apakah Anda telah mengatur stdout untuk mengarahkan ulang!

Bagaimana orang berurusan dengan ini adalah masalah pilihan. Saya akan menyambut pakar Unicode untuk mengatakan mengapa ini terjadi, apakah saya salah dalam beberapa hal, apa solusi yang disukai untuk ini, apakah itu juga berlaku untuk CPython , apakah itu terjadi pada Python 3, dll., Dll.

Saya mengalami masalah ini dalam aplikasi lawas, dan sulit untuk mengidentifikasi di mana apa yang dicetak. Saya membantu diri saya dengan hack ini:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

Di atas skrip saya, test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

Perhatikan bahwa ini mengubah SEMUA panggilan untuk mencetak untuk menggunakan penyandian, sehingga konsol Anda akan mencetak ini:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

Di Windows, saya sering mengalami masalah ini ketika menjalankan kode Python dari editor (seperti Sublime Text), tetapi tidak jika menjalankannya dari command-line.

Dalam hal ini, periksa parameter editor Anda. Dalam kasus SublimeText, ini Python.sublime-buildmenyelesaikannya:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}