Microsoft Excel mangles Diacritics dalam file .csv?

Saya secara terprogram mengekspor data (menggunakan PHP 5.2) ke dalam file uji .csv.
Contoh data: Numéro 1(perhatikan aksen e). Data tersebut utf-8(tidak ada BOM yang diawali).

Ketika saya membuka file ini di MS Excel ditampilkan sebagai Numéro 1.

Saya dapat membuka ini di editor teks (UltraEdit) yang menampilkannya dengan benar. UE melaporkan karakternya decimal 233.

Bagaimana saya bisa mengekspor data teks dalam file .csv sehingga MS Excel akan merendernya dengan benar , lebih disukai tanpa memaksakan penggunaan panduan impor, atau pengaturan panduan non-default?

File UTF8 yang diformat dengan benar dapat memiliki Byte Order Mark sebagai tiga oktet pertama. Ini adalah nilai hex 0xEF, 0xBB, 0xBF. Oktet ini berfungsi untuk menandai file sebagai UTF8 (karena mereka tidak relevan sebagai informasi "byte order"). 1 Jika BOM ini tidak ada, konsumen / pembaca dibiarkan untuk menyimpulkan jenis penyandian teks. Pembaca yang tidak mampu UTF8 akan membaca byte sebagai beberapa penyandian lain seperti Windows-1252 dan menampilkan karakter pada awal file.

Ada bug yang diketahui di mana Excel, saat membuka file CSF UTF8 melalui asosiasi file, mengasumsikan bahwa mereka berada dalam pengkodean byte tunggal, mengabaikan keberadaan BOM UTF8. Ini tidak dapat diperbaiki oleh codepage atau pengaturan bahasa default sistem. BOM tidak akan tahu di Excel - itu tidak akan berfungsi. (Laporan minoritas mengklaim bahwa BOM terkadang memicu wizard "Impor Teks"). Bug ini tampaknya ada di Excel 2003 dan sebelumnya. Sebagian besar laporan (di tengah jawaban di sini) mengatakan bahwa ini diperbaiki di Excel 2007 dan yang lebih baru.

Perhatikan bahwa Anda selalu dapat * dengan benar membuka file UTF8 CSV di Excel menggunakan wizard "Impor Teks", yang memungkinkan Anda menentukan enkode file yang Anda buka. Tentu saja ini jauh lebih tidak nyaman.

Pembaca jawaban ini kemungkinan besar dalam situasi di mana mereka tidak mendukung Excel <2007, tetapi mengirim teks UTF8 mentah ke Excel, yang salah menafsirkannya dan menaburkan teks Anda dengan Ãdan karakter Windows-1252 serupa lainnya. Menambahkan BOM UTF8 mungkin adalah perbaikan terbaik dan tercepat Anda.

Jika Anda terjebak dengan pengguna pada Excels yang lebih lama, dan Excel adalah satu-satunya konsumen CSV Anda, Anda dapat mengatasinya dengan mengekspor UTF16 alih-alih UTF8. Excel 2000 dan 2003 akan klik dua kali-buka ini dengan benar. (Beberapa editor teks lain dapat memiliki masalah dengan UTF16, jadi Anda mungkin harus mempertimbangkan pilihan Anda dengan cermat.)

_{* Kecuali jika Anda tidak bisa, (setidaknya) Excel 2011 untuk Wisaya Impor Mac sebenarnya tidak selalu berfungsi dengan semua penyandian, terlepas dari apa yang Anda katakan. </anecdotal-evidence> :)}

Membebani BOM (\ uFEFF) berhasil untuk saya (Excel 2007), karena Excel mengenali file tersebut sebagai UTF-8. Kalau tidak, menyimpannya dan menggunakan wizard impor berfungsi, tetapi kurang ideal.

Di bawah ini adalah kode PHP yang saya gunakan dalam proyek saya ketika mengirim Microsoft Excel ke pengguna:

  /**
   * Export an array as downladable Excel CSV
   * @param array   $header
   * @param array   $data
   * @param string  $filename
   */
  function toCSV($header, $data, $filename) {
    $sep  = "\t";
    $eol  = "\n";
    $csv  =  count($header) ? '"'. implode('"'.$sep.'"', $header).'"'.$eol : '';
    foreach($data as $line) {
      $csv .= '"'. implode('"'.$sep.'"', $line).'"'.$eol;
    }
    $encoded_csv = mb_convert_encoding($csv, 'UTF-16LE', 'UTF-8');
    header('Content-Description: File Transfer');
    header('Content-Type: application/vnd.ms-excel');
    header('Content-Disposition: attachment; filename="'.$filename.'.csv"');
    header('Content-Transfer-Encoding: binary');
    header('Expires: 0');
    header('Cache-Control: must-revalidate, post-check=0, pre-check=0');
    header('Pragma: public');
    header('Content-Length: '. strlen($encoded_csv));
    echo chr(255) . chr(254) . $encoded_csv;
    exit;
  }

DIPERBARUI: Peningkatan nama file dan BUG memperbaiki perhitungan panjang yang benar. Terima kasih untuk TRiG dan @ ivanhoe011

Jawaban untuk semua kombinasi versi Excel (2003 + 2007) dan tipe file

Sebagian besar jawaban lain di sini hanya menyangkut versi Excel mereka dan tidak akan selalu membantu Anda, karena jawaban mereka mungkin tidak benar untuk versi Excel Anda.

Misalnya, menambahkan karakter BOM menimbulkan masalah dengan pengenalan pemisah kolom otomatis, tetapi tidak dengan setiap versi Excel.

Ada 3 variabel yang menentukan apakah itu berfungsi di sebagian besar versi Excel:

• Pengkodean
• Kehadiran karakter BOM
• Pemisah sel

Seseorang yang tabah di SAP mencoba setiap kombinasi dan melaporkan hasilnya. Hasil akhir? Gunakan UTF16le dengan BOM dan karakter tab sebagai pemisah agar berfungsi di sebagian besar versi Excel.

Kamu tidak percaya padaku? Saya juga tidak akan, tetapi baca di sini dan menangis: http://wiki.sdn.sap.com/wiki/display/ABAP/CSV+tests+of+encoding+and+column+separator

pilih pengkodean UTF-8 saat mengimpor. jika Anda menggunakan Office 2007 ini adalah tempat Anda memilihnya: tepat setelah Anda membuka file.

Echo UTF-8 BOM sebelum mengeluarkan data CSV. Ini memperbaiki semua masalah karakter di Windows tetapi tidak berfungsi untuk Mac.

echo "\xEF\xBB\xBF";

Ini berfungsi untuk saya karena saya perlu membuat file yang hanya akan digunakan pada PC Windows.

UTF-8 tidak bekerja untuk saya di kantor 2007 tanpa paket layanan apa pun, dengan atau tanpa BOM (U + ffef atau 0xEF, 0xBB, 0xBF, tidak berfungsi) menginstal sp3 membuat UTF-8 berfungsi ketika 0xEF, 0xBB, 0xBF BOM adalah didahulukan.

UTF-16 bekerja ketika pengkodean dalam python menggunakan "utf-16-le" dengan 0xff 0xef BOM yang diawali, dan menggunakan tab sebagai pemisah. Saya harus menulis BOM secara manual, dan kemudian menggunakan "utf-16-le" daripada "utf-16", jika tidak masing-masing menyandikan BOM untuk setiap baris yang dituliskan yang muncul sebagai sampah di kolom pertama baris kedua dan sesudahnya.

tidak dapat memastikan apakah UTF-16 akan berfungsi tanpa sp diinstal, karena saya tidak dapat kembali sekarang. mendesah

Ini di windows, tidak tahu tentang kantor untuk MAC.

untuk kedua kasus yang berfungsi, impor berfungsi saat meluncurkan unduhan langsung dari browser dan panduan impor teks tidak mengganggu, berfungsi seperti yang Anda harapkan.

Seperti yang dikatakan Fregal, \ uFEFF adalah caranya.

<%@LANGUAGE="JAVASCRIPT" CODEPAGE="65001"%>
<%
Response.Clear();
Response.ContentType = "text/csv";
Response.Charset = "utf-8";
Response.AddHeader("Content-Disposition", "attachment; filename=excelTest.csv");
Response.Write("\uFEFF");
// csv text here
%>

Saya juga memperhatikan bahwa pertanyaan itu "dijawab" beberapa waktu lalu, tetapi saya tidak mengerti cerita yang mengatakan Anda tidak dapat membuka file csv yang dikodekan utf8 dengan sukses di Excel tanpa menggunakan wizard teks.

Pengalaman saya yang dapat direproduksi: Ketik Old MacDonald had a farm,ÈÌÉÍØke Notepad, tekan Enter, lalu Save As (menggunakan opsi UTF-8).

Menggunakan Python untuk menunjukkan apa yang sebenarnya ada di sana:

>>> open('oldmac.csv', 'rb').read()
'\xef\xbb\xbfOld MacDonald had a farm,\xc3\x88\xc3\x8c\xc3\x89\xc3\x8d\xc3\x98\r\n'
>>> ^Z

Baik. Notepad telah menempatkan BOM di bagian depan.

Sekarang masuk ke Windows Explorer, klik dua kali pada nama file, atau klik kanan dan gunakan "Buka dengan ...", dan muncul Excel (2003) dengan tampilan seperti yang diharapkan.

Anda dapat menyimpan file html dengan ekstensi 'xls' dan aksen akan berfungsi (setidaknya 2007).

Contoh: simpan ini (menggunakan Save As utf8 di Notepad) sebagai test.xls:

<html>
<meta http-equiv="Content-Type" content="text/html" charset="utf-8" />
<table>
<tr>
  <th>id</th>
  <th>name</th>
</tr>
<tr>
 <td>4</td>
 <td>Hélène</td>
</tr>
</table>
</html>

Ini hanya masalah pengkodean karakter. Sepertinya Anda mengekspor data Anda sebagai UTF-8: é di UTF-8 adalah urutan dua byte 0xC3 0xA9, yang bila ditafsirkan dalam Windows-1252 adalah à ©. Saat Anda mengimpor data ke Excel, pastikan untuk memberi tahu bahwa pengkodean karakter yang Anda gunakan adalah UTF-8.

Format CSV diimplementasikan sebagai ASCII, bukan unicode, di Excel, sehingga membingungkan para diakritik. Kami mengalami masalah yang sama yaitu bagaimana saya melacak bahwa standar CSV resmi didefinisikan sebagai berbasis ASCII di Excel.

Excel 2007 membaca dengan benar UTF-8 dengan BOM (EF BB BF) yang dikodekan csv.

Excel 2003 (dan mungkin sebelumnya) membaca UTF-16LE dengan BOM (FF FE), tetapi dengan TAB bukan koma atau titik koma.

Saya hanya bisa mendapatkan CSV untuk mem-parse dengan benar di Excel 2007 sebagai UTF-16 little-endian yang dipisahkan-tab dimulai dengan tanda urutan byte yang tepat.

Menulis BOM ke file CSV keluaran benar-benar bekerja untuk saya di Django:

def handlePersoonListExport(request):
    # Retrieve a query_set
    ...

    template = loader.get_template("export.csv")
    context = Context({
        'data': query_set,
    })

    response = HttpResponse()
    response['Content-Disposition'] = 'attachment; filename=export.csv'
    response['Content-Type'] = 'text/csv; charset=utf-8'
    response.write("\xEF\xBB\xBF")
    response.write(template.render(context))

    return response

Untuk info lebih lanjut http://crashcoursing.blogspot.com/2011/05/exporting-csv-with-special-characters.html Terima kasih kawan!

Solusi lain yang saya temukan hanyalah mengkodekan hasilnya sebagai Windows Code Page 1252 (Windows-1252 atau CP1252). Ini akan dilakukan, misalnya dengan mengatur secara Content-Typetepat untuk sesuatu seperti text/csv; charset=Windows-1252dan mengatur pengkodean karakter dari aliran respons yang sama.

Perhatikan bahwa memasukkan BOM UTF-8 tidak selalu merupakan ide yang baik - versi Mac dari Excel mengabaikannya dan benar-benar akan menampilkan BOM sebagai ASCII ... tiga karakter jahat di awal bidang pertama di spreadsheet Anda ...

Periksa penyandian di mana Anda membuat file, untuk membuat excel menampilkan file dengan benar, Anda harus menggunakan codepage default sistem.

Bahasa Wich yang Anda gunakan? jika .Net, Anda hanya perlu menggunakan Encoding.Default saat membuat file.

Jika Anda memiliki kode lawas di vb.net seperti yang saya miliki, kode berikut ini berfungsi untuk saya:

    Response.Clear()
    Response.ClearHeaders()
    Response.ContentType = "text/csv"
    Response.Expires = 0
    Response.AddHeader("Content-Disposition", "attachment; filename=export.csv;")
    Using sw As StreamWriter = New StreamWriter(Context.Response.OutputStream, System.Text.Encoding.Unicode)
        sw.Write(csv)
        sw.Close()
    End Using
    Response.End()

Saya telah menemukan cara untuk menyelesaikan masalah. Ini adalah hack jahat tetapi berfungsi: buka doc dengan Open Office , lalu simpan ke dalam format excel; yang dihasilkan .xlsatau .xlsxakan menampilkan karakter yang ditekankan.

Dengan Ruby 1.8.7 saya menyandikan setiap bidang ke UTF-16 dan membuang BOM (mungkin).

Kode berikut diekstrak dari active_scaffold_export:

<%                                                                                                                                                                                                                                                                                                                           
      require 'fastercsv'                                                                                                                                                                                                                                                                                                        
      fcsv_options = {                                                                                                                                                                                                                                                                                                           
        :row_sep => "\n",                                                                                                                                                                                                                                                                                                        
        :col_sep => params[:delimiter],                                                                                                                                                                                                                                                                                          
        :force_quotes => @export_config.force_quotes,                                                                                                                                                                                                                                                                            
        :headers => @export_columns.collect { |column| format_export_column_header_name(column) }                                                                                                                                                                                                                                
      }                                                                                                                                                                                                                                                                                                                          

      data = FasterCSV.generate(fcsv_options) do |csv|                                                                                                                                                                                                                                                                           
        csv << fcsv_options[:headers] unless params[:skip_header] == 'true'                                                                                                                                                                                                                                                      
        @records.each do |record|                                                                                                                                                                                                                                                                                                
          csv << @export_columns.collect { |column|                                                                                                                                                                                                                                                                              
            # Convert to UTF-16 discarding the BOM, required for Excel (> 2003 ?)                                                                                                                                                                                                                                     
            Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]                                                                                                                                                                                                                                        
          }                                                                                                                                                                                                                                                                                                                      
        end                                                                                                                                                                                                                                                                                                                      
      end                                                                                                                                                                                                                                                                                                                        
    -%><%= data -%>

Garis yang penting adalah:

Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]

buka file csv dengan notepad ++ clic pada Encode, pilih convert to UTF-8 (not convert to UTF-8 (tanpa BOM)) Simpan open by double clic dengan excel Harapan yang membantu Christophe GRISON