ruby 1.9: urutan byte tidak valid di UTF-8

Saya menulis crawler di Ruby (1.9) yang mengkonsumsi banyak HTML dari banyak situs acak.
Ketika mencoba mengekstrak tautan, saya memutuskan untuk menggunakan saja .scan(/href="(.*?)"/i)daripada nokogiri / hpricot (percepatan besar). Masalahnya adalah sekarang saya menerima banyak " invalid byte sequence in UTF-8" kesalahan.
Dari apa yang saya pahami, net/httpperpustakaan tidak memiliki opsi khusus pengkodean dan hal-hal yang masuk pada dasarnya tidak diberi tag dengan benar.
Apa cara terbaik untuk benar-benar bekerja dengan data yang masuk itu? Saya mencoba .encodedengan set opsi ganti dan tidak valid, tetapi sejauh ini tidak berhasil ...

Di Ruby 1.9.3, Anda dapat menggunakan String.encode untuk "mengabaikan" urutan UTF-8 yang tidak valid. Berikut ini cuplikan yang akan berfungsi baik di 1.8 ( iconv ) dan 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

atau jika Anda memiliki masukan yang sangat merepotkan, Anda dapat melakukan konversi ganda dari UTF-8 ke UTF-16 dan kembali ke UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Jawaban yang diterima atau jawaban lainnya cocok untuk saya. Saya menemukan posting ini yang menyarankan

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Ini memperbaiki masalah saya.

Solusi saya saat ini adalah menjalankan:

my_string.unpack("C*").pack("U*")

Ini setidaknya akan menghilangkan pengecualian yang merupakan masalah utama saya

Coba ini:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Saya menyarankan Anda untuk menggunakan parser HTML. Temukan saja yang tercepat.

Parsing HTML tidak semudah kelihatannya.

Browser mengurai urutan UTF-8 yang tidak valid, dalam dokumen HTML UTF-8, cukup dengan meletakkan simbol " ". Jadi, setelah urutan UTF-8 yang tidak valid di HTML diurai, teks yang dihasilkan adalah string yang valid.

Bahkan di dalam nilai atribut Anda harus mendekode entitas HTML seperti amp

Berikut adalah pertanyaan bagus yang merangkum mengapa Anda tidak dapat mengurai HTML dengan ekspresi reguler secara andal: RegEx mencocokkan tag terbuka kecuali tag mandiri XHTML

Ini sepertinya berhasil:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Saya menemukan string, yang memiliki campuran bahasa Inggris, Rusia, dan beberapa abjad lainnya, yang menyebabkan pengecualian. Saya hanya perlu bahasa Rusia dan Inggris, dan saat ini ini berfungsi untuk saya:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Sementara solusi Nakilon berfungsi, setidaknya sejauh melewati kesalahan, dalam kasus saya, saya memiliki karakter aneh yang berasal dari Microsoft Excel yang dikonversi ke CSV yang mendaftar di ruby ​​sebagai (dapatkan ini) cyrillic K yang di ruby adalah K. yang tebal. Untuk memperbaikinya, saya menggunakan 'iso-8859-1' yaitu. CSV.parse(f, :encoding => "iso-8859-1"), yang mengubah Cyrillic K saya yang aneh menjadi jauh lebih mudah diatur /\xCA/, yang kemudian bisa saya hapus denganstring.gsub!(/\xCA/, '')

Sebelum Anda menggunakan scan, pastikan bahwa Content-Typeheader halaman yang diminta adalah text/html, karena mungkin ada link ke hal-hal seperti gambar yang tidak dikodekan dalam UTF-8. Halaman tersebut juga bisa non-html jika Anda mengambil hrefsesuatu seperti <link>elemen. Cara memeriksanya bervariasi pada pustaka HTTP apa yang Anda gunakan. Kemudian, pastikan hasilnya hanya ascii dengan String#ascii_only?(bukan UTF-8 karena HTML seharusnya hanya menggunakan ascii, entitas dapat digunakan sebaliknya). Jika kedua tes tersebut lulus, maka aman digunakan scan.

Jika Anda tidak "peduli" dengan data, Anda dapat melakukan sesuatu seperti:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Saya hanya biasa valid_encoding?melewatinya. Milik saya adalah bidang pencarian, jadi saya menemukan keanehan yang sama berulang kali jadi saya menggunakan sesuatu seperti: hanya agar sistem tidak rusak. Karena saya tidak mengontrol pengalaman pengguna untuk melakukan validasi otomatis sebelum mengirim info ini (seperti umpan balik otomatis untuk mengatakan "dummy up!") Saya hanya dapat menerimanya, menghapusnya, dan mengembalikan hasil kosong.