Bagaimana cara mengunduh file biner melalui HTTP?

Bagaimana cara saya mengunduh dan menyimpan file biner melalui HTTP menggunakan Ruby?

URL-nya adalah http://somedomain.net/flv/sample/sample.flv.

Saya menggunakan platform Windows dan saya lebih suka tidak menjalankan program eksternal.

Cara paling sederhana adalah solusi khusus platform:

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

Mungkin Anda sedang mencari:

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

Edit: Diubah. Terima kasih.

Edit2: Solusi yang menyimpan sebagian file saat mengunduh:

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

Saya tahu ini adalah pertanyaan lama, tetapi Google melemparkan saya ke sini dan saya pikir saya menemukan jawaban yang lebih sederhana.

Dalam Railscasts # 179 , Ryan Bates menggunakan OpenURI kelas standar Ruby untuk melakukan banyak hal seperti ini:

( Peringatan : kode yang belum diuji. Anda mungkin perlu mengubah / menyesuaikannya.)

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

Ini adalah http Ruby saya untuk menggunakan file open(name, *rest, &block).

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

Keuntungan utama di sini adalah ringkas dan sederhana, karena opentidak banyak mengangkat beban. Dan itu tidak membaca seluruh respons dalam memori.

The openMetode akan streaming tanggapan> 1kb ke Tempfile. Kami dapat memanfaatkan pengetahuan ini untuk menerapkan metode unduhan lean ke file ini. Lihat OpenURI::Bufferimplementasinya di sini.

Harap berhati-hati dengan input yang diberikan pengguna! open(name, *rest, &block)tidak aman jika nameberasal dari input pengguna!

Contoh 3 dalam dokumentasi / http net Ruby menunjukkan cara mengunduh dokumen melalui HTTP, dan untuk menghasilkan file alih-alih hanya memuatnya ke dalam memori, gantilah dengan biner tulis ke file, misalnya seperti yang ditunjukkan dalam jawaban Dejw.

Kasus yang lebih kompleks ditunjukkan lebih jauh ke bawah dalam dokumen yang sama.

Anda dapat menggunakan open-uri, yang merupakan liner satu

require 'open-uri'
content = open('http://example.com').read

Atau dengan menggunakan net / http

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

Memperluas jawaban Dejw (edit2):

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

dimana filenamedan urlstring.

The sleepperintah adalah hack yang dapat secara dramatis mengurangi penggunaan CPU ketika jaringan adalah faktor pembatas. Net :: HTTP tidak menunggu buffer (16kB dalam v1.9.2) untuk diisi sebelum menghasilkan, sehingga CPU sibuk memindahkan potongan-potongan kecil. Tidur sebentar memberikan buffer kesempatan untuk mengisi antara menulis, dan penggunaan CPU sebanding dengan solusi keriting, perbedaan 4-5x dalam aplikasi saya. Solusi yang lebih kuat mungkin memeriksa kemajuan f.posdan menyesuaikan batas waktu untuk menargetkan, katakanlah, 95% dari ukuran buffer - sebenarnya itulah cara saya mendapatkan angka 0,005 dalam contoh saya.

Maaf, tapi saya tidak tahu cara yang lebih elegan untuk membuat Ruby menunggu buffer untuk mengisi.

Edit:

Ini adalah versi yang secara otomatis menyesuaikan diri untuk menjaga buffer hanya pada atau di bawah kapasitas. Ini adalah solusi yang tidak bagus, tetapi tampaknya sama cepatnya, dan menggunakan waktu CPU sesedikit mungkin, karena itu memanggil untuk mengeriting.

Ini bekerja dalam tiga tahap. Suatu periode pembelajaran singkat dengan waktu tidur yang sengaja panjang menetapkan ukuran buffer penuh. Periode drop mengurangi waktu tidur dengan cepat dengan setiap iterasi, dengan mengalikannya dengan faktor yang lebih besar, sampai menemukan buffer yang kurang terisi. Kemudian, selama periode normal, itu menyesuaikan atas dan ke bawah oleh faktor yang lebih kecil.

Ruby saya agak berkarat, jadi saya yakin ini bisa diperbaiki. Pertama-tama, tidak ada penanganan kesalahan. Juga, mungkin itu bisa dipisahkan menjadi objek, jauh dari pengunduhan itu sendiri, sehingga Anda hanya perlu menelepon autosleep.sleep(f.pos)di loop Anda? Bahkan lebih baik, Net :: HTTP dapat diubah untuk menunggu buffer penuh sebelum menghasilkan :-)

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

Ada lebih banyak perpustakaan yang ramah api daripada Net::HTTP, misalnya httparty :

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

Saya punya masalah, jika file tersebut berisi Umlaut Jerman (ä, ö, ü). Saya bisa memecahkan masalah dengan menggunakan:

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

jika Anda mencari cara bagaimana mengunduh file sementara, lakukan sesuatu dan hapus itu coba permata ini https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end