Mengoptimalkan kinerja BCP untuk data BLOB

Saya proses perencanaan migrasi langsung dari database 2TB ke tabel yang dipartisi. Sistem ini secara luas berbicara tentang penyimpanan dokumen, sebagian besar ruang yang dialokasikan untuk LOB antara 50kb dan 500kb, dengan persentase kecil dalam kisaran 500kb hingga 1MB. Bagian dari migrasi akan melibatkan data BCPing dari database lama ke baru.

BCP adalah pendekatan yang lebih disukai karena perpecahan saat ini / historis dalam data memungkinkan penggalian data yang lebih tua secara bertahap (selama periode yang lebih tenang) sebelum beralih terakhir, meminimalkan dampak pada sistem live. Volume data dan ketersediaan penyimpanan menghalangi pembangunan kembali in-situ ke skema partisi .

Saya menduga mungkin ada beberapa peningkatan kinerja yang dapat diperoleh dengan bereksperimen dengan KILOBYTES_PER_BATCH daripada ROWS_PER_BATCH, karena konten BLOB. Disarankan dalam dokumentasi BCP bahwa SQL dapat mengoptimalkan operasi berdasarkan nilai ini.

Apa yang tidak dapat saya temukan adalah petunjuk tentang sifat dari optimasi ini atau di mana untuk memulai pengujian saya. Dalam ketiadaan saran saya akan mencoba berjalan pendek di batas 4/8/16/32 / 64mb untuk memulai.

Mungkin beberapa keuntungan berasal dari mengubah ukuran paket (BCP -a parameter, daripada pengaturan tingkat server) tapi saya cenderung untuk meningkatkan ini ke 65535 maksimum kecuali ada yang punya pendekatan yang lebih rumus.

Ini bukan jawaban langsung untuk pertanyaan Anda, tetapi ada beberapa artikel yang akan Anda manfaatkan dengan membacanya (jika Anda tidak menemukannya terlebih dahulu :-)). Itu adalah tentang memuat banyak data menggunakan salinan bcp / bulk. Saya sudah membaca semuanya dan saya tidak menemukan detail tentang KILOBYTES_PER_BATCH, mereka semua menggunakan ROWS_PER_BATCH, tapi saya yakin Anda akan menemukan informasi berguna lainnya.

• Muat 1TB dalam waktu kurang dari 1 jam (dari tim SQL CAT) - daftar saran dari sini (kutipan):

  • Jalankan proses pemuatan sebanyak yang Anda miliki CPU. Jika Anda memiliki 32 CPU, jalankan 32 beban paralel. Jika Anda memiliki 8 CPU, jalankan 8 beban paralel.
  • Jika Anda memiliki kendali atas pembuatan file input Anda, buat dengan ukuran yang dapat dibagi rata dengan jumlah utas yang ingin Anda jalankan secara paralel. Pastikan juga semua catatan milik satu partisi jika Anda ingin menggunakan strategi beralih partisi.
  • Gunakan BULK masukkan daripada BCP jika Anda menjalankan proses pada mesin SQL Server.
  • Gunakan tabel partisi untuk mendapatkan 8-10% lagi, tetapi hanya jika file input Anda DIJAMIN agar sesuai dengan fungsi partisi Anda, artinya semua rekaman dalam satu file harus berada di partisi yang sama.
  • Gunakan TABLOCK untuk menghindari baris pada waktu mengunci.
  • Gunakan ROWS PER BATCH = 2500, atau sesuatu di dekat ini jika Anda mengimpor beberapa aliran ke satu tabel.

• 10 Praktik Terbaik untuk Membangun Gudang Data Relasional Skala Besar (dari tim SQL CAT) - saran (kutipan):

  • Gunakan model pemulihan SEDERHANA atau BULK LOGGED selama pemuatan data awal.
  • Buat tabel fakta yang dipartisi dengan indeks Clustered.
  • Buat tabel pementasan yang tidak diindeks untuk setiap partisi, dan pisahkan file data sumber untuk mengisi setiap partisi.
  • Isi tabel pementasan secara paralel (Gunakan beberapa tugas BULK INSERT, BCP atau SSIS)
  • Buat indeks berkerumun di setiap tabel pementasan, lalu buat batasan CHECK yang sesuai.
  • SWITCH semua partisi ke dalam tabel yang dipartisi.
  • Buat indeks yang tidak berkerumun di tabel yang dipartisi.

• Panduan Kinerja Pemuatan Data (dari tim SQL CAT)

• Memuat Data Massal ke Tabel Partisi - Artikel Praktik Terbaik SQL Server (artikel Technet)

• SQL Server 2000 Studi Kasus Penambahan Jumlah Massal (artikel Technet)

• Pelajaran yang Dipetik dan Temuan dari POC Fast-Track Besar (dari tim SQL CAT)

• Tips Penyesuaian Kinerja untuk SQL Server BCP (Oleh Brad McGehee)

• Dampak Kinerja: Menemukan Ukuran Batch Paling Optimal (Oleh Linchi Shea)

dan referensi MSDN yang jelas:

• Mengelola Batch untuk Impor Massal
• Mengelola Ukuran Batch Salinan Massal
• Pertimbangan Kinerja Salin Massal
• Pedoman untuk Mengoptimalkan Impor Massal
• Mengoptimalkan Kinerja Impor Massal

Dalam pengalaman pribadi saya, saya berhasil membuat beban data cepat menggunakan beban paralel dan pengujian dengan beberapa ukuran batch. Saya kira hanya pengujian pribadi yang cocok untuk Anda. Semoga Anda akan menemukan beberapa saran bagus di referensi.