Bagaimana cara menjalankan skrip besar dengan banyak sisipan tanpa kehabisan memori?

Pertanyaan:

Saya memiliki skrip dengan sekitar 45 ribu sisipan dari pernyataan pilih. Ketika saya mencoba dan menjalankannya, saya mendapatkan pesan kesalahan yang menyatakan bahwa saya kehabisan memori. Bagaimana saya bisa menjalankan skrip ini?

Konteks:

1. Menambahkan beberapa bidang data baru untuk membuat aplikasi bermain bagus dengan aplikasi lain yang digunakan klien.
2. Mendapat spreadsheet data dari klien yang penuh dengan data yang memetakan item data saat ini ke nilai untuk bidang baru ini.
3. Spreadsheet yang dikonversi untuk menyisipkan pernyataan.
4. Jika saya hanya menjalankan beberapa pernyataan itu berfungsi tetapi seluruh skrip tidak.
5. Tidak. Tidak ada kesalahan ketik.

Jika ada cara yang berbeda saya harus memuat data ini merasa bebas untuk menghukum saya dan memberi tahu saya.

Ukuran batch maksimum untuk SQL Server 2005 adalah 65.536 * Ukuran Paket Jaringan (NPS), di mana NPS biasanya 4KB. Itu berhasil hingga 256 MB. Itu berarti bahwa pernyataan insert Anda akan rata-rata 5,8 KB masing-masing. Itu kelihatannya tidak benar, tapi mungkin ada ruang asing atau sesuatu yang tidak biasa di sana.

Saran pertama saya adalah meletakkan pernyataan "GO" setelah setiap pernyataan INSERT. Ini akan memecah batch tunggal Anda dari 45.000 laporan INSERT menjadi 45.000 batch terpisah. Ini seharusnya lebih mudah dicerna. Hati-hati, jika salah satu sisipan gagal, Anda mungkin kesulitan menemukan pelakunya. Anda mungkin ingin melindungi diri Anda dengan transaksi. Anda dapat menambahkan pernyataan tersebut dengan cepat jika editor Anda memiliki pencarian dan penggantian yang baik (yang akan memungkinkan Anda mencari dan mengganti karakter yang dikembalikan seperti \ r \ n) atau fasilitas makro.

Saran kedua adalah menggunakan Wisaya untuk mengimpor data langsung dari Excel. Wisaya membuat paket SSIS kecil untuk Anda, di belakang layar, dan kemudian menjalankannya. Itu tidak akan memiliki masalah ini.

BULK INSERT atau bcp tampaknya opsi yang lebih tepat daripada 45.000 pernyataan insert.

Jika Anda harus tetap menggunakan pernyataan insert, saya akan mempertimbangkan beberapa opsi:

A: Gunakan transaksi dan bungkus batch 100 atau 500 atau 1000 pernyataan di masing-masing untuk meminimalkan dampak pada log dan batch. misalnya

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: Alih-alih pernyataan penyisipan individual, gunakan UNION ALLuntuk 100 atau 500 pernyataan sekaligus, mis

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

Saya telah meninggalkan kesalahan penanganan untuk singkatnya, tetapi intinya adalah bahwa saya tidak akan pernah mencoba mengirim batch tunggal 45.000 laporan individu ke SQL Server.

Saya tidak yakin mengapa Anda keluar dari kesalahan memori, tetapi ada pendekatan yang lebih mudah.

Jika Anda dapat mengekspor data dari spreadsheet ke dalam format yang dibatasi (mis. Csv), Anda dapat menggunakan panduan impor data di SSMS untuk memasukkan data untuk Anda:

Menggunakan beberapa SqlBulkCopy, buat tabel temp. Masukkan data baru ke tabel temp, kemudian gabungkan data di tabel temp ke yang sudah ada. Contoh menggunakan Metode C # SqlBulkCopy.WriteToServer (DataTable) . Semoga ini bisa membantu

Ya kita bisa melakukan itu, saya mencoba dengan pendekatan BCP (Bulk Copy Program) untuk menghindari masalah OutOfMemory .

Catatan : Mencoba di SQL Server 2014.

Di BCP, pertama-tama kita perlu mengekspor data basis data Sumber ke file bcp (dalam folder direktori lokal) dan kemudian perlu mengimpor file bcp ke database tujuan.

Berikut adalah langkah-langkah kue berjalan:

catatan:

a) Pastikan tabel kosong ada di database Tujuan

b) Pastikan folder Temp ada di drive C.

1. Buat file kelelawar bernama Export_Data.bat dengan perintah di bawah ini:

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   jeda

2. Jalankan file bat itu, sebagai akibatnya file bcp akan dihasilkan di folder Temp

3. Kemudian buat file kelelawar lain bernama Import_Data.bat dengan perintah berikut:

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Jeda

Dan ini dia!