Ubah batas untuk "Ukuran Baris Mysql terlalu besar"

Bagaimana saya bisa mengubah batas

Ukuran baris terlalu besar (> 8126). Mengubah beberapa kolom menjadi TEXT atau BLOB atau menggunakan ROW_FORMAT=DYNAMIC or ROW_FORMAT=COMPRESSEDmungkin membantu. Dalam format baris saat ini, BLOBprefiks 768 byte disimpan sebaris.

Meja:

id  int(11) No       
name    text    No       
date    date    No       
time    time    No       
schedule    int(11) No       
category    int(11) No       
top_a   varchar(255)    No       
top_b   varchar(255)    No       
top_c   varchar(255)    No       
top_d   varchar(255)    No       
top_e   varchar(255)    No       
top_f   varchar(255)    No       
top_g   varchar(255)    No       
top_h   varchar(255)    No       
top_i   varchar(255)    No       
top_j   varchar(255)    No       
top_title_a varchar(255)    No       
top_title_b varchar(255)    No       
top_title_c varchar(255)    No       
top_title_d varchar(255)    No       
top_title_e varchar(255)    No       
top_title_f varchar(255)    No       
top_title_g varchar(255)    No       
top_title_h varchar(255)    No       
top_title_i varchar(255)    No       
top_title_j varchar(255)    No       
top_desc_a  text    No       
top_desc_b  text    No       
top_desc_c  text    No       
top_desc_d  text    No       
top_desc_e  text    No       
top_desc_f  text    No       
top_desc_g  text    No       
top_desc_h  text    No       
top_desc_i  text    No       
top_desc_j  text    No       
status  int(11) No       
admin_id    int(11) No 

Pertanyaan telah ditanyakan pada serverfault juga.

Anda mungkin ingin melihat artikel ini yang menjelaskan banyak tentang ukuran baris MySQL. Penting untuk diperhatikan bahwa meskipun Anda menggunakan bidang TEXT atau BLOB, ukuran baris Anda masih bisa lebih dari 8K (batas untuk InnoDB) karena menyimpan 768 byte pertama untuk setiap bidang sebaris di halaman.

Cara termudah untuk memperbaikinya adalah dengan menggunakan format file Barracuda dengan InnoDB. Ini pada dasarnya menghilangkan masalah sama sekali dengan hanya menyimpan penunjuk 20 byte ke data teks daripada menyimpan 768 byte pertama.

Metode yang berhasil untuk OP itu adalah:

1. Tambahkan berikut ini ke my.cnffile di bawah [mysqld]bagian.

   innodb_file_per_table=1
   innodb_file_format = Barracuda
   

2. ALTERtabel untuk digunakan ROW_FORMAT=COMPRESSED.

   ALTER TABLE nombre_tabla
       ENGINE=InnoDB
       ROW_FORMAT=COMPRESSED 
       KEY_BLOCK_SIZE=8;
   

Ada kemungkinan hal di atas masih belum menyelesaikan masalah Anda. Ini adalah bug yang diketahui (dan diverifikasi) dengan mesin InnoDB , dan perbaikan sementara untuk saat ini adalah kembali ke mesin MyISAM sebagai penyimpanan sementara. Jadi, di my.cnffile Anda :

internal_tmp_disk_storage_engine=MyISAM

Saya mengalami masalah ini baru-baru ini dan menyelesaikannya dengan cara yang berbeda. Jika Anda menjalankan MySQL versi 5.6.20, ada bug yang diketahui di sistem. Lihat dokumen MySQL

Penting Karena Bug # 69477, mengulang penulisan log untuk bidang BLOB yang besar dan disimpan secara eksternal dapat menimpa checkpoint terbaru. Untuk mengatasi bug ini, patch yang diperkenalkan di MySQL 5.6.20 membatasi ukuran redo log BLOB write hingga 10% dari ukuran file redo log. Sebagai hasil dari batas ini, innodb_log_file_size harus disetel ke nilai yang lebih besar dari 10 kali ukuran data BLOB terbesar yang ditemukan di baris tabel Anda ditambah panjang bidang panjang variabel lainnya (bidang jenis VARCHAR, VARBINARY, dan TEXT).

Dalam situasi saya, tabel blob yang menyinggung berukuran sekitar 16MB. Jadi, cara saya menyelesaikannya adalah dengan menambahkan baris ke my.cnf yang memastikan saya memiliki setidaknya 10x jumlah itu dan kemudian beberapa:

innodb_log_file_size = 256M

Tetapkan yang berikut pada file my.cnf Anda dan mulai ulang server mysql.

innodb_strict_mode=0

Jika Anda dapat mengganti ENGINE dan menggunakan MyISAM daripada InnoDB, itu akan membantu:

ENGINE=MyISAM

Ada dua peringatan dengan MyISAM (bisa dibilang lebih):

1. Anda tidak dapat menggunakan transaksi.
2. Anda tidak dapat menggunakan batasan kunci asing.

Saya ingin membagikan jawaban yang luar biasa, mungkin bisa membantu. Kredit Tagihan Karwin lihat di sini /dba/6598/innodb-create-table-error-row-size-too-large

Mereka bervariasi berdasarkan format file InnoDB. Saat ini ada 2 format yang disebut Antelope dan Barracuda.

File tablespace pusat (ibdata1) selalu dalam format Antelope. Jika Anda menggunakan file-per-table, Anda dapat membuat file individual menggunakan format Barracuda dengan mengatur innodb_file_format = Barracuda di my.cnf.

Poin dasar:

1. Satu halaman 16 KB data InnoDB harus menampung setidaknya dua baris data. Ditambah setiap halaman memiliki header dan footer yang berisi checksum halaman dan nomor urut log dan sebagainya. Di situlah Anda mendapatkan batas Anda sedikit kurang dari 8KB per baris.

2. Tipe data ukuran tetap seperti INTEGER, DATE, FLOAT, CHAR disimpan di halaman data utama ini dan dihitung dalam batas ukuran baris.

3. Jenis data berukuran variabel seperti VARCHAR, TEXT, BLOB disimpan di halaman tambahan, sehingga tidak dihitung sepenuhnya terhadap batas ukuran baris. Di Antelope, hingga 768 byte dari kolom tersebut disimpan di halaman data utama selain disimpan di halaman overflow. Barracuda mendukung format baris dinamis, sehingga hanya dapat menyimpan penunjuk 20-byte pada halaman data utama.

4. Tipe data ukuran variabel juga diawali dengan 1 atau lebih byte untuk menyandikan panjangnya. Dan format baris InnoDB juga memiliki array ofset lapangan. Jadi ada struktur internal yang kurang lebih didokumentasikan di wiki mereka.

Barracuda juga mendukung ROW_FORMAT = COMPRESSED untuk mendapatkan efisiensi penyimpanan lebih lanjut untuk data overflow.

Saya juga harus berkomentar bahwa saya belum pernah melihat tabel yang dirancang dengan baik melebihi batas ukuran baris. Ini adalah "bau kode" yang kuat bahwa Anda melanggar ketentuan grup berulang dari Formulir Normal Pertama.

Saya memiliki masalah yang sama, ini menyelesaikannya untuk saya:

ALTER TABLE `my_table` ROW_FORMAT=DYNAMIC;

Dari Dokumentasi MYSQL :

Format baris DINAMIS mempertahankan efisiensi penyimpanan seluruh baris dalam node indeks jika cocok (seperti halnya format COMPACT dan REDUNDANT), tetapi format baru ini menghindari masalah pengisian node B-tree dengan sejumlah besar byte data kolom panjang. Format DINAMIS didasarkan pada gagasan bahwa jika sebagian dari nilai data yang panjang disimpan di luar halaman, biasanya paling efisien untuk menyimpan semua nilai di luar halaman. Dengan format DINAMIS, kolom yang lebih pendek cenderung tetap berada di simpul pohon-B, meminimalkan jumlah halaman tambahan yang diperlukan untuk baris tertentu.

Setelah menghabiskan berjam-jam saya telah menemukan solusinya: jalankan saja SQL berikut di admin MySQL Anda untuk mengonversi tabel ke MyISAM:

USE db_name;
ALTER TABLE table_name ENGINE=MYISAM;

Saya mengalami masalah ini ketika saya mencoba memulihkan database mysql yang dicadangkan dari server yang berbeda. Apa yang memecahkan masalah ini bagi saya adalah menambahkan pengaturan tertentu ke my.conf (seperti dalam pertanyaan di atas) dan juga mengubah file cadangan sql:

Langkah 1: Tambahkan atau edit baris berikut di my.conf:

innodb_page_size=32K
innodb_file_format=Barracuda
innodb_file_per_table=1

Langkah 2 tambahkan ROW_FORMAT = DYNAMIC ke tabel buat pernyataan di file cadangan sql untuk tabel yang menyebabkan kesalahan ini:

DROP TABLE IF EXISTS `problematic_table`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `problematic_table` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
  ...
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 ROW_FORMAT=DYNAMIC;

perubahan penting di atas adalah ROW_FORMAT = DYNAMIC; (yang tidak termasuk dalam file cadangan orignal sql)

sumber yang membantu saya menyelesaikan masalah ini: MariaDB dan InnoDB Ukuran Baris MySQL terlalu besar

Jawaban lainnya menjawab pertanyaan yang diajukan. Saya akan membahas penyebab yang mendasarinya: desain skema yang buruk.

Jangan melebarkan array di seluruh kolom. Di sini Anda memiliki 3 * 10 kolom yang harus diubah menjadi 10 baris dari 3 kolom dalam tabel baru (plus id, dll)

MainMeja Anda hanya akan memiliki

id  int(11) No       
name    text    No       
date    date    No       
time    time    No       
schedule    int(11) No       
category    int(11) No       
status  int(11) No       
admin_id    int(11) No 

Tabel ekstra Anda ( Top) akan memiliki

id  int(11) No          -- for joining to Main
seq TINYINT UNSIGNED    -- containing 1..10
img   varchar(255)    No       
title varchar(255)    No       
desc  text    No    
PRIMARY KEY(id, seq)    -- so you can easily find the 10 top_titles

Akan ada 10 baris (atau lebih sedikit? Atau lebih?) Di Topsetiap baris id.

Ini menghilangkan masalah asli Anda, dan membersihkan skema. (Ini bukan "normalisasi", seperti yang diperdebatkan di beberapa Komentar.)

Apakah tidak beralih ke MyISAM; itu akan pergi.
Jangan khawatir ROW_FORMAT.

Anda perlu mengubah kode untuk melakukan JOINdan menangani beberapa baris, bukan beberapa kolom.

Saya menggunakan MySQL 5.6 di AWS RDS. Saya memperbarui mengikuti di grup parameter.

innodb_file_per_table=1
innodb_file_format = Barracuda

Saya harus mem-boot ulang instans DB agar perubahan grup parameter berlaku.

Selain itu, ROW_FORMAT = COMPRESSED tidak didukung. Saya menggunakan DINAMIS seperti di bawah ini dan berfungsi dengan baik.

ALTER TABLE nombre_tabla ENGINE=InnoDB ROW_FORMAT=DYNAMIC KEY_BLOCK_SIZE=8

Ukuran baris maksimum untuk tabel InnoDB, yang berlaku untuk data yang disimpan secara lokal dalam halaman database, sedikit kurang dari setengah halaman untuk 4KB, 8KB, 16KB, dan 32KB

Untuk halaman 16kb (default), kami dapat menghitung:

Slightly less than half a page 8126 / Number of bytes to threshold for overflow 767 = 10.59 fields of 767 bytes maximum

Pada dasarnya, Anda dapat memaksimalkan baris dengan:

• 11 bidang varchar> 767 karakter (latin1 = 1 byte per karakter) atau
• 11 bidang varchar> 255 karakter (utf-8 di mysql = 3 byte per karakter).

Ingat, ini hanya akan meluap ke halaman overflow jika bidang> 767 byte. Jika ada terlalu banyak bidang 767 byte, itu akan rusak (melewati ukuran_kurang maksimum). Tidak biasa dengan latin1 tetapi sangat mungkin dengan utf-8 jika pengembang tidak berhati-hati.

Untuk kasus ini, saya pikir Anda mungkin bisa meningkatkan innodb_page_size menjadi 32kb.

di my.cnf:

innodb_page_size=32K

Referensi:

• https://dev.mysql.com/doc/refman/8.0/en/column-count-limit.html#row-size-limits
• https://medium.com/@adamhooper/in-mysql-never-use-utf8-use-utf8mb4-11761243e434
• https://mariadb.com/kb/en/library/innodb-compact-row-format/#overflow-pages-with-the-compact-row-format
• Pengaturan ukuran halaman Innodb

Saya juga mengalami masalah yang sama. Saya menyelesaikan masalah dengan menjalankan sql berikut:

ALTER ${table} ROW_FORMAT=COMPRESSED;

Tapi, saya pikir Anda harus tahu tentang Row Storage .
Ada dua jenis kolom: kolom dengan panjang variabel (seperti jenis VARCHAR, VARBINARY, dan BLOB dan TEXT) dan kolom dengan panjang tetap . Mereka disimpan di berbagai jenis halaman.

Kolom dengan panjang variabel adalah pengecualian untuk aturan ini. Kolom seperti BLOB dan VARCHAR yang terlalu panjang untuk dimuat pada halaman B-tree disimpan pada halaman disk yang dialokasikan secara terpisah yang disebut halaman overflow. Kami menyebut kolom seperti itu kolom di luar halaman. Nilai dari kolom ini disimpan dalam daftar halaman luapan tertaut tunggal, dan setiap kolom tersebut memiliki daftar satu atau beberapa halaman luapan sendiri. Dalam beberapa kasus, semua atau awalan dari nilai kolom panjang disimpan di pohon-B, untuk menghindari pemborosan penyimpanan dan menghilangkan kebutuhan untuk membaca halaman terpisah.

dan saat tujuan menyetel ROW_FORMAT adalah

Ketika tabel dibuat dengan ROW_FORMAT = DYNAMIC atau ROW_FORMAT = COMPRESSED, InnoDB dapat menyimpan nilai kolom panjang variabel (untuk jenis VARCHAR, VARBINARY, dan BLOB dan TEXT) sepenuhnya di luar halaman, dengan catatan indeks berkerumun hanya berisi 20- penunjuk byte ke halaman luapan.

Ingin tahu lebih banyak tentang DINAMIS dan Format Baris Terkompresi

Jika ini terjadi pada SELECT dengan banyak kolom, penyebabnya bisa jadi mysql membuat tabel sementara. Jika tabel ini terlalu besar untuk dimasukkan ke dalam memori, ia akan menggunakan format tabel temp default, yaitu InnoDB, untuk menyimpannya di Disk. Dalam kasus ini, batas ukuran InnoDB berlaku.

Anda kemudian memiliki 4 opsi:

1. mengubah batas ukuran baris innodb seperti yang dinyatakan di posting lain, yang memerlukan inisialisasi ulang server.
2. ubah kueri Anda untuk menyertakan lebih sedikit kolom atau hindari membuatnya membuat tabel sementara (misalnya, menghapus urutan berdasarkan dan klausa batas).
3. mengubah max_heap_table_size menjadi besar sehingga hasilnya cocok dengan memori dan tidak perlu ditulis ke disk.

4. ubah format tabel temp default menjadi MYISAM, inilah yang saya lakukan. Ubah my.cnf:

   internal_tmp_disk_storage_engine=MYISAM

Mulai ulang mysql, kueri berfungsi.

Berikut tip sederhana untuk siapa pun yang tertarik:

Setelah memutakhirkan dari Debian 9 ke Debian 10 dengan 10.3.17-MariaDB, saya mengalami beberapa kesalahan dari database Joomla:

[Peringatan] InnoDB: Tidak dapat menambahkan bidang fielddi tabel database. tablekarena setelah ditambahkan ukuran baris adalah 8742 yang lebih besar dari ukuran maksimum yang diperbolehkan (8126) untuk dicatat pada halaman daun indeks.

Untuk berjaga-jaga, saya menetapkan innodb_default_row_format = DYNAMIC di /etc/mysql/mariadb.conf.d/50-server.cnf (toh defaultnya)

Kemudian, saya telah menggunakan phpmyadmin untuk menjalankan "Optimalkan tabel" untuk semua tabel di database Joomla. Saya pikir rekreasi meja yang dilakukan oleh phpmyadmin dalam prosesnya membantu. Jika Anda kebetulan menginstal phpmyadmin, cukup dengan beberapa klik saja.