Apakah Magento platform yang tepat untuk produk 1M?

31

Saya perlu melihat bagaimana kinerja Magento dengan SKU 1M; tapi saya berjuang untuk menemukan kumpulan data sampel data yang besar untuk diunduh - atau menemukan metode yang layak untuk menghasilkan umpan untuk impor (dan proses impor itu sendiri).

  1. Adakah yang tahu di mana saya bisa mengunduh set data dummy besar untuk diimpor (atau cara yang masuk akal untuk menghasilkan dan mengimpornya)?
  2. Masalah apa yang Anda perhatikan dengan memiliki ukuran katalog produk 1M +?
  3. Apakah ada cara untuk berbagi produk DB tunggal dengan beberapa toko independen (perusahaan yang berbeda)?
performance import Gabriele
sumber

Jawaban:

36

tl;dr ->" Bisakah Magento menangani produk 1M ", jawabannya adalah ya , tetapi dengan beberapa pertimbangan. Pada skala ini orang akan menganggap Anda memiliki volume untuk mendukung investasi yang layak ke infrastruktur dan personil untuk memperdagangkan katalog dari proporsi ini.

Pertama:

Data sampel Magento CE, seperti yang mungkin Anda lihat, hanya memiliki beberapa produk dari berbagai kategori. Data sampel EE memiliki lebih banyak, dan memisahkannya berdasarkan jenis toko.

Anda dapat mengunduh data sampel CE di sini . Anda harus mengunduh data sampel EE dari dalam akun MagentoCommerce.com Anda jika Anda memiliki EE.

Namun, Anda akan menemukan bahwa ini bukan ratusan atau bahkan ribuan produk. Saya akan menyarankan Anda mengimpor produk ke dalam basis data - latihan yang baik untuk mengetahui bagaimana proses ini bekerja. Ini dapat dilakukan melalui Magento's Dataflow atau melalui impor API - informasi tentang cara melakukan ini pada skala tersedia di internet.

Peringatan: Dataflow terkenal lamban, jadi mungkin perlu waktu cukup lama untuk mengimpor katalog ukuran yang Anda minta. Setahu saya tidak ada contoh katalog di alam liar dengan ratusan ribu atau jutaan produk yang ada.

Edit 1/7/14:

@ryaan_anthony di Twitter merilis prosedur tersimpan MySQL yang akan menghasilkan ratusan ribu produk https://gist.github.com/ryaan-anthony/6290973

Beberapa bacaan tentang Magento API dan Dataflow:

http://www.magentocommerce.com/knowledge-base/entry/introduction-to-magento-dataflow

http://www.magentocommerce.com/api/soap/catalog/catalog.html

Kedua:

Produk, Penulisan Ulang URL, dan Pengindeksan Persediaan adalah masalah utama saat menjalankan katalog ukuran ini . Pencarian katalog juga bisa sangat lambat, tetapi dapat dikurangi jika Anda menggunakan Apache Solr (integrasi yang disediakan asli EE). Ada plugin CE untuk Solr - Sonassi memilikinya, dan yang lainnya dapat ditemukan melalui Google.

Saya telah mengelola katalog dalam kisaran 700 ribu, yang masih jauh lebih sedikit dari 1 juta, dan pengindeksan dapat berlangsung berjam-jam . Ini telah diatasi di Perusahaan 1.13 . Saya sangat menyarankan Anda melihat Enterprise Edition pada skala ini. Apakah ini mungkin dengan CE? Benar; tetapi peningkatan pengindeksan di EE 1.13 secara khusus disesuaikan dengan situasi semacam ini.

Ketiga:

Multi-store adalah asli dari Magento; Anda dapat mengatur berbagai kategori tingkat atas dan situs web. Mereka tidak semua harus berbagi katalog yang sama - Anda dapat memilih produk mana yang akan dibagikan di seluruh situs, atau memutuskan untuk membuat katalog Anda tetap terpisah. Info lebih lanjut di sini:

http://www.magentocommerce.com/knowledge-base/entry/overview-how-multiple-websites-stores-work

Semakin banyak toko, tampilan toko yang Anda miliki di Magento, semakin banyak entri indeks dan katalog flat Anda semakin menggembung ke titik bahwa katalog datar sebenarnya dapat menguras kinerja. Sekali lagi, Sonassi memiliki banyak informasi tentang ini di sini di Magento.SE dan di situs mereka . Anda akan ingin mencari beberapa jawaban Sonassi di Magento.SE untuk menangani / menskala Magento ketika Anda masuk ke ranah manajemen produk ini.

Pemasangan setiap orang berbeda - Anda harus terus-menerus menguji, memperbaiki, menerapkan tweak untuk menemukan pengaturan apa yang paling cocok untuk katalog Anda, dalam situasi Anda.

Philwinkle
sumber
Halo yang disana! Terima kasih banyak atas semua info ini.
Gabriele
DB dibangun secara otomatis oleh sistem yang terhubung ke banyak editor yang secara teratur memperbarui DB kami. Kami memberikan DB final dan pembaruan ke toko buku dan sekarang kami ingin menawarkan solusi e-commerce lengkap untuk klien kami. Saya membuatnya untuk mengimpor semua data melalui Magmi. Ini fantastis dan sempurna bagi kami. Sejauh Pengindeksan, saya akan pergi untuk solusi Solr. Saya tidak dapat menggunakan MultiStores karena saya harus memberikan akses admin penuh ke klien saya. Terima kasih lagi!
Gabriele
Menarik bahwa Anda gagal menyebutkan pertimbangan hosting, pengoptimalan db, alternatif atau peningkatan untuk aliran data, penggunaan klon alih-alih instantiasi pabrik untuk pemrosesan data besar, optimisasi cache & kinerja, dan opsi kinerja lainnya untuk mengoptimalkan magento untuk katalog ini ukuran. Menunggu beberapa jam untuk pengindeksan terdengar menyakitkan ... mengapa tidak menjalankan cluster, atau gunakan proxy mysql untuk memproses pengindeksan dan biarkan tabel DB disinkronkan saat selesai? Hanya beberapa pemikiran dasar ... ada metode yang lebih maju yang tersedia juga.
mprototype
@ mprototype merasa bebas untuk menambahkan jawaban Anda sendiri sesuai keinginan Anda.
philwinkle
7

Gunakan ApiImport untuk mengimpor sejumlah besar produk. Ini didasarkan pada ImportExport dan sangat cepat ... Saya telah mengelola hingga 500rb (diindeks) produk sederhana per jam pada mesin virtual.

Jalankan tes / benchmark_import_api.php. Edit file itu untuk menghapus jenis entitas (dan subtipe) yang tidak Anda butuhkan. Anda mungkin juga ingin mengatur USE_API menjadi false untuk hasil yang lebih cepat.

Daniel Sloof
sumber
4

Kami telah menggunakan http://www.icecat.biz/en/ di masa lalu untuk mengekstrak umpan produk untuk dimuat dalam data sampel. Ada beberapa ekstensi Magento juga, tetapi mereka tidak bekerja untuk kami sehingga kami akhirnya menulis sebagian besar skrip impor kami.

Vinci Rufus
sumber
4

untuk mendapatkan satu juta produk ke dalam magento. tulis skrip php sederhana yang menghasilkan file csv impor produk yang didukung magmi dengan berbagai jenis tipe produk. Kemudian gunakan magmi untuk mengimpornya

http://sourceforge.net/apps/mediawiki/magmi/index.php?title=Magmi_Wiki

sutha kathir
sumber
Magmi adalah importir csv, kan? Jadi saya harus memberi makan Magm dengan file csv sesuai katalog, kan?
Gabriele
1
ya, di wiki ada dokumentasi, bagaimana seharusnya memformat csv Anda untuk impor produk dan kemudian membuat profil dengan antarmuka web dan menggunakan perintah cli untuk mengimpornya lakukan / usr / bin / php magmi.cli.php -profile = custom_options -mode = create -CSV: filename = "$ {x}"; selesai
sutha kathir
CSV adalah salah satu sumber data yang dapat digunakan Magmi. Ingatlah bahwa Magmi memiliki antarmuka datapump tempat Anda dapat menyuntikkan data ke, sans file CSV.
Axel
3

Tidak benar-benar jawaban lengkap karena tampaknya orang lain sudah menjawab sebagian besar pertanyaan Anda, hanya beberapa hal untuk ditambahkan:

1) Saya sudah meletakkan ini: Hampir Satu Juta Produk Magento Acak dalam sepuluh CSV Anda juga bisa mencoba http://beta.generatedata.com/ .

2) Seperti yang sudah disebutkan Philwinkle: pengindeksan, aliran data, dan pencarian adalah rintangan terbesar untuk diatasi dengan sekumpulan data besar. EE1.13 melakukan pekerjaan yang lebih baik dalam menangani data sebesar itu (MySQL Triggers, mempertimbangkan semua status produk / kategori, dll), tetapi perlu diingat bahwa ini masih merupakan rilis awal (x.0.0) saat ini, saya cenderung menunggu beberapa rilis untuk membiarkan orang lain mengambil beban penemuan bug sebelum mempertimbangkannya untuk lingkungan produksi. Infrastruktur dan optimalisasi adalah kuncinya. Peningkatan di masa mendatang juga merupakan hal lain yang perlu dipertimbangkan, karena ALTER TABLEtidak digabungkan selama peningkatan dan dapat memakan waktu berjam-jam / hari untuk melakukan peningkatan pada DB:

Beberapa bacaan lebih lanjut tentang topik pengindeksan pada database besar:

3) Cara termudah untuk berbagi data antara dua toko Magento adalah melalui permintaan REST / SOAP ke perusahaan lain Magento API. Alternatifnya adalah dengan hanya membuang katalog dari satu perusahaan dan memungkinkan yang lain untuk mengambil dan menguraikannya, itu mungkin jauh lebih cepat daripada melalui API dengan 1+ juta produk.

B00MER
sumber
1
1) Saya akan melihatnya. 2) Ya, saya memilih Magmi di CE. Kami akan melihat bagaimana kinerjanya. 3) Ya saya pikir membuang data dan mengimpor di toko baru akan menjadi pilihan kami, kecuali kami akan menemukan cara untuk berbagi DB produk umum antara semua toko elektronik. Terima kasih banyak B00mer!
Gabriele
3

Kami baru saja mengerjakan proyek dengan produk 1,2 juta (tanpa atribut dan terutama hanya satu tampilan toko) menggunakan magento 1.7.x dan berikut adalah beberapa pengalaman yang kami miliki:

  1. Sebenarnya mengimpor produk cukup baik, saya pikir impor awal kami memakan waktu sekitar 1,5 jam

  2. Ketika melakukan reindex, disk kita akan sangat menderita, solusinya adalah mendapatkan jumlah ram yang baik (contoh 32GB ram amazon ssd). Optimalkan pengaturan innodb di mana kita menempatkan alokasi memori innodb pool sedikit di atas ukuran database dan terutama mengubah buffer tabel sementara dari default 16mb ke 128mb, ini benar-benar menyelamatkan proses pengindeksan ulang kami.

  3. Cache, hanya menggunakan cache APC untuk cache cepat, file untuk cache lambat, mematikan logging dan modul yang tidak perlu bersama-sama dengan tabel datar dan beberapa optimasi lainnya membuat server memberikan halaman produk html (bukan seluruh halaman) dalam 200ms. Di daftar todo kami adalah cache pernis.

  4. Kami di mana berjuang dan membunuh banyak masalah kebuntuan (beberapa di admin masih ada), mungkin versi Magento yang lebih baru tidak akan memberikan masalah ini menurut forum.

Saya akan mengatakan memang ada masalah dengan produk 1,2 juta, itu bukan sesuatu yang saya sarankan lakukan tanpa memiliki tim dan sumber daya yang tepat tetapi jika Anda punya waktu Anda dapat membuatnya bekerja.

Saya tidak tahu platform apa yang akan melakukan pekerjaan dengan lebih baik.

palmik
sumber
2

Selalu bagus yang satu ini, ya Magento CE & EE bisa (dari pengalaman bukan teori menggunakan dataset yang disediakan) meskipun jelas EE lebih baik untuk pengindeksan. Magmi baik-baik saja tetapi ketika Anda datang ke indeks ulang untuk memuat awal Anda akan memiliki masalah serius. Selain itu, Anda kemudian memiliki pemeliharaan di mana jika 3% produk berubah setiap hari Anda perlu memperbarui 30.000 produk dengan indeks otomatis, Anda tidak akan dapat melakukan pengindeksan ulang harian. Ini semua bermuara pada dua hal, pengelompokan hosting dan pemasok onta yang diaktifkan oleh delta, yang merupakan domain perusahaan perusahaan.

Orang-orang tampaknya berpikir pekerjaan itu berakhir ketika produk dimuat, namun saat itulah kerja keras dimulai. Jika Anda memiliki terlalu banyak toko, menentukan tingkatan harga maka hosting Anda perlu berlipat ganda, jadi untuk semua maksud dan tujuan 95% tidak memiliki kesempatan untuk menerapkannya, 99% tidak memiliki kesempatan untuk mempertahankannya. Jutaan produk sama dengan Perusahaan Menengah hingga Besar - jika konsultan Anda tidak memiliki pengalaman ini, perkirakan infrastrukturnya akan runtuh dalam jangka menengah dan panjang.


sumber