Penyiapan sitemap.xml yang tepat

Saya memiliki situs dinamis yang memiliki banyak (well, kurang dari 50) pengguna. Setiap pengguna diizinkan untuk membuat halaman sebanyak yang mereka inginkan. Saya tahu bahwa ada batasan berapa banyak halaman yang dapat Anda daftarkan di sitemap.xml, dan untuk saat ini saya berada di bawah batas itu, tetapi saya ingin tahu apa cara terbaik untuk memungkinkan mesin pencari mengetahui (semua?) Tentang halaman pengguna saya sementara masih di bawah batas itu bahkan jika saya memiliki lebih dari batas itu.

Batas Peta Situs:

File peta situs memiliki batas 50.000 URL dan 10 megabita per peta situs. Peta Situs dapat dikompres menggunakan gzip, mengurangi konsumsi bandwidth. Beberapa file peta situs didukung, dengan file indeks peta situs yang berfungsi sebagai titik masuk untuk total 1.000 peta situs.

Perhatikan bahwa Anda dapat menentukan beberapa peta situs dalam file robots.txt Anda :

Jika Anda menabrak batasan, mungkin membagi pengguna Anda entah bagaimana. Katakanlah masing-masing pengguna Anda tidak memiliki lebih dari 10.000 url, Anda dapat memecahnya menjadi file dan menambahkan ini ke robots.txtfile Anda :

Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml

Sekarang, Anda masih harus memperhatikan batas 10MB untuk setiap peta situs individu, tetapi ini adalah pendekatan untuk menangani masalah url "terlalu banyak".

Lihat file CNN dan Google robots.txt untuk melihat beberapa peta situs dalam aksi.