Ik heb een website met ruim 500.000 pagina's. Ik wil hier meerdere sitemaps voor maken. (Er kunnen volgens Google max. 50.000 pagina's per sitemap).

Alle tools die ik probeer vinden het te zwaar om de site te crawlen gezien het aantal resultaten.

Iemand een idee van hoe ik dit het beste kan oppakken?

Joris,

Mijn sitemap heeft Honderdmiljoen pagina's, zonder problemen worden ze allemaal geïndexeerd.
Wat je doet is je sitemap opdelen in verschillende sitemaps. Als je dat doet heb je het probleem opgelost.

Succes

Excuses, ik ben denk ik niet volledig duidelijk geweest.

Het probleem is dat ik geen tool kan vinden die voor mij een sitemap kan genereren. Er zit bijv. een limiet op van 5000 pagina's, of de tool kapt er bijv. mee.

Het gaat in totaal om 512.001 pagina's.

Ik neem aan dat je op basis van je database wel de urls kunt genereren? Dan ben je er toch al ver? Gewoon een sitemap genereren voor elk blok van 50k urls, een sitemap-index.xml genereren met referenties naar elke sitemapN en klaar.

Als je geen tool kunt vinden dan bouw je zelf een scriptje dat het doet. Zullen de meesten met grotere sites wel doen.

Origineel gepost door John Timmer

Als je geen tool kunt vinden dan bouw je zelf een scriptje dat het doet. Zullen de meesten met grotere sites wel doen.

Precies, voor zulke aantallen schrijf je het script even zelf, hebben wij ook gedaan.

Heb nog even goed verder gezocht maar kom niks tegen.

Ik denk inderdaad dat ik er niet aan ontkom om er zelf wat voor te maken.

Bedankt voor de suggesties!