Nu we bijna 10.000.000 pagina's content hebben, zien we dat Google het zwaar begint te krijgen. Ondanks de 10 pagina's die het per seconde indexeert, kan Google het tempo niet aan. dus zijn we even gestopt met het toevoegen van massa content. We hebben wel al ruim 80.000.000 pagina's klaar liggen en voor ruim 200.000.000 pagina's in de voorbereiding. Dit hadden we graag in de komende twee maanden online gegooid, maar niet op deze manier.

We gaan nu de site maps iets anders inrichten, maar we zijn bang dat Google het tempo nooit aan zal kunnen. Zelfs niet als we sub site mappen gaan creëren.

De sub site map zal er dan zo uitzien:

Sitemap_news.xml (alles wat de laatste 24 uur binnenkomt)
Sitemap_user.xml (Alles dat door gebruikers wordt gecreëerd)
Sitemap_photos.xml (foto albums)
etc etc

Door 10 sitemaps te creëren, met daarin weer tientallen/honderden andere site maps kunnen we het aantal pagina's, dat geïndexeerd wordt, naar 100 stuks per seconde brengen. Echter of dit de perfecte oplossing is weten we ook niet 100%.

Heeft iemand een idee, wat de beste oplossing zou kunnen zijn?
Hoe ziet de sitemap van marktplaats er uit?

mvg

leander
Aanvullend bericht:
Soms over vraag je mensen op Sitedeals, zoals met dit probleem.
Natuurlijk hebben we het ook aan Google zelf gevraagd en na wat heen en weer mailen, belde Chris van Google ons gisteren op en hebben we het probleem weten op te lossen in een 30 minuten durende telefoon gesprek.
De fout die wij maken, heeft te maken met de bewegelijkheid van onze website, daardoor willen we alles elke dag opnieuw laten indexeren. En dat wordt ook voor Google moeilijk. Ze indexeren al op de maximum snelheid en als we dan ook nog elke dag de oude pagina's laten bekijken, dan is dat niet te doen.
Wat we nu gaan doen, is dat we site map nieuws pagina's gaan creëren, waarin nieuw toegevoegde pagina's komen te staan en deze laten we gedurende 4 weken indexeren en lezen, daarna verhuizen ze naar de standaard site map files. Deze worden niet elke dag geïndexeerd, maar 1 keer per maand nog eens bekeken.
Verder gaan we beter met onze prioriteiten om. Als een product 4 pagina's heeft, zijn ze dan alle 4 echt belangrijk?
Verder zullen we aparte site maps voor foto's gaan aanmaken, zodat Google dit beter kan indexeren.
Kleine op en aanmerking verder gehad en besproken, maar we hebben het gevoel dat we het probleem kunnen oplossen.

Ik hoop dat jullie er iets aan hebben, mochten jullie ook grote site maps gaan aanmaken.

mvg

Leander