Momenteel heb ik voor een aantal sites een managed VPS, met ruim voldoende capaciteit om het verkeer aan te kunnen wat we op dit moment dagelijks verwerken. Echter is het zo dat de server door bots van zoekmachines traag gemaakt wordt. Deze Crawlen namelijk een enorm aantal pagina's (voor een enkele site tot maximaal zo'n 20k per dag per website, alleen vanuit google), terwijl de website bij lange na niet uit zoveel bewuste pagina's bestaat. Een gedeelte van het probleem heb ik al gevonden. Het zijn woocommerce sites, waarbij elke filter (die gebruikt kan worden) bij het zoeken naar het juiste product als een nieuwe pagina gecrawlt wordt. Via webmaster tools heb ik inmiddels aangegeven dat deze parameters niet geïndexeerd moeten worden, maar desondanks neemt het aantal gecrawlde pagina's niet substantieel af.

Iemand een idee hoe ik dit op zou kunnen lossen?

Je kunt in de robots.txt opgeven welke URL's (of directories, combinaties, whatever) niet gecrawled mogen worden.

Thanks! Ik heb al andere topics online gezien waar dit niet direct de oplossing was, aangezien robot.txt slechts een richtlijn is. Voor de zekerheid zullen we het wel toepassen. Iemand anders nog een suggestie?

Gebruik ook de canonical tag. Hiermee geef je aan wat de daadwerkelijke pagina is en voorkom je duplicate content voor bijvoorbeeld de filter pagina's wat uiteindelijk maar één pagina is.

Stel je hebt www.website.nl/zoek/
Welke hetzelfde is als: www.website.nl/zoek/?filter1=a en www.website.nl/zoek/?filter1=a&filter2=b, etc
En je zet op die pagina

Code:

<link rel="canonical" href="www.website.nl/zoek/" />

Dan begrijpt Google dat al die pagina's eigenlijk hetzelfde zijn en alleen /zoek/ opgenomen moet worden.

Kun je niet in webmaster tools aangeven dat je minder gecrawld wilt worden?