Hallo,

Kan iemand mij helpen? ik heb een Mysql overload volgens Versio en dit komt waarschijnlijk doordat veel searchbots actief zijn ook maak ik gebruik van WProbot plugin op verschillende wordpress sites wat moet ik doen om geen overload te veroorzaken maar ook wel index te krijgen op berichten?

Kan ik met robots.txt wat instellen wat geen problemen opleverd met het indexeren?

Bijvoorbeeld:
1 User-Agent: *
2 Disallow: /wp-content/plugins/

Ik maak gebruik van Yoast SEO plugin en All in one SEO plugin

Graag een reactie.

Is het een website die veel omzet heeft? Dus affiliate ofzo? Dan zou ik niets hieraan doen, dit is alleen maar doordat je website dan veel unieke content bevat en elke zoekmachine op de hoogte wilt blijven.

Je kan je inschrijven bij Google Webmaster Tools, na 2 dagen kan je de crawl instellingen aanpassen, hoe vaak per dag etc.. (wordt natuurlijk aangeraden dit standaard te laten, maar dit kun je lager of hoger zetten) ..

Is het een site zoals een persoonlijk iets? Ja, dan heb ik er geen idee van, je geeft namelijk vrij weinig info dus ik kan enkel aannames maken.

Kevin, bedankt voor je reactie.

Ja, het betreft meerdere affiliate sites. Door de WProbot plugin worden veel rss feed-berichten geplaatst op de sites dus geen uniek content. Ik kan inderdaad met Google Webmaster Tool proberen maar zoek naar een oplossing richting de robots.txt file zodat niet alles gecrawld word.
Ik ga eens proberen met het volgende in de robots.txt (gevonden op http://perishablepress.com/wordpress-robots-rules/)
User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Allow: /wp-content/uploads/ Sitemap: http://example.com/sitemap.xml