Goedemorgen,
Wegens verspilling van bandbreedte heb ik besloten alleen nog maar de google spiders op mijn site toe te laten. Ik heb begrepen dat je dat kunt regelen met robots.txt. Ik heb er naar gekeken maar kom er niet uit. Kan iemand me hier mee helpen?
Greetz,
CJ
-
30-06-2010, 09:37 #1
Particulier
- Berichten
- 214
- Lid sinds
- 17 Jaar
Wat moet er in mijn robots.txt staan?
-
In de schijnwerper
Backlinks - Voor elke website!SEO/LinkbuildingVegan food site - 500+ artikelen met ons ALL-IN-ONE pakket + affiliate plugin!Website te koopTe koop protogoto.nl - service marktplaats - t.e.a.b.Website te koopTe Koop: 3 Geweldige Websites - Winprijzen.be, Wedstrijden.be & Prijzen.be als pakketWebsite te koop -
30-06-2010, 09:42 #2
Zavox
- Berichten
- 2.590
- Lid sinds
- 16 Jaar
Dacht ik.# Google
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: Googlebot-Image
Disallow:
-
30-06-2010, 18:33 #3
Particulier
- Berichten
- 750
- Lid sinds
- 16 Jaar
robots.txt is geen waterdichte methode, je moet zelf een bot trap maken of IP's bannen
bron: http://danielwebb.us/software/bot-trap/
bron: http://www.projecthoneypot.org/
