Goedemorgen,
Wegens verspilling van bandbreedte heb ik besloten alleen nog maar de google spiders op mijn site toe te laten. Ik heb begrepen dat je dat kunt regelen met robots.txt. Ik heb er naar gekeken maar kom er niet uit. Kan iemand me hier mee helpen?
Greetz,
CJ
-
30-06-2010, 09:37 #1
Particulier
- Berichten
- 214
- Lid sinds
- 17 Jaar
Wat moet er in mijn robots.txt staan?
-
In de schijnwerper
-
30-06-2010, 09:42 #2
Zavox
- Berichten
- 2.590
- Lid sinds
- 16 Jaar
Dacht ik.# Google
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: Googlebot-Image
Disallow:
-
30-06-2010, 18:33 #3
Particulier
- Berichten
- 750
- Lid sinds
- 15 Jaar
robots.txt is geen waterdichte methode, je moet zelf een bot trap maken of IP's bannen
bron: http://danielwebb.us/software/bot-trap/
bron: http://www.projecthoneypot.org/
