Goedemorgen,
Wegens verspilling van bandbreedte heb ik besloten alleen nog maar de google spiders op mijn site toe te laten. Ik heb begrepen dat je dat kunt regelen met robots.txt. Ik heb er naar gekeken maar kom er niet uit. Kan iemand me hier mee helpen?
Greetz,
CJ
-
30-06-2010, 09:37 #1
Particulier
- Berichten
- 214
- Lid sinds
- 17 Jaar
Wat moet er in mijn robots.txt staan?
-
In de schijnwerper
Senior Designster - top kwaliteit - 16 uur per week - per maand - 350 euroFreelance / WerkGastartikelen plaatsen op échte websites met bezoekers en goede domeinwaarden?!SEO/LinkbuildingKant en klare niche/Da/TF sites vanaf € 39Website te koopTe koop: TikTok account met 105K volgersSocial media -
30-06-2010, 09:42 #2
Zavox
- Berichten
- 2.590
- Lid sinds
- 16 Jaar
Dacht ik.# Google
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: Googlebot-Image
Disallow:
-
30-06-2010, 18:33 #3
Particulier
- Berichten
- 750
- Lid sinds
- 16 Jaar
robots.txt is geen waterdichte methode, je moet zelf een bot trap maken of IP's bannen
bron: http://danielwebb.us/software/bot-trap/
bron: http://www.projecthoneypot.org/
