Help,
Mijn robots.txt bestand bevat het volgende:

User-agent: *
Allow: /

Wat houdt dat in?

Want mijn site is heel erg slecht geïndexeerd in de zoekmachines, heeft dat hiermee te maken?

Mvg

Dat wil zeggen dat de spiders volledige toegang hebben om je website te crawlen. Robots.txt heeft slechts een kleine impact, dus daar zal het waarschijnlijk niet aan liggen.

Origineel gepost door Najim. A

Help,
Mijn robots.txt bestand bevat het volgende:



Wat houdt dat in?

Want mijn site is heel erg slecht geïndexeerd in de zoekmachines, heeft dat hiermee te maken?

Mvg

Zie http://nl.wikipedia.org/wiki/Robots_Exclusion_Protocol