Ik zit met een probleem, volgens google webmaster tools krijg ik een crawl error. Restricted by Robots.txt, maar ik heb in mn robots.txt wel gewoon
User-agent: *
Allow: /
Ik heb deze robots.txt al 4 dagen geleden aangemaakt en op google webmaster tools staat dat de laatste crawl update gister was dus ik snap niet zo goed waar het fout gaat.

Origineel gepost door Jaap O.

Ik zit met een probleem, volgens google webmaster tools krijg ik een crawl error. Restricted by Robots.txt, maar ik heb in mn robots.txt wel gewoon
User-agent: *
Allow: /
Ik heb deze robots.txt al 4 dagen geleden aangemaakt en op google webmaster tools staat dat de laatste crawl update gister was dus ik snap niet zo goed waar het fout gaat.

in de webmastertools staat er wel disallow van een bepaalde map? ze crawlen wel, ze indexeren verder niet.

Ik heb de oplossing, vriend van me heeft er even naar gekeken. Dank voor de hulp!

Mischien is het delen van je oplossing ook een oplossing voor andere ;)

Naja was niet zozeer een oplossing als wel een domme fout had mn robots.txt niet in de top directory gezet (A)

Je kan hier een robots.txt checken : robots.txt

Origineel gepost door tim de jong

Mischien is het delen van je oplossing ook een oplossing voor andere ;)