Disallow in robots.txt

**Rein N** · 24-10-2011, 08:41

Binnen mijn webmaster tools krijg ik een storende crawler fout in HTTP: (403 error)
(ik gebruik Wordpress)
Nu wil ik dat Google deze pagina niet indexeert, maar krijg dat niet voor elkaar. Ik heb mijn robots.txt nu zo staan:

User-agent: *
Disallow: /wp-app.php/service

Sitemap: http://www.mijnvoorbeelddomeinnaam.nl/sitemap.xml

Maar als ik binnen Webmaster Tools check of deze nu gedissalowed wordt staat er als uitkomst dit: Googlebot: Toegestaan door regel 2: Disallow:

Doe ik iets verkeerd? Iemand een idee?

**Barry Meijer** · 24-10-2011, 08:48

Dat zou op deze manier moeten lukken:

User-Agent: *
Disallow: /wp-app.php

**Rein N** · 24-10-2011, 08:54

Dank voor je reactie Barry,
Heb de robots.txt veranderd zoals je aangaf maar hij geeft hetzelfde resultaat in Google Webmaster Tools. Is het wel zo dat google live de nieuwe robots.txt bekijkt of moet ik wachten tot ie die op eigen houtje weer een keer bekijkt?

**Barry Meijer** · 24-10-2011, 08:55

Origineel gepost door Rein N

Dank voor je reactie Barry,
Heb de robots.txt veranderd zoals je aangaf maar hij geeft hetzelfde resultaat in Google. Is het wel zo dat google live de nieuwe robots.txt bekijkt of moet ik wachten tot ie die op eigen houtje weer een keer bekijkt?

Afwachten. Het is niet zo dat hij dit realtime doet.

**Rein N** · 24-10-2011, 08:58

Ah op die manier :) Hartelijk dank, zal wel goed komen dan.

EDIT: google heeft de robots.txt weer bekeken, werkt prima! :)

Disallow in robots.txt