Ik wil een aantal url's verwijderen in google.

Ze krijgen allemaal een 404 error en zo ziet mijn robots.txt eruit:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tag/
Sitemap: http://www.url.nl/sitemap.xml

Ik heb op verschillende websites een check laten uitvoeren en snap er geen drol meer van.

De ene website zegt dat er nog een allow bij moet en de ander zegt weer dat ik niks block ...

Wat is het probleem?