Mijn site is verdwenen uit de zoekresultaten. Als je de domeinnaam intypt dan vind je de domeinnaam nog wel. Ik heb even gekeken in google webmastertools wat het probleem zou kunnen zijn en nu denk ik dat het ligt aan de robots.txt. Onder het linkje crawlfouten staat: Google kan uw site niet crawlen omdat we geen toegang tot de site kunnen krijgen robots.txt. Ik heb echter bij mijn andere sites ook geen robots.txt, maar daar geeft google gewoon een groen vinkje. Hoe kan ik dit verhelpen?

Hoe oud is de website? Komt vaak voor dat de site even uit de resultaten verdwijnt, om vervolgens gewoon weer terug te komen ;) Heb ook geen robot.txt op m'n sites.

De site bestaat sinds december 2011. De site is al vaker uit de zoekresultaten geweest en kwam elke keer weer terug, maar dit keer duurt het al een week ofzo. Ik keek net even bij de crawlertoegang (google webmastertools) en daar was niks aan de hand. Misschien moet ik nog maar even afwachten...

Een week. Wellicht getroffen door de Pinguin update? In dat geval zal je site waarschijnlijk niet zomaar terug in de resultaten komen.

Beste Johnny,

Ik heb het zelfde probleem maar mijn website is van 2006. Krijg ook de error van robots.txt. Veder op google geen problemen zoekwoorden met mijn domeinnaam word netjes eerste plek getoond met sublinks eronder. Alleen de sublinks worden zelf bijna niet getoond op google.

Jack

Heb dit op dit moment ook met een website van mij. Stond bijna bovenaan in Google en nu helemaal weggezakt en niet meer terug te vinden, nog wel geïndexeerd. Gaat inderdaad om een jonge website.

@Tim. Denk eigenlijk niet dat het aan de update ligt, want mijn andere sites scoren nog steeds goed in google. Denk toch dat het iets met die robots.txt heeft te maken...

Waarom voeg je niet gewoon een robots.txt aan je website toe?
Blijft de melding wanneer je er één aanmaakt met onderstaande inhoud?

User-agent: *
Allow: /

@M. Zanden. Ik heb het toegevoegd. Nu is het afwachten tot google weer langs komt.

Johnny ik lees zojuist een ander topic: https://www.sitedeals.nl/google-algem...en-google.html
Uit de reactie van Wouter blijkt toch dat dit de oplossing moet zijn.

Ik heb op testen geklikt en daar staat toegestaan. Of bedoel je dat met die url's naar www?

Nee, ik had het over de oplossing voor het "niet kunnen lezen van de robots.txt"

Dat is het vreemde, want mijn robots.txt is 6 uur geleden gedownload. Staat ook dat er 0 url's geblokkerd zijn. Echter geeft die bij crawlfouten aan: Google kan uw site niet crawlen omdat we geen toegang tot de site kunnen krijgen robots.txt.

Bij crawlfouten staan vaak verouderde meldingen.
Als het goed is kun je de datum zien waar op de crawlfout is gevonden.

Misschien dat op een bepaald moment tijdens het crawlen door een "offline server" de robots.txt op dat moment niet kon worden gelezen maar dat er in feite niks aan de hand is omdat Google deze inmiddels weer heeft gevonden? De problemen qua rankings in de resultaten zullen zich dan vast en zeker ook vanzelf weer oplossen.

Oke bedankt allemaal. Ik zal maar even afwachten dan...
Aanvullend bericht:
Mijn site is sinds 25 april uit de zoekresultaten. Ik krijg alleen de url te zien als de sitenaam intyp. Ik heb bij google webmasters een formulier ingevuld of ze mijn site opnieuw wilden beoordelen, maar ze zeiden dat zij er niks aan veranderd hadden (Was geen spam of iets dergelijks). Dus ik heb nu geen idee wat er aan de hand is. In google webmaster programma geeft die aan dat alles goed is. Kan ik nu het best met de website op een ander domein verder gaan? Of gewoon wachten tot de site weer in de zoekresultaten verschijnt.