Beste Allemaal,

Ik ben even wat wezen googlen naar robots.txt en kwam veel verschillende tegen, ik was benieuwd welke jullie gebruiken wat je ervaringen daarmee zijn.

Deze gebruik ik:

# /robots.txt

# no exclusion at all
User-agent: *
Disallow:

Ben erg benieuwd.

@Big,

gewoon een blanco..zo is hij er altijd..maar heeft hij verder geen functie.

Tenzij je ervoor zorgen wilt dat je bepaalde robots buiten houdt..dat heb ik 1 keer gedaan met 1 die alleen afbeeldingen kwam zoeken die ik helemaal niet heb ;-)

Code:

User-agent: *
Disallow:

ik gebruik voor een van me websites :

# go away
User-agent: *
Disallow: /

aangezien dat daar alleen afbeeldingen in staan

geen,aangezien spambots zich nergens van aan trekken.

Origineel gepost door Edwin P.

geen,aangezien spambots zich nergens van aan trekken.

spambots niet neen,
maar toen ik van host wisselde had ik op 4 dagen de datalimit bereikt ...
bleek dat 95% van de download geadresseerd was aan google (voornamelijk) en nog een aantal andere zoekrobots, sinds ik een robots.txt heb gezet die alle toegang afzegt is het 3GB op 1 maand

Ik gebruik deze:

Code:

User-agent:*
Disallow: /admin
Disallow: /afbeeldingen
Disallow: /downloads

Idem hier, afbeeldingen wens ik niet te laten indexeren...

Ik heb namelijk last van spam op mijn website alle formulieren die ik heb word aut. ingevuld en naar me gemaild.?


Hoe kan je dat voorkomen ?

Beveiligen dat je maar eens per zoveel tijd een formulier mag sturen.
Je kunt natuurlijk ook beveiligen met een code die je correct over moet typen.
Voorbeeld: http://jijvindt.nl/linktoevoegen.php
Ik heb het script eventueel voor je liggen;)

Net even gezien wat ik gebruik en ik merk dat mijn script een uitgebreid bestand heeft gemaakt. Zelf heb ik er nu net de sitemap aan toe gevoegd. Is namelijk iets nieuws die ik net vandaag ontdekt heb op een blog van Google en die ook door andere zoekmachine's gebruikt wordt.

Code:

sitemap: volledige link naar sitemap