Hallo SD'ers!
Ik wil graag elke wordpresspagina's uit google halen maar niet allemaal. Nu vroeg ik me af als;
http://[domein].com/?page_id=999 de url is, kan ik dan /?page_id=999 in robot.txt disalowen of werkt dat niet omdat database zichtbaar is? Ik hoor het graag!
Aanvullend bericht:
Heeft er echt niemand antwoord op mijn vraag?

inderdaad via jouw robot.txt moet je een dislow zetten zodat zoekmachines geen toegang krijgen tot een pebaalde map of bestand.

"Disallow" is de correcte term.

Overigens werkt dit niet altijd, heb op een website van me staan 'Disallow: /linkex/', maar omdat er op een pagina naar gelinkt wordt is de pagina wel opgenomen in de index van Google.

Als je dus naar de pagina linkt moet je die link een rel="nofollow" meegeven, dan wordt het (als het goed is) niet geïndexeerd.

of een metatag op die pagina zetten met "noindex, nofollow"

weet niet de exacte term, maar via google vast makkelijk te achterhalen

Meta robots wordt het dan:

Code:

<meta name="robots" content="noindex,nofollow" />

Zoeken op Google kan ook geen kwaad, je kunt inderdaad losse pagina's via robots.txt uitsluiten van indexatie.

Hier een leuke uitleg:

http://74.125.77.132/search?q=cache:...&ct=clnk&gl=nl