goedemiddag,

Ik loop weer tegen een probleem aan met mijn website en ik heb op zoek naar iemand die hier een script voor kan schrijven. Het betreft de site: http://tiny.cc/lTuVU

Waar het om gaat is dat google nu alles crawlt op product niveau en dat is enorm onhandig. Er moet namelijk alleen op categorie niveau door googlebot gecrawld worden. Verder wil ik dan op categorie niveau bovenaan de pagina content kunnen plaatsen. De producten komen er dan onder te hangen. Het probleem wat ik nu ondervindt is dat er nu 11 producten bij de affiliates bedrijven zijn uitverkocht en ik deze producten niet kan verwijderen omdat ik dan errors krijg in google.

Wie kan dit script voor mij schrijven? graag een PM sturen en hoeveel je daarvoor wilt hebben.

Waarom error's?
Heb je niet gewoon een doorstuur systeempje wat zegt 'als dit product niet bestaat > daarheen'?

Dat kan nu nog wel in een robot.txt maar wat als ik straks 500 producten online hebt staan en daar weer dode links uitkomen. Producten in postberichten moeten uitgesloten worden kun jij dat maken? Of als je een ander idee hebt mag ook. Wil ook bovenin bij de categorieen tekst kunnen plaatsen.

Dat bedoel ik niet, gewoon dat PHP een header geeft naar de index als een product pagina niet bestaat.

Dat werkt niet. Mensen komen op termijn niet meer terug als ze iedere keer producten tegenkomen die niet te koop zijn of als ze terug gestuurd worden naar de index. Ik heb namelijk een linkchecker en krijg per dag de dode links door van producten die niet meer doorlopen (uitverkocht zijn) en deze wil ik dan kunnen verwijderen en automatische nieuwe feeds binnen halen. SEO gebeurt dan op categorie niveau.

Op termijn helemaal automatiseren met feeds maar zover ben ik nog niet.

Kortom, je wilt SE toegang weigeren tot wat precies? Welke map/file? en waarom kan dat niet via robots.txt?

Vanaf de map winkel en alles wat daaronder valt als berichten waar dus producten inzitten. Wel de categorieen niet de berichten zeg maar. als jij dat kan maken prima ik snap geen hol van robots.txt en htcc nog wat.

Link bestaat niet?

User-agent: *
Disallow: /map/

Wil je mijn url veranderen, wil deze niet in de berichten hebben daarom zet ik een tiny url neer :-) de url is met dit ertussen category/winkel/

Ben er al de hele dag mee bezig. En als ik dan een robot.txt maak dan krijg ik deze niet door zeg maar, blijf de oude houden.

PHP Code:

User-agent: *
Disallow: /category/winkel/ 


Opslaan als robots.txt en dan zullen de SE niks boven de winkel directory indexeren.

Mijn bestandje zit er nu zo uit

PHP Code:

User-agent: *Disallow:
Sitemap: http://blablabla.xml.gz 


Dus dat wordt dan?

User-agent: *
Disallow: /category/winkel/

Sitemap: http://blablabla.xml.gz

Ik upload deze via ftp op dezelfde hoogte als waar de sitemap staat is dat goed?

Link daar moet het inkomen, de robots.txt in dezelfde directory als de index.
Aanvullend bericht:

PHP Code:

User-agent: *
Disallow: /category/winkel/  

Sitemap: http://blablabla.xml.gz 


Moet het worden.

Oke ga het nu weer proberen. Laat het zo even weten. Alvast bedankt.

Geen probleem.