Ola Webmasters,

Graag wil ik in deze post 2 vliegen in 1 klap vangen.
Ik zit met 2 vragen.

Eerste vraag:
Ik heb 3 soortgelijke websites waartussen men kan schakelen. Dit gaat a.d.h.v. een Session ID. ?SID=76f2551863563633c81
Nu zag ik laatst dat Google de Session ID's cached en crawlt.

Dit is toch helemaal niet de bedoeling? Een SessionID moet toch niet zichtbaar zijn voor Google en al helemaal niet crawlbaar?
Dit gaat ten koste van je crawlbudget en dubbele content wordt gemaakt.

Tweede vraag
Nu heb ik via de tool Screaming Frog een bepaalde website gescant/gecrawlt. Deze pagina heeft maar 600 pagina's maar zodra ik deze door Screaming Frog haal zit de crawler in een infinite loop. Je krijgt links zoals:

https://www.site.nl/category/category2/product-transparant/0031768200300/0031768200300/0031768200300/0031768200300/0031768200300/0031768200300/0031768200300/0031768200300/0031768200300/ etc. etc.

De links zijn ook gewoon te bezoeken. Ik krijg dus niet een 404.

Toch staan de URLs niet in Google.
Is dit dan alsnog schadelijk?

1) Magento? Daar komt het wel eens voor. Zorg dat de sitemap geen URL's met session-ID's heeft (zal ook wel niet) en blokkeer het crawlen van session-ID's in de robots.txt. Het indexeren van session-ID's kan negatieve gevolgen voor de SEO hebben omdat je duplicate content genereert. Als er correcte canonical tags worden gebruikt valt dat natuurlijk wel weer mee.

2) Als je een HTML sitemap wilt maken: daar gebruik ik deze tool voor: https://wonderwebware.com/sitemap-generator/ Echt old school, maar werkt als een speer.

Bedankt! Dan ga ik dit zeker uitzetten.

Het probleem is niet de sitemap. Het is meer wat de reden kan zijn dat zulke pagina's gemaakt kunnen worden?

Opmerking: Als ik die tool gebruikt, dan krijg ik toch een statische sitemap? Als ik een webshop heb die elke maand van producten verandert is dit toch niet echt verstandig?

Thanks voor je antwoorden van der Weerd!