Site map voor Google is essentieel voor je SEO, je wil immers dat al je pagina's door Google gevonden worden.
Maar dat is niet genoeg voor Google als het om indexeren gaat, Google vindt het ook belangrijk dat het via de normale weg makkelijk bij je pagina kan komen. Dus zal je pagina structuur goed in elkaar moeten zitten en desnoods een online site map voor "Bezoekers" moeten creëren. Dit zijn vaak gedrochten waar je als bezoeker niet vrolijk van wordt, maar zeker bij grotere website zijn ze van levens belang, anders raken je oude producten, artikelen en inhoud onvindbaar voor onze vrienden van Google.

Nu kan je alles in 1 pagina zetten, zoals hier: http://alturl.com/76wqx
Echter als je meer dan 10.000 pagina's hebt, of zoals wij bijna XX miljoen, is dat natuurlijk onmogelijk.
Wat is jullie ervaring en hoe lossen jullie het op.
Mijn idee is, om tot een maximum van 5 levels diep te gaan en een maximum van 250-300 links op 1 pagina, dit is voor Google nog steeds goed crawlbaar. Deze verbinden we dan met elkaar op verschillende manieren, zodat het voor Google leuk blijft alles te verkennen en hij op de verschillende pagina's uitkomt via level 1-5.

Hoe denken jullie daarover?

Mvg

Leander

Duidelijk structuur aan brengen in de website zelf en daarnaast via sitemaps (zoals je in je vorige topic aangaf). Dat moet voldoende zijn, anders is er wat mis met je structuur of met je autoriteit als Google er niet door heen kan komen.

Origineel gepost door Jan-Willem Bobbink

Duidelijk structuur aan brengen in de website zelf en daarnaast via sitemaps (zoals je in je vorige topic aangaf). Dat moet voldoende zijn, anders is er wat mis met je structuur of met je autoriteit als Google er niet door heen kan komen.

Ben ik helemaal met je eens, maar 10.000.000 interne links op één site map pagina, is het ook niet, hoe zou je daar mee omgaan. Hoe diep crawled Google, tot dat het systeem zegt, dit heb je zover weg gestopt, het is vast niet interessant meer? Ik denk tot 5 pagina's diep zal er geen probleem zijn, als het maar textlink technisch gebeurt en je er op verschillende manieren kan komen. Maar het moet een keer ophouden.

In principe is er geen HTML sitemap nodig als je de XML sitemaps op orde hebt. Wil je dit toch doen omdat je binnen je vaste menu structuur geen plek hebt (bij een E-commerce website kan dit namelijk eenvoudig bereikt worden met faceted navigation) en toch een HTML versie wilt, deel het dan alsnog in in categorie, subcategorieeen en zorg dat binnen deze series als goed gelinkt word met rel=next / prev

Wat betreft crawling: hoe populairder je website is, hoe meer moeite Google gaat doen. Daarnaast speelt snelheid hierin ook een grote factor, hoe sneller je website is, hoe meer pagina's zal crawlen. Je hebt immers een specifiek crawling budget per site. Het loont dan ook om je log files goed te analyseren en zodoende te kijken welke pagina's de Google Robot allemaal bezoekt. Zo kan het zijn dat Google elke sessie zich druk maakt om alle JavaScript bestanden in plaats van diep de site in te gaan. Dan loont het om je JavaScript uit te sluiten via Robots.txt

Origineel gepost door Jan-Willem Bobbink

In principe is er geen HTML sitemap nodig als je de XML sitemaps op orde hebt. Wil je dit toch doen omdat je binnen je vaste menu structuur geen plek hebt (bij een E-commerce website kan dit namelijk eenvoudig bereikt worden met faceted navigation) en toch een HTML versie wilt, deel het dan alsnog in in categorie, subcategorieeen en zorg dat binnen deze series als goed gelinkt word met rel=next / prev

Wat betreft crawling: hoe populairder je website is, hoe meer moeite Google gaat doen. Daarnaast speelt snelheid hierin ook een grote factor, hoe sneller je website is, hoe meer pagina's zal crawlen. Je hebt immers een specifiek crawling budget per site. Het loont dan ook om je log files goed te analyseren en zodoende te kijken welke pagina's de Google Robot allemaal bezoekt. Zo kan het zijn dat Google elke sessie zich druk maakt om alle JavaScript bestanden in plaats van diep de site in te gaan. Dan loont het om je JavaScript uit te sluiten via Robots.txt

Bedankt voor de terug koppeling.

Wij programmeren echt alles vanaf de bodem zelf(op Basis van Apache Cassandra), dit heeft voor ons veel voordelen die alle andere software. Zo komt er per week momenteel +1.000.000 pagina's bij, dit redden "standaard" programma's niet. Ik verwacht de 100.000.000 unieke pagina's nog voor het einde van dit jaar gehaald te hebben. Het nadeel van alles zelf programmeren is het ontbreken van bepaalde plug-ins.

Om al die data te verwerken kan het zo zijn, dan sommige data pas na 30-40 pagina's deep te vinden is en met de snelheid dat de website groeit, verwacht ik daar problemen. Wat ik nu aan het doen ben, is een publieke site map ontwikkelen, die binnen 5 pagina's deep 98% van de interessante website bereikt. Tevens vertel ik tegen Google dat daar een start punt is van het crawlen en daar verwacht ik veel van.

Dat van het uitschakelen van Javascript voor Robots, dat ik eens even navragen. Kan interessant zijn voor ons.

Bedankt

Leander

Dat van het uitschakelen van Javascript voor Robots, dat ik eens even navragen. Kan interessant zijn voor ons.

Ja, je kunt het zo gek niet verzinnen maar Googles robot wil nog wel eens gekke dingen doen. Splunk is handig voor de analyse van je logfiles. Op SEOmoz een basis artikel over de analyse van je logfiles met Splunk http://www.seomoz.org/blog/server-lo...ntials-for-seo