Crawler script | aanpasbaar per website

**Hans Proveaux** · 3448 × bekeken sinds 09-01-2010, 21:45

We zijn op zoek naar een scripter die het volgende scripts kan bouwen:

Eerste crawler
We hebben een website met tig duizend producten, wat we willen is een script waarmee we op meerdere websites een spider kunnen laten crawlen die de categorie, product titel en prijs kan uitlezen. Sinds elke website/webshop weer anders qua opbouw is moeten we een mogelijkheid hebben om de crawler aan te passen per website. De gecrawlde data dient weggeschreven te worden in een database zodat we deze weer kunnen gebruiken.

Het script dient dmv een cronjob minimaal 2x per dag te draaien (dit zodat we uptodate kunnen blijven), de cronjob mag per website niet langer dan 0,5 - 1 uur bezig zijn.

tweede crawler
De tweede crawler is iets gecompliceerder sinds deze de zoek querry van een website dient te gebruiken om artikelen te zoeken. Het doel van deze crawler is dat we nieuws willen tonen per product, dit willen we tonen door nieuws van een externe site omtrent het product te tonen. Het is dus belangrijk dat we per product 1 of meerdere websites kunnen doorzoeken en dat indien er voor een product nieuws is, we dit dan kunnen plaatsen op de website. in de database dient de titel, auteur, plaatsingsdatum, content en bron te worden opgeslagen in een database.

Het script dient dmv een cronjob minimaal 2x per dag te draaien (dit zodat we uptodate kunnen blijven), de cronjob mag per website niet langer dan 0,5 - 1 uur bezig zijn.

Ik verneem graag of dit te bouwen is en wat de kosten hiervoor zullen zijn.

**ramon fincken** · 10-01-2010, 00:44

Beste Hans,

mijn advies: niet doen, ga voor XML/RSS of affiliate links/programma's ( als dat mag in dit geval ).

Want op het moment dat een site die je gaat scrapen ( content scraping / spidering ) aanpassingen in de (x)HTML doet je een zeer reele kans hebt dat je crawler/robot foute content oppikt of totaal niets meer kan parsen.

De ervaring met grote cronjobs en XML/RSS uitlezen plus opslaan is hier aanwezig, indien dit een optie is verneem ik dat graag!

**Hans Proveaux** · 10-01-2010, 12:26

Beste Ramon,

bedankt voor je reactie en begrijp je insteek.
Maar hoe wil je de voorgestelde methode uitvoeren indien ze geen xml of rss feed aanbieden?

Verneem graag je reactie en je visie op dit onderwerp.

Met vr gr,

Hans

**ramon fincken** · 10-01-2010, 12:36

Beste Hans,

eigenlijk niet, het is zeer veel werk en je loopt de kans dat je later iedere site bij een wijziging van hun kant alles opnieuw moet doen.

Ik zou toch proberen om via een programma aan de content te komen, en wellicht die andere sites te verzoeken om XML feeds op te zetten. Dat is niet heel moeilijk.

Groet,
Ramon

**Mathieu R** · 10-01-2010, 12:52

Beste hans,

Een crawler maken om een categorie, product en titel van een externe site te halen is maatwerk. Een algemeen programma die geldt voor meerdere sites is naar mijn mening niet mogelijk omdat elke site zijn eigen opbouw heeft. Daarnaast is het zo dat als de externe partij de site aanpast de crawler mogelijk niet meer werkt. Een kleine aanpassing in de code kan al grote gevolgen hebben.

Ik heb een aantal malen als opdracht een crawler gemaakt t.b.v. een eenmalige extractie. Zelf gebruik ik dagelijks een crawler die 30 pagina's controleert op enkele producten. Er is elke maand wel weer iets onverwachts op 1 van de pagina's. Als je zelf de programmeur bent is dat alleen niet heel erg.

Bij voorkeur ga ik altijd eerst voor rss/xml. Een crawler - en zeker voor diverse externe sites - is een noodoplossing.

Mvg,

Mathieu

**Hans Proveaux** · 10-01-2010, 13:00

Origineel gepost door Robert de W

Offtopic; Ik heb mijn vraagtekens bij de rechten op de te crawlen content.

Hallo Robert,

Het crawlen gebeurt met toestemming van de website eigenaar.
Het crawlen is bedoeld om de website eigenaar tegemoet te komen, we willen een manier aanbieden zodat deze (indien ze nog geen rss of xml feed aanbieden) makkelijk op onze website zijn of haar producten kan tonen.
Aanvullend bericht:

Origineel gepost door Mathieu R

Beste hans,

Een crawler maken om een categorie, product en titel van een externe site te halen is maatwerk. Een algemeen programma die geldt voor meerdere sites is naar mijn mening niet mogelijk omdat elke site zijn eigen opbouw heeft. Daarnaast is het zo dat als de externe partij de site aanpast de crawler mogelijk niet meer werkt. Een kleine aanpassing in de code kan al grote gevolgen hebben.

Ik heb een aantal malen als opdracht een crawler gemaakt t.b.v. een eenmalige extractie. Zelf gebruik ik dagelijks een crawler die 30 pagina's controleert op enkele producten. Er is elke maand wel weer iets onverwachts op 1 van de pagina's. Als je zelf de programmeur bent is dat alleen niet heel erg.

Bij voorkeur ga ik altijd eerst voor rss/xml. Een crawler - en zeker voor diverse externe sites - is een noodoplossing.

Mvg,

Mathieu

Bedankt voor je reactie mathieu, ik begrijp je reactie maar zie een probleem zodra we 30+ websites handmatig moeten controleren indien ze geen feed aanbieden.

Mijn voorkeur gaat uit naar een goed uitgewerkte "noodoplossing", uiteraard vormt het geen probleem indien we de gecrawlde resultaten nog handmatig moeten controleren. We zouden dan de resultaten kunnen aanbieden aan de website eigenaren zodat deze zelf nog een controle kan uitvoeren (en indien gewenst een toevoeging of wijziging).

**Robert de W** · 10-01-2010, 13:11

Kunt u eisen stellen aan de te crawlen websites? Zodat u kunt verlangen dat het element waar de categorie in weergeven wordt, de 'id="elCategorie"' of 'class="stlCategorie"'meegeven krijgt bijv. Dan bent u minder gevoelig voor wijzigingen in structuur.

**Hans Proveaux** · 10-01-2010, 13:49

Origineel gepost door Robert de W

Kunt u eisen stellen aan de te crawlen websites? Zodat u kunt verlangen dat het element waar de categorie in weergeven wordt, de 'id="elCategorie"' of 'class="stlCategorie"'meegeven krijgt bijv. Dan bent u minder gevoelig voor wijzigingen in structuur.

Dit gaat vrij lastig worden robert, sinds we dan nog veel zouden moeten omzetten. Tevens loop je dan tegen enkele praktische punten aan.

Crawler script | aanpasbaar per website