Beste forumleden,
Ik ben een onderzoekje aan het doen of er vraag is om een tool uit te brengen wat een website omzet naar een datafeed.
Je hebt een browser plugin, dit zorgt ervoor dat je componenten kunt selecteren van een website (afbeelding,productname, attributen)
Je geeft eenmalig aan wat je nodig hebt en de pagination e.d. wordt gevolgt zodat alle data incl attributen gefetched worden.
Zie link, daar heb ik wat screenshots.


http://bit.ly/2fjEFOA




Hoor graag jullie mening.
Bedankt!

Ja, vanuit hier wel.. Wilde eigenlijk vragen of import.io niet al iets soortgelijks deed, maar dat heb je zelf al beantwoord in jouw post :)

Ja, daar zou ik wel behoefte aan kunnen hebben.

De vraag is natuurlijk wel hoe het zit met copyright?

We hebben dit voor onze eigen affiliate websites al gerealiseerd. Er zijn wel aan aantal punten waar je tegen aan gaat lopen:
- Een groot aantal website's maakt gebruik van een product-configurator). Het uitlezen van de prijs is - omdat het middels Client side programming veranderd - in 9 van de 10 gevallen niet te achterhalen.
- Zorg voor voldoende (snelle) proxies. Uit ervaring kan ik aangeven dat de grote websites het niet zo prettig vinden als je een xx-aantal request per minuut maakt.
- Daarnaast is de copyright inderdaad nog een ander punt waarop gelet moet worden.

dankjewel voor de feedback. Wat bedoel je met product configurator?

Denk hierbij aan het samen stellen van de fiets (framemaat, kleur etc.). Bekendste online fietsenwinkel doet dat.

De tool zou misschien een affiliatefeed als basis kunnen nemen, zodat je alle prijzen en artikelnummers goed hebt, om vervolgens de desbetreffende site te scrapen naar extra content om de feed mee te verrijken?