Beste SD'ers,
Voor een nieuw idee ben ik op zoek naar informatie over scrapers/datafeeds.
Kunnen scrapers ook informatie van betaalde sites afhalen als je een abonnement voor die site betaalt?
De bedoeling is dat ik van bepaalde sites (betaald) informatie afhaal over actuele prijzen.
Op mijn nieuwe site wil ik een blokje informatie over een bepaald product en dan de diverse prijzen ophalen die daarvoor betaald zijn.
Deze prijzen moeten in een tabel onder de productomschrijving komen met de meest recente prijs bovenaan.
Is een scraper dan de beste manier om dit aan te pakken of zijn er andere datafeed opties?
Graag jullie gedachten en evt kostenindicatie hierover.
Alvast dank,
Robert
- Uitleg over scrapers/datafeeds gevraagd
-
14-05-2021, 01:02 #1
- Berichten
- 45
- Lid sinds
- 4 Jaar
Uitleg over scrapers/datafeeds gevraagd
-
14-05-2021, 07:44 #2
- Berichten
- 434
- Lid sinds
- 15 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Een datafeed lijkt mij het beste in dit geval. Via een API/URL krijg je dan output in bijvoorbeeld XML of JSON. Die kun je vervolgens dan opslaan in een eigen database.
Een scraper zou dit ook kunnen, maar dan moet het inlog scherm matig beveiligd zijn (geen CSRF en referer check bijvoorbeeld).
-
14-05-2021, 08:49 #3
- Berichten
- 525
- Lid sinds
- 17 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Datafeed zou het makkelijkste zijn, maar als ik het zo lees betwijfel ik of dit gaat lukken aangezien alles achter een inlog zit. Het is zeker wel te scrapen, ook met goede beveiliging, is alleen wat lastiger ;)
Ik kan dit voor je maken, kostenindicatie is lastig te geven, is wat meer info voor nodig (je mag me een PM sturen).
-
14-05-2021, 08:56 #4Webblish Content & Publishing
- Berichten
- 5.633
- Lid sinds
- 17 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Dat is wel degelijk mogelijk: https://youtu.be/fhfyKLwqC4M
-
14-05-2021, 09:25 #5
- Berichten
- 434
- Lid sinds
- 15 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Jeroen en B, puur uit nieuwsgierigheid, hoe willen jullie langs inlogschermen met CSRF komen?
Neem aan dat deze software een POST op de URL van het inlogscherm uitvoert? Met een CSRF die telkens veranderd is dat onmogelijk.
Tenzij de scraper zelf een volledige webbrowser is en client side de inloggegevens invult ben ik benieuwd hoe jullie dit omzeilen.
Inlogschermen zonder CSRF is prima mogelijk inderdaad.
-
14-05-2021, 09:29 #6
- Berichten
- 525
- Lid sinds
- 17 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Zo dus R v/d Sanden
Tenzij de scraper zelf een volledige webbrowser is en client side de inloggegevens invult ben ik benieuwd hoe jullie dit omzeilen.
En B. van der Weerd:
Ja, inderdaad. Ik bedoelde dat als alles achter een inlog zit er waarschijnlijk geen publieke datafeeds beschikbaar zijn, dus dat je slim moet scrapen.
-
14-05-2021, 09:31 #7First Concepts
- Berichten
- 332
- Lid sinds
- 10 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Goede vraag ik heb een aantal customscripts die het doen. Maar ik zoek ook naar een goede oplossing voor hetzelfde en het liefste breed inzetbaar en inderdaad voor prijstabellen.
- Feeds oplossing zou natuurlijk het mooiste en fijnste zijn maar door middel van WP-all-import is zo vergelijk tabel mij nog niet gelukt op te maken. Heeft iemand hier een goede guide voor of ervaring mee?
- Scrapen met tools.. wie gebruikt dat en welke zou je adviseren. Ik vind dit een beetje grijs gebied.
- Dan heb je nog de opties DatafeedR en Content Egg (ik heb zelf hier geen ervaring mee maar welke zou je adviseren).
Dus ik lees graag even mee.
-
14-05-2021, 14:38 #8
- Berichten
- 525
- Lid sinds
- 17 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Ik gebruik Nodejs, met cheerio en puppeteer voor het scrapen. Je maakt er een array van en dat gaat dan via json weer naar de webserver die het verder verwerkt.
Lees bijvoorbeeld
https://levelup.gitconnected.com/ano...o-3b36ec6a45dc
-
14-05-2021, 16:53 #9First Concepts
- Berichten
- 332
- Lid sinds
- 10 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Bedankt voor delen van de informatie Jeroen. Ik ga het eens lezen.
-
15-05-2021, 17:29 #10
- Berichten
- 31
- Lid sinds
- 15 Jaar
Re: Uitleg over scrapers/datafeeds gevraagd
Kwam laatst deze anti-scraper oplossing tegen: https://www.perimeterx.com/
Je wil gewoon z.s.m. weten wat wordt gebruikt om 'scrapers' tegen te gaan.
Scrapen is op zich recht toe recht aan.
Tags voor dit bericht
Plaats een
- + Advertentie
- + Onderwerp
Marktplaats
Webmasterforum
- Websites algemeen
- Sitechecks
- Marketing
- Domeinen algemeen
- Waardebepaling
- CMS
- Wordpress
- Joomla
- Magento
- Google algemeen
- SEO
- Analytics
- Adsense
- Adwords
- HTML / XHTML
- CSS
- Programmeren
- PHP
- Javascript
- JQuery
- MySQL
- Ondernemen algemeen
- Belastingen
- Juridisch
- Grafisch ontwerp
- Hosting Algemeen
- Hardware Info
- Offtopic