Origineel gepost door Johan Michel Struijk

Wat is Web scraping?

Met Web scraping, ook wel data-extractie genoemd, wordt bedoeld het downloaden van een website en deze omzetten in een makkelijk te verwerken tabelvorm de voor u relevante gegevens.

Ik analyseer en filter de (ruwe) data van de afzonderlijke web pagina's om het daarna in een voor u te verwerken (gestructureerd) formaat aan te kunnen leveren. Nadat de gegevens door de screen scraper zijn verwerkt kunt u de gegevens bijvoorbeeld gebruiken in uw eigen database of applicaties.

Hoe werkt het?
Het enige wat u hoeft te doen is mij de website en uw specifieke wensen te sturen, zodat ik de structuur en de moeilijkheidsgraad kan bepalen voor het verwerken van de data. De prijs wordt bepaald door factoren als de complexiteit, de hoeveelheid en grootte van de records.

Tevens kan ik volledige sites downloaden of specifiekere dingen zoals alle PDF/Word/Excel-bestanden van een bepaalde site of webpagina. Ik kan voor u bijvoorbeeld alle documenten van een site downloaden.

De eindresultaten kunnen geleverd worden in onder andere de volgende formaten:

• Excel
• CSV
• Tekst
• HTML
• XML
• MySQL / PostgreSQL / MSSQL
• PDF

Heeft u interesse? Stuur mij informatie over uw project en ik lever u een richtprijs.

U beseft dat webscrapen illegaal kan zijn?

Origineel gepost door Mittchel Van Vliet

U beseft dat webscrapen illegaal kan zijn?

Kan zijn inderdaad. Ja dat besef ik. Net zoals een CD kopieeren illegaal kan zijn en waarbij de verantwoordelijkheid bij de eindgebruiker ligt.

Origineel gepost door Mittchel Van Vliet

U beseft dat webscrapen illegaal kan zijn?

Scrapen is niet illegaal. Het downloaden van websites ook niet, tenzij anders aangegeven op de desbetreffende website.

Origineel gepost door Mittchel Van Vliet

U beseft dat webscrapen illegaal kan zijn?

Zou je dat ook tegen Google zeggen? Dat is de grootste webscraper.

Nou, het ligt een beetje subtieler. Ten eerste heb je dingen zoals auteursrecht en databankrecht.
Beiden zijn erg verschillend maar worden regelmatig met succes gebruikt om scrapers boetes van bv 1000 euro per dag aan te smeren. Maar dit is niet altijd een goedkope manier om als eigenaar aan te tonen dat je data geript is, omdat je advocaten nodig hebt die uren bezig zijn om een case te bouwen.

Daarom heb je veel sites die 'spook' data in hun gegevensverzamelingen gebruiken (denk aan spookadvertenties/spookadressen e.d. die helemaal niet bestaan, maar lastig te identificeren zijn als je een website automatisch ript.

Als uiteindelijk ook maar 1 van die spookgegevens op een andere site wordt gevonden, dan loop je veel kans om succesvol aangeklaagd te worden wegens schending van bv. het databankrecht.

Google is uiteraard geen vergelijking met zelf scrapen. Je kunt google heel eenvoudig verbieden om je data over te nemen, maar het zou niet handig zijn. Dat is iets totaal anders dan Jantje die je website ript voor eigen financieel voordeel ;)

Het is dus te kort door de bocht om te zeggen dat het wel/niet mag, maar als de eigenaar vind dat het niet mag en je wordt betrapt, kan de consequentie je het lachen wel eens doen vergaan.

Origineel gepost door John Timmer

Nou, het ligt een beetje subtieler. Ten eerste heb je dingen zoals auteursrecht en databankrecht.
Beiden zijn erg verschillend maar worden regelmatig met succes gebruikt om scrapers boetes van bv 1000 euro per dag aan te smeren. Maar dit is niet altijd een goedkope manier om als eigenaar aan te tonen dat je data geript is, omdat je advocaten nodig hebt die uren bezig zijn om een case te bouwen.

Daarom heb je veel sites die 'spook' data in hun gegevensverzamelingen gebruiken (denk aan spookadvertenties/spookadressen e.d. die helemaal niet bestaan, maar lastig te identificeren zijn als je een website automatisch ript.

Als uiteindelijk ook maar 1 van die spookgegevens op een andere site wordt gevonden, dan loop je veel kans om succesvol aangeklaagd te worden wegens schending van bv. het databankrecht.

Google is uiteraard geen vergelijking met zelf scrapen. Je kunt google heel eenvoudig verbieden om je data over te nemen, maar het zou niet handig zijn. Dat is iets totaal anders dan Jantje die je website ript voor eigen financieel voordeel ;)

Het is dus te kort door de bocht om te zeggen dat het wel/niet mag, maar als de eigenaar vind dat het niet mag en je wordt betrapt, kan de consequentie je het lachen wel eens doen vergaan.

Dit dus. Google is totaal niet te vergelijken. Als hij tekst en fotos van een site haalt zit daar erg vaak al copyright op. Verder, succes met het werven van klanten

haha mijn advertentie is ondertussen een hele discussie geworden :) maar in elk geval kijk ik zelf altijd uit met illegale raakvlakken, dus zou nooit een opdracht aannemen waarbij ik het idee heb dat het niet mag.

Origineel gepost door Johan Michel Struijk

haha mijn advertentie is ondertussen een hele discussie geworden :) maar in elk geval kijk ik zelf altijd uit met illegale raakvlakken, dus zou nooit een opdracht aannemen waarbij ik het idee heb dat het niet mag.

Beste Johan, bied je deze diensten nog aan? Ik kan je geen pm sturen via SD maar zou graag eens van gedachten wisselen. Stuur mij even een PM als je wilt.

IK kan geen pm sturen ?