Hallo, ik ben op zoek naar een online tool om emailadressen te scrapen zodat ik ze kan gebruiken voor linkbuilding.
Ik heb enkel tools/extensies gevonden waarbij je zelf de pagina moet opgeven en de tool zal vervolgens het emailadres scrapen.
Ik ben meer op zoek naar een tool waarbij je een zoekwoord kan ingeven en die vervolgens een array met 100 zoekresultaten zal terug geven en van deze 100 zoekresultaten het emailadres gaat scrapen. Het is dus de bedoeling dat je enkel een zoekterm moet opgeven en de tool zal voor jouw de emailadressen scrapen.
Bestaat er zo iets? Alvast bedankt!
- web scraping tool
-
13-02-2016, 14:22 #1
- Berichten
- 93
- Lid sinds
- 9 Jaar
web scraping tool
-
13-02-2016, 16:54 #2gast74241 Guest
Re: web scraping tool
Interessant vraag. Ik vraag me af of dit legaal is.
-
13-02-2016, 17:14 #3
- Berichten
- 519
- Lid sinds
- 15 Jaar
Re: web scraping tool
Dat lijkt me niet. Daar hebben we instanties als de OPTA voor om mensen zoals TS tegen te houden. Ik ben er in ieder geval niet van gediend als iemand mij acquisitie stuurt alleen maar omdat ik 'tekstschrijver' op mijn website heb staan.
-
13-02-2016, 17:53 #4gast74241 Guest
Re: web scraping tool
Volgens mij is het legaal.
Het is toch geen geautomatiseerde mail met een commercieel doel als hij mensen zelf gaat benaderen?
Persoonlijk denk ik dat het beter is om het handmatig te doen en de DA/PA, Pagerank, citation flow en trust flow te checken voordat je iemand benaderd. Daarnaast moet er enige relevantie zijn. Als je al deze zaken geautomatiseerd kan checken en dan mailen, zou het geniaal zijn... Misschien een idee voor een scripter.
De meeste websites hebben trouwens een contactformulier.
Het zijn meestal de websites waar je niet op wilt staan die een email adres hebben dat door bots gecrawld kan worden.
Ik zou het dus toch maar gewoon handmatig doen.
-
13-02-2016, 19:09 #5Particulier
- Berichten
- 102
- Lid sinds
- 12 Jaar
Re: web scraping tool
Zo'n tool is wel te maken, maar denk dat je voor veel minder geld 100 000 email addressen kunt kopen via de databedrijven.
-
13-02-2016, 19:21 #6
- Berichten
- 93
- Lid sinds
- 9 Jaar
Re: web scraping tool
Zo'n tool maken is me deels gelukt met linux scripting.
Ik had er nog niet bij stil gestaan of dit wel volledig legaal is, goed punt!
Het is zeker niet de bedoeling om 100.000en emailadressen te scrapen. Enkel op bijvoorbeeld het zoekwoord badkamerkastje, in die niche enkele emailadressen te vinden voor benadering tot linkruil. Bespaart je veel werk. Ik wou dit graag met php proberen te maken.
-
13-02-2016, 19:28 #7Particulier
- Berichten
- 102
- Lid sinds
- 12 Jaar
Re: web scraping tool
Begin met preg_match_all
Misschien helpt dit je op weg, het is niet af, maar dat mag je zelf uit puzzelen.
Code:$file = file_get_contents("www.zoekmachine.ext?q=badkamerkastje"); preg_match_all("#href=([^>]+)#si", $file, $linktags);
Code:$file = file_get_contents($linktags[0]); preg_match_all("#([0-9a-z\_\.]+)@([0-9a-z\-]+).([a-z]+)#si", $file, $emails);
-
14-02-2016, 11:49 #8Particulier
- Berichten
- 40
- Lid sinds
- 10 Jaar
Re: web scraping tool
Beide zijn eenvoudig te doen met Scrapebox (voor het scrapen heb je wel Google-passed proxies nodig bij grotere aantallen zoekwoorden).
Je voert simpelweg je lijst met zoekwoorden in, filter op de eerste 100 resultaten en je hebt je landingspagina's.
Scrapebox heeft ook een optie voor het scrapen van email-adressen, maar het probleem is dat die adressen dan in de page source van je gescrapete landingspagina's moeten voorkomen. Een workaround is om de de domeinen naar root te trimmen en site:domeinnaam.nl + "contact" queries te doen zodat je de contactpagina's direct kunt raadplegen met de e-mailadres scraper. Als alternatief kun je ook de root domains simpelweg aanvullen met info@, aangezien dit vaak het meest gebruikte email-adres is, maar dan verlies je natuurlijk een wel hoop een hoop adressen die juist geen info@/of catchall gebruiken.
Wel moet ik je erop wijzen dat het daadwerkelijk spammen van de adressen illegaal is.
-
14-02-2016, 12:00 #9
- Berichten
- 878
- Lid sinds
- 15 Jaar
Re: web scraping tool
Kijk eens naar http://www.link-assistant.com/ dit kan alles wat je wilt. Het mooie is dat je simpel weg wat poxies vastlegd (ga wel voor elite private proxies) en de tool werkt super!
Plaats een
- + Advertentie
- + Onderwerp
Marktplaats
Webmasterforum
- Websites algemeen
- Sitechecks
- Marketing
- Domeinen algemeen
- Waardebepaling
- CMS
- Wordpress
- Joomla
- Magento
- Google algemeen
- SEO
- Analytics
- Adsense
- Adwords
- HTML / XHTML
- CSS
- Programmeren
- PHP
- Javascript
- JQuery
- MySQL
- Ondernemen algemeen
- Belastingen
- Juridisch
- Grafisch ontwerp
- Hosting Algemeen
- Hardware Info
- Offtopic