Hallo iedereen,
Ik ben op zoek naar een web crawler.
Heeft hier iemand wat kaas van gegeten en weet welke er perfect werken.
In mijn situatie is het voor het afzoeken van het web naar horeca gelegenheden.
Het opslaan van de naam, openingstijden, locatie (adres), etc.
En natuurlijk dat ik een website opgeef dat de crawler die op opgegeven tijdstippen en momenten afleest.
En dat ik hem bijvoorbeeld hier op los laat: http://www.djguide.nl/maand.p
En dan vervolgens alles opneemt zoals Namen, locaties, en als je het opent adres met openingstijden,
en daar is ook een link naar de website te vinden die dan opent en daar dan nog meer vandaan haalt.
Vraag ik nou te veel of ben ik op zoek naar een crawler die pas in het jaar 2030 uit komt haha.
Ik heb er zelf totaal geen verstand van.
Hoop dat jullie me kunnen helpen.
Alvast bedankt voor alles.
- Web crawler / spider
-
09-08-2012, 03:46 #1Particulier
- Berichten
- 46
- Lid sinds
- 14 Jaar
Web crawler / spider
Laatst aangepast door Hanif G. : 09-08-2012 om 04:04
-
09-08-2012, 09:35 #2Particulier
- Berichten
- 131
- Lid sinds
- 17 Jaar
Re: Web crawler / spider
Je moet even zoeken naar een 'Web data extractor', er is wel degelijk software voor. Wij hebben jaren geleden software van het bedrijf Kapow gehad.
-
10-08-2012, 03:58 #3Particulier
- Berichten
- 46
- Lid sinds
- 14 Jaar
Re: Web crawler / spider
Bedankt voor je reactie.
Ja klopt ik zag 'Web data extractor' voorbij komen na wat te googlen.
Er staan ook filmpjes op hoe je dan een url opgeeft en wat hij dan precies moet zoeken.
Toch nog een klote baan als je dat bij alle website's wilt doen in de horeca (volgens mij zo'n 25.000 in nederland alleen al) haha.
-
12-08-2012, 09:37 #4
- Berichten
- 637
- Lid sinds
- 17 Jaar
Re: Web crawler / spider
Welke gegevens heb je nodig? Als je het van 25.000 verschillende websites af wilt trekken, zal het sowieso lastig worden in verband met de verschillen per pagina. Dan zou ik die 25.000 websites volledig scrapen naar een database en vanuit daar je data queries doen.
Plaats een
- + Advertentie
- + Onderwerp
Marktplaats
Webmasterforum
- Websites algemeen
- Sitechecks
- Marketing
- Domeinen algemeen
- Waardebepaling
- CMS
- Wordpress
- Joomla
- Magento
- Google algemeen
- SEO
- Analytics
- Adsense
- Adwords
- HTML / XHTML
- CSS
- Programmeren
- PHP
- Javascript
- JQuery
- MySQL
- Ondernemen algemeen
- Belastingen
- Juridisch
- Grafisch ontwerp
- Hosting Algemeen
- Hardware Info
- Offtopic