Goedenavond,
Ik heb het volgende probleem.
Mijn startpaginawebsites slurpen erg veel dataverkeer (10GB per dag) terwijl er misschien in totaal 2000 bezoekers per dag opkomen. "Vroeger" had ik veel meer bezoekers en tegelijkertijd gebruikte ik veel minder dataverkeer.
Ik kom echt allerlei bots tegen en soms zie ik dat echt alle startpagina's door hetzelfde ip-adres worden gescreend.
Ik wil google uiteraard de toegang niet ontzeggen. Maar ik wil heel graag iets doen aan al die dataverkeer die de websites nu nemen. Naast google zie ik ook erg veel andere bots langskomen.
Kan ik hier ook iets tegen doen?
Zijn er mensen met dezelfde problemen?
Ik hoor het graag.
Groet, Dirk
- Dataverkeer door bots?
-
28-09-2015, 20:13 #1
- Berichten
- 582
- Lid sinds
- 18 Jaar
Dataverkeer door bots?
-
29-09-2015, 01:37 #2Particulier
- Berichten
- 17
- Lid sinds
- 13 Jaar
Re: Dataverkeer door bots?
via robots.txt kan je de bots blokkeren..
-
29-09-2015, 09:11 #3
- Berichten
- 582
- Lid sinds
- 18 Jaar
Re: Dataverkeer door bots?
Ja dat heb ik gelezen. Maar dat is een richtlijn waar bijvoorbeeld google zich wel aan wil houden.
Slechte bots doen dit echter niet. En dat zijn nou net de bots die ik liever wil blokkeren dan google.
Zijn er niet meer mensen met dit probleem? Ik heb even beter gekeken en zie dat het zelfs om meer dan 10 GB verkeer per dag gaat...
-
29-09-2015, 09:41 #4Particulier
- Berichten
- 17
- Lid sinds
- 13 Jaar
Re: Dataverkeer door bots?
Ip adres blokkeren van bots? Is dat niet een oplossing?
-
29-09-2015, 09:42 #5
- Berichten
- 582
- Lid sinds
- 18 Jaar
Re: Dataverkeer door bots?
Ja, ik denk de enige oplossing. Alleen zijn die bots slim genoeg om telkens via een ander IP-adres langs te komen..
-
29-09-2015, 09:47 #6Particulier
- Berichten
- 17
- Lid sinds
- 13 Jaar
Re: Dataverkeer door bots?
Hebkke misschien de naam of adres van bot?
-
29-09-2015, 11:27 #764BitsWebhosting.EU
- Berichten
- 2.092
- Lid sinds
- 17 Jaar
Re: Dataverkeer door bots?
Je kunt een directory maken zoals /blabla/ en daar een lege index.html in zetten en nergens naar die directory linken.
Vervolgens blokkeer je in je robots.txt de directory /blabla/
De bots die zich niet gedragen zullen meestal die directory wél scannen en die knal je in de firewall of block je op een andere manier.
-
30-09-2015, 11:51 #8
- Berichten
- 2
- Lid sinds
- 9 Jaar
Re: Dataverkeer door bots?
Wat je ook kunt doen is de bots blokkeren met .htaccess (even van uit gaande dat je apache draait op de server). Heb even voor je gezocht en er is al iemand die iets soort gelijks heeft gedaan op : http://www.allthingsdemocrat.com/hta...st-on-the-web/ en het script kan je zo overnemen hier:
http://www.allthingsdemocrat.com/blo...n-htaccess.txt Je zou dit zoals hierboven al verteld is kunnen testen op een submap en kijken of dit goed werkt.
-
30-09-2015, 15:19 #9Particulier
- Berichten
- 1.412
- Lid sinds
- 15 Jaar
Re: Dataverkeer door bots?
Weet je zeker dat het bots zijn die je dataverkeer wegslurpen? 10 GB is écht veel verkeer en je moet bizar veel pagina's downloaden (inclusief afbeeldingen wat ongewoon is voor bots om te downloaden) en dan nog is het heel veel. Daarnaast verslurpt die bot ook 10 GB aan verkeer aan zijn kant wat het een beetje onlogisch maakt.
Is er niet een FTP accountje gekraakt ofzo waardoor je GB's er door vliegen?
-
30-09-2015, 22:14 #10
- Berichten
- 582
- Lid sinds
- 18 Jaar
Re: Dataverkeer door bots?
Het zijn natuurlijk wel 15.000 startpagina's en voor elke rubriek bestaat weer een eigen rubriekenpagina (meer dan 100.000 pagina's).
De FTP heb ik onlangs nog veranderd.
Zeg natuurlijk nooit nooit, maar ik heb niet het idee dat het daaraan ligt.
Ik ga bovenstaande test binnenkort eens doen inderdaad!
-
01-10-2015, 00:10 #11Particulier
- Berichten
- 1.412
- Lid sinds
- 15 Jaar
Re: Dataverkeer door bots?
Als je 10 GB per dag verbruikt en een pagina gemiddeld 20 KB is (afbeeldingen, CSS, Javascript, etc wordt over het algemeen door bots niet gedownload) dan worden er meer dan een half miljoen pagina's (16.2 miljoen paginas per maand) elke dag gedownload. Met welk doel zou die bot dat doen? Ben benieuwd wat het nou precies is, hou ons op de hoogte :)
-
01-10-2015, 02:30 #12
- Berichten
- 973
- Lid sinds
- 16 Jaar
Re: Dataverkeer door bots?
Je ziet in de logs toch uitgebreide info wat dat IP adres doet op jouw website? Plak eens wat neer hier zodat we een beter beeld krijgen ervan.
Ja het klopt dat er wereldwijd tientallen al dan niet miljoenen bots het internet afstruinen naar 'lekke' sites en allerlei POSTS sturen. Dat kost traffic inderdaad. Maar daar kan je je met een klein beetje inzet prima tegen beschermen.
Wellicht heb je ergens een formulier staan waarmee bots een POST doen. Denk bijv aan het misbruiken van een contact form, bruteforce op een inlogpaneel, zoeken naar exploits op je website etc ...
-
01-10-2015, 20:12 #13
- Berichten
- 582
- Lid sinds
- 18 Jaar
Re: Dataverkeer door bots?
Er staan inderdaad wel formulieren op de website.
Hier een stukje log:
http://www.multiwebs.nl/klanten/access_log
-
02-10-2015, 11:04 #14
- Berichten
- 1.071
- Lid sinds
- 14 Jaar
Re: Dataverkeer door bots?
84.3.7.235 is vrij fanatiek zo te zien ;)
En zit in Hungary.
-
02-10-2015, 11:11 #15
- Berichten
- 973
- Lid sinds
- 16 Jaar
Re: Dataverkeer door bots?
Zoek eens op ...
"POST /style.php"
Dit IP adres: 188.143.232.72 > https://www.google.nl/?gws_rd=ssl#q=188.143.232.72+
Er zitten bots die spam proberen te versturen en dat kost je denk ik enorm veel verkeer zo.
188.143.232.72 - - [26/Sep/2015:17:39:40 +0200] "POST /style.php HTTP/1.1" 200 11908 "http://www.startplezier.nl/style.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
Plaats een
- + Advertentie
- + Onderwerp
Marktplaats
Webmasterforum
- Websites algemeen
- Sitechecks
- Marketing
- Domeinen algemeen
- Waardebepaling
- CMS
- Wordpress
- Joomla
- Magento
- Google algemeen
- SEO
- Analytics
- Adsense
- Adwords
- HTML / XHTML
- CSS
- Programmeren
- PHP
- Javascript
- JQuery
- MySQL
- Ondernemen algemeen
- Belastingen
- Juridisch
- Grafisch ontwerp
- Hosting Algemeen
- Hardware Info
- Offtopic