Open je htaccess eens, en plak deze code er eens in:

http://johannburkard.de/blog/www/spa...ser-agent.html

(Scrollen naar Apache)

Deze blokkeert 'blanke' refferers, die vaak worden misbruikt door bots. Scheelt een hoop ergernis.

Om wat voor bots gaat het exact? Als het een Google Crawler is kan je deze gemakkelijk instellen en controleren via Google Webmaster Tools: https://www.google.com/webmasters/tools/home?hl=nl

Bedankt voor de tips. Ik neem het mee!

Ik heb het overzicht van startpagina's inmiddels beperkt tot 1 simpel overzicht. Het overzicht was zo uitgebreid dat je kon selecteren op onderwerp, op letter, op aantal links, maar ik zag dat heel vaak in de logs voorbij komen. Door deze opties te beperken (wel jammer, maar in euro's leverde dat niets op) is het al gehalveerd.
Ik denk dat ik ook gewoon nog eens een schoonmaak actie ga houden en lege/onbeheerde startpagina's ga verwijderen. Dat scheelt ook weer content (en dus bots)..

Maar in bovenstaande tips ga ik me zeker even verdiepen binnenkort!

Origineel gepost door J van der Linde

Deze blokkeert 'blanke' refferers, die vaak worden misbruikt door bots. Scheelt een hoop ergernis.

Daarmee blokkeer je dus ook iedereen die de URL direct in de browser intypt, en iedereen die met privacy instellingen geen http referrer stuurt. Lijkt me niet zo handig.

Code:

tail -n 10000 yourweblog.log|cut -f 1 -d ' '|sort|uniq -c|sort -nr|more

Overzicht van meest verbonden IP adressen. Wel even checken dat je niet Google/bing gaat blokkeren.

Code:

cut -f 2 -d '"' yourweblog.log|cut -f 2 -d ' '|sort|uniq -c|sort -nr|more

De meest opgevraagde URLs.

Code:

cut -f 4 -d '"' yourweblog.log|sort|uniq -c|sort -nr|more

User agents

Origineel gepost door Jay z.

Daarmee blokkeer je dus ook iedereen die de URL direct in de browser intypt, en iedereen die met privacy instellingen geen http referrer stuurt. Lijkt me niet zo handig.

http://www.startplezier.nl/style.php

Volgens mij kan hier de style van de website worden aangepast, en wordt dit zoal opgeslagen (lokaal) met een cookie. Het lijkt mij dat wanneer iemand dat wilt doen, teminste vanaf de website startplezier.nl afkomt en niet een 'blanke' url.

Bekijk de apache logs maar eens, en zie de bots die posts doen naar style.php, ZONDER dat ze de website hebben bezocht. Bezoek jij ook websites aan de hand van 1 php bestand of surf je eerst naar de index?