Op een van de sites die ik beheer wordt de aanwezige RSS feed elke seconde! opgevraagd door diverse Google ipadressen.
De feed is 8208 bytes groot, het dataverbruik is in 15 dagen opgelopen tot ruim 20GB.
De useragent die de feed opgevraagd is ook telkens dezelfde, namelijk Go-http-client/1.1

Natuurlijk kan ik desbetreffende useragent blokkeren, dit zorgt er inderdaad voor dat Google de feed niet langer kan opvragen en dat het dataverbruik weer normaliseert maar het lijkt me niet de juiste oplossing.

Is er een betere oplossing?

Go-http-client/1.1 is de standaard useragent van Google Go. Waarschijnlijk is het wat anders, niet Google maar wel gemaakt met Go. Heb je het IP adres gecontroleerd?

Origineel gepost door Rogier van E

Heb je het IP adres gecontroleerd?

Het zijn diverse ip's:
35.190.207.132
35.189.242.65
35.189.218.56
104.199.87.90
35.187.96.204
35.187.52.64
35.187.68.174
35.190.201.122
35.189.215.158
35.190.203.87

Dat is wel Google... Vaag.

Wellicht krijg je het voor elkaar om het wat te limiteren? https://support.google.com/webmaster...er/48620?hl=nl

Dat komt van Google App Engine waarschijnlijk, een hosting dienst van Google. Je kan in de headers zien van welk app engine id het komt.

Dat eerste IP-adres kom je in heel veel bezoekersstatistieken tegen... Vooral bij blogs/nieuwssites, maar dat kan ook toeval zijn.

Misschien Google Docs scriptje die jouw website scrapen? Het zijn geen zoekmachinespiders dus je zou ze ook kunnen blacklisten. Maar vraag het eerst eens in een Google productforum?

Voor nu heb ik de useragent geblokkeerd, dit werkt afdoende.
Bedankt voor het meedenken.