Scheinbar hat sich die JK PHOTOAGENCY, http://www.18×24.com, einen kleinen Webcrawler stricken lassen, der nun offenbar Webseiten nach Bildern dieser Agentur durchsucht.
Im Logfile für adminblogger.de schlug der Crawler dieser Agentur am Mittwoch auf und ignorierte dreist die robots.txt:
xxx.227.xx.83 – – [04/Oct/2006:19:11:36 +0200] “GET / HTTP/1.0” 302 285 “http://www.18×24.com” “FOTOCHECKER”
xxx.227.xx.83 – – [04/Oct/2006:19:11:36 +0200] “GET /blog/ HTTP/1.0” 200 50056 “http://www.18×24.com” “FOTOCHECKER”
Auf mindestens einer weiteren Domain von mir war der Bot schon am 1. und 2. Oktober unterwegs – natürlich wieder, ohne die robots.txt abzurufen.
Falls hier rein zufällig ein Verantwortlicher von JK PHOTOAGENCY mitliest: Geben Sie Ihrem techn. Verantwortlichen bitte einen Wink mit diesem Zaunpfahl. Danke.