Kommentare zu: Crawler der JK PHOTOAGENCY ignoriert robots.txt

Von: Kai

Kai — Sun, 08 Oct 2006 17:41:54 +0000

War bei mir heute auch in den Logs...Ich vermute, das es ein Crawler ist, der nach urheberrechtlich geschützen Bilder sucht - wozu kann man sich ja in der heutigen Zeit denken

Von: Marcel

Marcel — Sat, 07 Oct 2006 18:32:31 +0000

Das gibt es - man kann mit SetEnvIf Variablen setzen, wenn z.B. der User-Agent xyz enthält und dann später alle Requests blocken, wenn diese Variable existiert.

Man könnte aber in diesem Fall einfacher mit deny from a.b.c.d den Crawler blocken.

Die robots.txt ist ja auch nur eine Bitte, an die sich die Spider halten sollten - wenn man natürlich die robots.txt nicht einmal abruft ...

Gruß,
Marcel.

Von: David

David — Sat, 07 Oct 2006 17:00:15 +0000

Gibts es für Apache nicht irgendwelche Optionen, die bestimmte User-Agent blockieren? Das wäre doch auch eine Lösung, wenn auch unbefriegend.

Von: Michael Wolf

Michael Wolf — Sat, 07 Oct 2006 12:59:19 +0000

# robots.txt fuer http://www.adminblogger.de

# Fuck You