Spider Trap

Bei einer Spider Trap (deutsch: "Spinnenfalle") handelt es sich um Mechanismen, die auf einer Webseite getroffen werden, um unerwünschte Crawler vom Indexieren der Seiten abzuhalten. Dazu macht man sich den Umstand zunutze, dass sich unerwünschte Crawler, die auch Bots oder Robots genannt werden, oft nicht an Vorgaben aus der robots.txt-Datei halten. Crawler, die sich an diese Anweisungen halten, werden nicht beeinträchtigt. Alle anderen werden auf bestimmte Seiten geleitet, die ihnen ständig neue, meist endlose Inhalte und Links anbieten und die Crawler somit ins Leere laufen lassen. Ein Beispiel für eine Spider Trap ist ein Kalender, der in jedem Monat einen Link auf den Folgemonat anbietet. Diese Kette kann dann endlos weitergeführt werden.