Um Google vorübergehend daran zu hindern, eine Website zu crawlen, gibt es einen einfachen Trick. Dieser sollte aber wirklich nur für kurze Zeit angewandt werden.
Welche Möglichkeiten gibt es, um das Crawlen einer Website durch Google zu unterbrechen? Mögliche Gründe dafür kann es viele geben, etwa, wenn auf einer Website kurzzeitig viel Traffic erwartet wird, der nicht zusätzlich durch das Crawlen erhöht werden soll.
Im aktuellen Webmaster-Hangout ging es um diese Frage. Ein Nutzer wollte wissen, wie er kurzzeitig über die Black Week die Crawl-Frequenz von Google senken könne.
Johannes Müller antwortete, das Ändern der Crawling-Frequenz auf "niedrig" in der Konfiguration würde erst mit einem Tag Verzug berücksichtigt. Das sei etwas spät.
Eine Alternative sei es, beim Abruf der robots.txt den Statuscode 503 zurückzugeben. Der Googlebot würde diesen Status erkennen und die Website dann erst einmal nicht mehr crawlen. Google werde dann in den kommenden Tagen immer wieder versuchen, die robots.txt anzurufen. Das sei eine Möglichkeit, wenn alles bereits wunschgemäß indexiert sei und man nicht alles per "disallow" in der robots.txt sperren wolle. Sobald die robots.txt wieder abgerufen werden könne, funktioniere das Crawlen wieder.
Aber Vorsicht: Wenn die robots.txt zu lange nicht anrufbar ist und Serverfehler liefert, kann das dazu führen, dass Google eine Website nicht mehr crawlt und sie sogar irgendwann aus dem Index entfernt. Daher sollte eine Maßnahme wie die oben beschriebene nur vorübergehend eingesetzt werden.
