Google: Robots.txt sollte nicht dynamisch geändert werden

Es ist keine gute Idee, die robots.txt einer Website dynamisch zu ändern, um zum Beispiel die Serverlast durch das Crawlen zu steuern.

 Anzeige

Die robots.txt dient dazu, den Zugriff der verschiedenen Crawler auf die URLs und Verzeichnisse einer Website zu steuern. Damit lässt sich vermeiden, dass URLs gecrawlt werden, die keinen Merhwert für die Suche bringen. Das reduziert die Last auf dem Server.

Nicht zu empfehlen ist es dagegen, die robots.txt dynamisch und regelmäßig zu ändern, um die Serverlast durch das Crawlen zu reduzieren. Ein Nutzer fragte auf Bluesky bei John Müller nach, ob es sinnvoll sei, morgens und nachmittags eine andere robots.txt zu verwenden, um morgens den Googlebot zu blockieren und nachmittags das Crawlen zu ermöglichen.

Müller antwortete, das sei keine gute Idee weil die robots.txt bis zu 24 Stunden im Cache liegen könne. Es sei nicht zu empfehlen, die robots.txt dynamisch im Lauf eines Tages zu ändern. Stattdessen solle man den HTTP-Status 503 oder den HTTP-Status 429 verwenden, wenn zu viel gecrawlt werde.

Eine weitere Möglichkeit ist das Sperren von URLs per robots.txt, die für die Suche nicht relevant sind. Dazu gehören zum Beispiel URLs mit bestimmten Parametern.