Eine nicht erreichbare robots.txt kann dazu führen, dass Google eine Website nicht crawlt, weil die Ressourcen als blockiert gelten.
Für das Crawlen durch Google ist es wichtig, dass die robots.txt - sofern es eine solche Datei gibt - für Google erreichbar ist. Liefert der Aufruf der robots.txt dagegen eine Fehlermeldung, kann es passieren, dass Google das Crawlen als blockiert ansieht. Das erklärte John Müller gerade auf Twitter:
"If the robots.txt file is unreachable, we'll see that as blocking crawling."
Kritisch sind dabei insbesondere 403- und 500er-Fehler. Erhält der Googlebot beim Versuch, die robots.txt abzurufen, einen solchen Status, dann wird die Website nicht gecrawlt.
Unproblematisch ist es dagegen, wenn es keine robots.txt gibt und beim Aufruf der Datei ein 404-Fehler zurückgegeben wird. In diesem Fall kann Google davon ausgehen, dass alle URLs der betreffenden Website gecrawlt werden dürfen.
Titelbild: Copyright Dirk Schumann - stock.adobe.com
Verwandte Beiträge
Google: Änderungen an robots.txt wirken sich nicht sofort auf gesamte Website aus
Änderungen an der robots.txt, auch solche, welche die gesamte Website betreffen, wirken sich nicht sofort auf alle URLs aus, sondern werden nach und nach angewandt.
Google verarbeitet nur die ersten 500 KB der robots.txt
Bei zu großen robots.txt-Dateien kann es sein, dass Google nicht alle Direktiven verarbeitet, denn nur die ersten 500 KB werden berücksichtigt.
Google: Weiterleitung über eine per robots.txt blockierte Seite stoppt den Fluss von Linksignalen
Weiterleitungen, die über eine per robots.txt blockierte Seite führen, stoppen die Weitergabe von Linksignalen wie beispielsweise von PageRank.
SEO-Newsletter bestellen
Anzeigen
