SEO-News

GoogleLiefert eine Website beim Versuch, die robots.txt abzurufen, über längere Zeit einen 500er-Fehler, kann Google das Crawlen wieder aufnehmen. Google geht dann davon aus, dass es sich um eine fehlerhafte Konfiguration handelt.

Vor dem Crawlen einer Website ruft der Googlebot die zugehörige robots.txt-Datei ab. Kommt es bei diesem Abruf zu einem Serverfehler (500er-Fehler), crawlt Google die Website erst einmal nicht.

Dauert dieser Zustand über längere Zeit an, kann es jedoch sein, dass Google von einem Konfigurationsfehler ausgeht und die Website wieder crawlt. Das erklärte Johannes Müller im Webmaster-Hangout vom 13. Dezember.

In der vorangegangenen Anfrage ging es um den Fall, dass es beim Abruf der robots.txt längere Zeit zu einem 503-Fehler gekommen war. Dieser Fehler steht für "Service Unavailable" und kommt zum Beispiel vor, wenn ein Webserver aufgrund eines plötzlichen Trafficanstiegs überlastet ist.

Wenn Google erkenne, dass es sich um ein permanentes Problem handele, kann Google den Serverfehler nach einem längeren Zeit als 404 behandeln, was schlicht bedeutet, dass es keine robots.txt gibt. Dann kann das Crawlen wieder aufgenommen werden.

Dokumentiert ist das auch auf der entsprechenden Hilfeseite von Google:

"Der Fehler 503 (Service Unavailable) hat relativ häufige Wiederholungsversuche zur Folge. Wenn die robots.txt-Datei länger als 30 Tage nicht erreichbar ist, wird die letzte im Cache gespeicherte Kopie der robots.txt-Datei verwendet. Falls nicht verfügbar, geht Google davon aus, dass es keine Crawling-Einschränkungen gibt."

"Google-spezifisch: Sollten wir feststellen, dass eine Website aufgrund fehlerhafter Konfiguration einen 5xx-Fehler statt des Fehlers 404 für fehlende Seiten zurückgibt, behandeln wir einen 5xx-Fehler von dieser Website als 404-Fehler."

Doch wie passt das zu früheren Berichten, dass dauerhafte 500er-Fehler sogar zum Deindexieren einer Website führen können? Diese Frage beantwortet Google nicht.

Um sicher zu gehen, sollte man auf jeden Fall dafür sorgen, dass entweder eine robots.txt vorhanden ist oder dass der Aufruf der robots.txt zu einem 404-Fehler führt.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

Die unter archive.org verfügbare Wayback Machine ermöglicht auch den Abruf alter robots.txt-Dateien. Das kann bei der nachträglichen Fehlersuche hilfreich sein.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px