SEO-News

GoogleLiefert eine Website beim Versuch, die robots.txt abzurufen, über längere Zeit einen 500er-Fehler, kann Google das Crawlen wieder aufnehmen. Google geht dann davon aus, dass es sich um eine fehlerhafte Konfiguration handelt.

Vor dem Crawlen einer Website ruft der Googlebot die zugehörige robots.txt-Datei ab. Kommt es bei diesem Abruf zu einem Serverfehler (500er-Fehler), crawlt Google die Website erst einmal nicht.

Dauert dieser Zustand über längere Zeit an, kann es jedoch sein, dass Google von einem Konfigurationsfehler ausgeht und die Website wieder crawlt. Das erklärte Johannes Müller im Webmaster-Hangout vom 13. Dezember.

In der vorangegangenen Anfrage ging es um den Fall, dass es beim Abruf der robots.txt längere Zeit zu einem 503-Fehler gekommen war. Dieser Fehler steht für "Service Unavailable" und kommt zum Beispiel vor, wenn ein Webserver aufgrund eines plötzlichen Trafficanstiegs überlastet ist.

Wenn Google erkenne, dass es sich um ein permanentes Problem handele, kann Google den Serverfehler nach einem längeren Zeit als 404 behandeln, was schlicht bedeutet, dass es keine robots.txt gibt. Dann kann das Crawlen wieder aufgenommen werden.

Dokumentiert ist das auch auf der entsprechenden Hilfeseite von Google:

"Der Fehler 503 (Service Unavailable) hat relativ häufige Wiederholungsversuche zur Folge. Wenn die robots.txt-Datei länger als 30 Tage nicht erreichbar ist, wird die letzte im Cache gespeicherte Kopie der robots.txt-Datei verwendet. Falls nicht verfügbar, geht Google davon aus, dass es keine Crawling-Einschränkungen gibt."

"Google-spezifisch: Sollten wir feststellen, dass eine Website aufgrund fehlerhafter Konfiguration einen 5xx-Fehler statt des Fehlers 404 für fehlende Seiten zurückgibt, behandeln wir einen 5xx-Fehler von dieser Website als 404-Fehler."

Doch wie passt das zu früheren Berichten, dass dauerhafte 500er-Fehler sogar zum Deindexieren einer Website führen können? Diese Frage beantwortet Google nicht.

Um sicher zu gehen, sollte man auf jeden Fall dafür sorgen, dass entweder eine robots.txt vorhanden ist oder dass der Aufruf der robots.txt zu einem 404-Fehler führt.

 


Christian Kunz

Von Christian Kunz

SEO-Experte. Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier.



Anzeige von Clixado

Artikelveröffentlichungen auf starken Magazinen und Blogs

Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:

    - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
    - Hohe Sichtbarkeitswerte, keine expired Domains
    - Einmalzahlung, keine Vertragsbindung

Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.

Frag uns unverbindlich nach Beispielen





Verwandte Beiträge

SEO-Newsletter bestellen

Ich bin mit den Nutzungsbedingungen einverstanden

 

 

SEO-Checkliste

SEO-Checkliste

 

Anzeigen












SEO Agentur aus Darmstadt

SEO-Beratung

Suchmaschinenoptimierung und SEO-Beratung für Karlsruhe, Baden und die Pfalz

 

06340/351-943

 

info(at)seo-suedwest.de

SEO-Schulung 2020

SEO-Schulung

Zweitägige Schulung "SEO Basics und Advanced". Jetzt anmelden

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Kalender 2020

SEO-Kalender 2019

 

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Sprecher auf

Auszeichnungen

iBusiness Top-100-Liste SEO-Dienstleister

SEO Südwest: Platz 5 bei den SEO-Wahlen 2014 zum besten deutschen SEO-Blog

 

SEO-united.de Tipp 12/15

Partner

15 Prozent sparen!
Euer Rabatt-Code lautet SEOSUEDWESTSMX

SEO-Tipps und SEO-Tricks

IMAGE 'Noindex' oder robots.txt - wann ist welches Instrument das richtige?
Freitag, 09. Februar 2018
Um zu steuern, welche Seiten von Google und anderen Suchmaschinen gecrawlt und indexiert werden... Weiterlesen...
IMAGE Lighthouse: ein Top-Tool für die Performancemessung von Webseiten und PWAs
Montag, 16. Oktober 2017
Lighthouse ist ein Tool, mit dem man die Performance und die Nutzerfreundlichkeit von Progressive... Weiterlesen...
IMAGE Tipp: Reddit für den Aufbau von Backlinks nutzen
Samstag, 17. Januar 2015
Die Social-News-Plattform Reddit erlaubt den Aufbau von guten Backlinks - wenn man sich an... Weiterlesen...

News aus dem Blog

IMAGE Google Webmaster Conference 2019 in Zürich – Recap
Mittwoch, 11. Dezember 2019
Auf der diesjährigen Google Webmaster Conference in Zürich, die erstmals im Raum EMEA... Weiterlesen...
IMAGE Google Webmaster Hangout: A visit at the Google Zurich office
Donnerstag, 05. Juli 2018
I was invited to Google Zurich to take part in a new episode of the Webmaster Office Hangout. I was... Weiterlesen...
IMAGE Seolingo – Test des All-in-One Onpage Tools mit großem Funktionsumfang – gesponserter Beitrag
Montag, 02. Dezember 2019
Seolingo ist ein umfassendes Onpage-Tool, das als Applikation zur Installation auf Windows-Rechnern... Weiterlesen...

 Eine Auswahl zufriedener Kunden

Rebel - Bad Küche Raum
Schöne Haare Karlsruhe
kr3m
feel-perfect.eu - Die Nährstoffexperten border=
Flintec IT GmbH
ESM Academy
Ringladen

Verbinden und Informationen zu SEO Südwest

Impressum und Datenschutz

Social Networks und RSS-Feed