SEO-News

GoogleVorsicht, wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt: Dann stoppt Google das Crawlen der Website. Auf lange Sicht drohen sogar gravierendere Folgen.

Google reagiert sensibel auf 500er-Fehler. Mit HTTP-Status-Codes aus der 500er-Gruppe werden Serverprobleme signalisiert. Treten solche Fehler beim Crawlen auf, kann Google das Crawlen verlangsamen, um den betreffenden Server nicht noch mehr zu belasten. Bestehen die Fehler über längere Zeit, kann das sogar zum Deinidexieren von Seiten führen.

Noch problematischer ist es, wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt. Dann stoppt Google das Crawlen der Website. Bleibt der Fehler länger bestehen, droht mit der Zeit ein allmähliches Deindexieren der Seiten:

 

Google: 500er-Fehler für robots.txt führen zum Stopp des Crawlens

 

Daher sollte man regelmäßig überprüfen, ob die robots.txt verfügbar ist, sofern eine solche Datei angelegt wurde. Das kann entweder durch direkten Aufruf oder mit dem robots.txt-Tester in der Google Search Console erfolgen. Unproblematisch ist es, wenn es keine robots.txt gibt und wenn der Aufruf zu einem 404-Status für "nicht gefunden" führt.

 


Christian Kunz

Von Christian Kunz

SEO-Experte. Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier.



Anzeige von Clixado

Artikelveröffentlichungen auf starken Magazinen und Blogs

Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:

    - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
    - Hohe Sichtbarkeitswerte, keine expired Domains
    - Einmalzahlung, keine Vertragsbindung

Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.

Frag uns unverbindlich nach Beispielen





Verwandte Beiträge

SEO-Newsletter bestellen

Mit dem SEO-Newsletter erhältst Du einmal pro Monat eine Übersicht der wichtigsten SEO-Meldungen auf SEO Südwest sowie Ankündigungen wichtiger SEO-Veranstaltungen. Zum Abonnieren des SEO-Newsletters ist die Einwilligung in die Datenschutzhinweise erforderlich. Zum Bestellen genügt die Angabe der E-Mail-Adresse. Per Klick auf den entsprechenden Button unten kann das Abonnement jederzeit gekündigt werden.
Ich stimme den Nutzungsbedingungen zu
 

SEO-Checkliste

SEO-Checkliste

 

Anzeigen





SEO-Beratung

Suchmaschinenoptimierung und SEO-Beratung für Karlsruhe, Baden und die Pfalz

 

06340/351-943

 

info(at)seo-suedwest.de

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Kalender 2019

SEO-Kalender 2019

 

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Sprecher auf

Auszeichnungen

iBusiness Top-100-Liste SEO-Dienstleister

SEO Südwest: Platz 5 bei den SEO-Wahlen 2014 zum besten deutschen SEO-Blog

 

SEO-united.de Tipp 12/15

SEO-Tipps und SEO-Tricks

IMAGE 'Noindex' oder robots.txt - wann ist welches Instrument das richtige?
Freitag, 09. Februar 2018
Um zu steuern, welche Seiten von Google und anderen Suchmaschinen gecrawlt und indexiert werden... Weiterlesen...
IMAGE Lighthouse: ein Top-Tool für die Performancemessung von Webseiten und PWAs
Montag, 16. Oktober 2017
Lighthouse ist ein Tool, mit dem man die Performance und die Nutzerfreundlichkeit von Progressive... Weiterlesen...
IMAGE Tipp: Reddit für den Aufbau von Backlinks nutzen
Samstag, 17. Januar 2015
Die Social-News-Plattform Reddit erlaubt den Aufbau von guten Backlinks - wenn man sich an... Weiterlesen...

News aus dem Blog

IMAGE SEO: Linkbuilding gehört dazu
Donnerstag, 09. August 2018
Ohne den konstanten und nachhaltigen Aufbau hochwertiger Links bringen die besten Onpage-Maßnahmen... Weiterlesen...
IMAGE Google Webmaster Hangout: A visit at the Google Zurich office
Donnerstag, 05. Juli 2018
I was invited to Google Zurich to take part in a new episode of the Webmaster Office Hangout. I was... Weiterlesen...
IMAGE 10 Impulse für Ihr B2B-Onlinemarketing - Gastbeitrag
Montag, 18. März 2019
B2B-Onlinemarketing unterscheidet sich wesentlich von den gängigen Vorgehen und Methodiken im... Weiterlesen...

 Eine Auswahl zufriedener Kunden

Rebel - Bad Küche Raum
Schöne Haare Karlsruhe
kr3m
feel-perfect.eu - Die Nährstoffexperten border=
Flintec IT GmbH
ESM Academy
Ringladen

Verbinden und Informationen zu SEO Südwest

Impressum und Datenschutz

Social Networks und RSS-Feed