SEO-News

WordPressWordPress erzeugt eine robots.txt, wenn die Datei nicht auf dem Server vorhanden ist. Kann das zu Problemen mit dem Crawlen durch Google führen?

In dieser Woche hatte Google erneut bekräftigt, dass dauerhafte Probleme beim Abruf der robots.txt-Datei einer Website zur Beeinträchtigung beim Crawlen der Website führen können. Lang andauernde Serverfehler können sogar zur Folge haben, dass Google eine Website aus dem Index entfernt. Der Grund dafür ist, dass Google vor dem Crawlen stets die robots.txt prüfen möchte. Laut Google kommt es aber bei rund 26 Prozent der Versuche zu Problemen beim Abruf der robots.txt.

Interessant ist dies im Zusammenhang mit einem der meist genutzten Content Management Systeme: WordPress. Dieses hat die Eigenschaft, eine robots.txt zu erzeugen, wenn sich diese Datei nicht auf dem Webserver befindet. Normalerweise wird eine robots.txt nämlich statisch in dem Verzeichnis auf dem Webserver abgelegt, in welchem sich die Dateien der betreffenden Website befinden.

Joost de Valk, der unter anderem das SEO-Plugin Yoast für WordPress ins Leben gerufen hat, fragte in diesem Zusammenhang Gary Illyes von Google, ob der Abruf der robots.txt bei Websites, die unter WordPress laufen, häufiger zu Problemen führe als bei anderen Websites.

Illyes antwortete, WordPress funktioniere gut, und es müsse schon zu einer groben Fehlkonfiguration kommen, damit es beim Aufruf einer robots.txt 5xx-Fehler gebe. Er wolle aber noch eine Analyse durchführen, um sicher zu sein:

 

Kommt es beim Abruf der robots.txt bei WordPress-Websites häufiger zu Fehlern?

 

Joost de Valk erklärte in diesem Zusammenhang die Funktionsweise für die Erstellung der robots.txt durch WordPress und dass diese ab und zu Serverfehler bewirken könne. Sollte dies tatsächlich zu mehr Fehlern führen als im Durchschnitt, so müsse man WordPress so ändern, dass es eine statische robots.txt gebe:

 

Wird die Erstellung der robots.txt durch WordPress geändert?

 

Wer bereits jetzt mögliche Probleme bei der Erstellung der robots.txt durch WordPress vermeiden möchte, sollte einfach eine statische robots.txt-Datei auf dem Webserver hinterlegen.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

Die unter archive.org verfügbare Wayback Machine ermöglicht auch den Abruf alter robots.txt-Dateien. Das kann bei der nachträglichen Fehlersuche hilfreich sein.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px