Nicht vergessen: Falsch eingerichtete robots.txt kann die Mobilfreundlichkeit kosten

Wer die falschen Dateien und Verzeichnisse per robots.txt sperrt, riskiert damit, dass Google die Website nicht mehr als mobilfreundlich wertet.

 Anzeige

Die Mobilfreundlichkeit ist für Google ein Faktor der Page Experience. Ohne Mobilfreundlichkeit kann eine Seite im Sinne Googles also keine gute Page Experience besitzen, was zu schlechteren Rankings führen kann.

Eine Website kann selbst dann von Google als nicht mobilfreundlich gewertet werden, wenn sie sich für die Nutzerinnen und Nutzer von Smartphones und Tablets in optimaler Weise präsentiert. Möglich ist das, wenn Dateien oder Verzeichnisse per robots.txt für das Crawlen durch Google gesperrt sind, die für das Rendern der Seite benötigt werden. Kann Google zum Beispiel nicht auf CSS-Dateien zugreifen, die das Layout der Seite bestimmen, kann der Test auf Mobilfreundlichkeit fehlschlagen. Dort wird in entsprechenden Fällen ein Hinweis angezeigt, der darüber informiert, dass zum Rendern benötigte Dateien nicht verfügbar sind.

Um das zu verhindern, gibt es eine recht einfache Möglichkeit: Man gibt die entsprechenden Dateitypen in der robots.txt explizit für den Googlebot frei. Das kann mithilfe der folgenden Einträge gelingen:

User-Agent: Googlebot

Allow: .js

Allow: .css

Diese Regeln greifen selbst dann, wenn in der robots.txt die Verzeichnisse mit den entsprechenden Dateien gesperrt sind, weil hier die jeweils spezifischere Regel zur Anwendung kommt.

Zusätzlich sollte geprüft werden, dass die Dateien nicht per X-Robots-Tag im HTTP-Header für das Crawlen gesperrt sind.