Mit den gestern angekündigten Änderungen von Googles Webmaster Guidelines und zur geforderten Indexierbarkeit von Javascript, CSS und Bildern einer Webseite sollte jedem klar sein, dass Suchmaschinen wie Google inzwischen in der Lage sind, Seiten so abzurufen und zu interpretieren, wie es ein Nutzer auch tun würde.
Die gute Nachricht lautet: Dadurch, dass Google inzwischen Javascript und CSS interpretieren und somit Seiten besser verstehen kann, löst sich der vermeintliche Gegensatz beim Optimieren einer Seite weitgehend auf. Bisher musste man auf die Bedürfnisse der Crawler einerseits und die Ansprüche der Nutzer andererseits denken. Zwar hat Google immer schon postuliert, es gehe nur um die Nutzer, doch war eben das, was ein Crawler beim Aufruf einer Webseite gesehen hat, etwas anderes als das, was letztendlich dem Nutzer im Browser präsentiert wurde.
Ohne Javascript und CSS geht es heute fast nicht mehr
Moderne Webseiten sind sehr abhängig von Javascript und CSS. Das dynamische Nachladen von Inhalten, AJAX-Technologie (Asynchrones Javascript und XML) und komplizierte Stylesheets konnten aber bisher von den Crawlern nicht oder nur zum kleinen Teil verstanden werden. Wer wissen wollte, wie sich eine Webseite für die Crawler darstellte, musste entweder einen Textbrowser wie Lynx verwenden, oder auf Tools wie "Fetch as Google" in den Google Webmaster Tools zurückgreifen.
Mit Googles Ankündigung, nun auch Javascript und CSS interpretieren zu können und vor allem mit der Änderung der Webmaster Guidelines zeigt Google nun, wohin die Reise geht: Der Bot wird immer mehr zum normalen Nutzer.
Das bedeutet: Man kann davon ausgehen, dass eine optimale Darstellung im Browser auch den Bots der Suchmaschinen gefällt - solange man darauf achtet, dass diese Bots auch Zugriff auf alle benötigten Ressourcen erhalten. Dabei gibt es einiges zu beachten. Wie Googles Webmaster Trends Analyst Pierre Far mitgeteilt hat, können sich aus gesperrten Javascript- und CSS-Verzeichnissen sogar Rankingnachteile für eine Webseite ergeben.
Robots.txt aufräumen - oder am besten gleich löschen
In der Datei "robots.txt" lässt sich bestimmen, welche Ressourcen einer Webseite von den Crawlern aufgerufen und indexiert werden dürfen und welche nicht. Die seriösen Crawler halten sich auch an diese Vorgaben. Bei vielen Webseiten sind bestimmte Verzeichnisse gesperrt - etwa solche, die Administrationszwecken dienen. Oftmals wird aber auch der Zugriff auf Verzeichnisse gesperrt, die Javascript- und CSS-Dateien oder sogar Bilder enthalten. Und genau hier liegt der Fehler, denn damit Google eine Seite interpretieren kann, muss der Bot auch auf die genannten Verzeichnisse zugreifen können.
Wer sich also nicht sicher ist, ob seine robots.txt für die neue Situation geeignet ist, sollte am besten einen Experten um Rat fragen. Optimierte Webseiten kommen in der Regel sogar gänzlich ohne robots.txt aus. Bei ihnen ist die Struktur so angepasst, dass ein optimales Crawling ohne robots.txt möglich ist.
Als weitere Hilfe bietet Google innerhalb der Webmaster Tools eine Funktion an, mit der man sich die Seiten so darstellen lassen kann, wie Google sie sehen würde. Dabei zeigt Google auch an, wenn bestimmte Ressourcen nicht abgerufen werden können.
Und tschüs, Cloaking - was machen die Black Hats?
Durch Googles erweiterte Fähigkeiten zur Interpretatioin von Javascript und CSS sind aber auch die Zeiten des Cloakings vorbei, einem Trick, bei dem den Suchmaschinen etwas anderes präsentiert wird als den Nutzern. Black Hat SEOs werden sich also zukünftig anderer Methoden bedienen müssen, um Google und Co. in die Irre zu führen. Dass ihnen dabei die Ideen ausgehen werden, steht jedoch nicht zu erwarten. Im Gegenteil: Der Umstand, dass Google Javascript ausführt, eröffnet gänzlich neue Möglichkeiten für Tricksereien. Man darf gespannt sein.
Bild © AKS - Fotolia.com
