CrawlerSEO für AJAX-Seiten ist eine besondere Aufgabe. Das liegt unter anderem daran, dass zum Crawlen solcher Seiten ein Tool benötigt wird, das JavaScript verstehen und ausführen kann. Herkömmliche Werkzeuge stoßen hier oft an ihre Grenzen.

Die Haupteigenschaft von AJAX-Seiten besteht darin, dass ihre Inhalte zum Zeitpunkt des Requests dynamisch erzeugt werden - und zwar vom Browser und nicht vom Server. Die Abkürzung AJAX steht für "Asynchronous JavaScript and XML". Der Server liefert bestimmte JavaScript-Dateien an den Client aus, also an den Browser. Der Browser interpretiert das JavaScript und baut dementsprechend die Seiten auf. Das führt dazu, dass sich eine AJAX-Seite wir eine Applikation anfühlt. Daher wird auch oft von One Page Applications gesprochen.

AJAX-Seiten nutzen bestimmte Bibliotheken, sogenannte Frameworks. Dazu gehören zum Beispiel Bootstrap oder jQuery. Diese stellen umfangreiche Möglichkeiten zur Erstellung und Manipulation von Webseiten zur Verfügung.

 

Google spricht bereits AJAX

Google ist inzwischen in der Lage, den Code von AJAX-Seiten zu verstehen und auszuführen. Für die Suchmaschine stellen sich die Seiten also dar wie für einen menschlichen Besucher, der sich die Seite in einem Browser ansieht. Deshalb wurden auch die bis Oktober des letzten Jahres geltenden Empfehlungen zur Indexierung von AJAX-Seiten widerrufen. Bis dahin galt: Damit solche dynamischen Seiten gecrawlt werden konnten, musste der Server für jede Unterseite eine statische Variante, einen sogenannten Snapshot, bereithalten, die dann speziell für den Crawler ausgespielt wurde. 

 

SEO-Tools mit AJAX oft noch überfordert

Während Google also inzwischen keine Probleme mit AJAX mehr hat, ist das für viele SEO-Tools nach wie vor der Fall. Das gilt insbeosndere für die von SEOs gerne verwendeten Crawler - allen voran Screaming Frog.

Versucht man, eine AJAX-Seite per Screaming Frog zu crawlen, so findet das Tool zwar die Startseite mit den verbundenen JavaScript-Dateien. Die Berechnung und Darstellung aller Unterseiten schlägt jedoch fehl, denn Screaming Frog interpretiert das JavaScript nicht und führt es folglich auch nicht aus. Lediglich solche Seiten, welche die oben beschriebenen statischen Snapshots ausspielen können, werden von Screaming Frog gecrawlt.

Glücklicherweise ist Abhilfe in Sicht, denn Dan Sharp, Director bei Screaming Frog, hat eine entsprechende Erweiterung des Tools für die nächste Zukunft in Aussicht gestellt:

Dan Sharp von Screaming Frog auf Twitter zum Crawlen von AJAX-Seiten

 

Als weiteres SEO-Tool für die Prüfung von AJAX-Seiten ist SEORCH zu empfehlen. Auch dieses Tool kann AJAX-Seiten interpretieren und liefert wertvolle Hinweise. Dazu muss lediglich die zu testende Domain eingegeben werden, und man erhält eine schöne Übersicht der wichtigsten On- und Offpagefaktoren.

SEORCH Beispiel

 

Die Arbeit der SEOs wird also nicht nur von der zukünftigen Entwicklung der Suchmaschinen und der Webseitentechnologie abhängen, sondern auch davon, dass die SEO-Tools mit diesen Entwicklungen schritthalten können.

 

Titelbild © AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Crawler bzw. Bots, die auf einer Website zugelassen sind, sollte man laut John Müller von Google nicht fragen, ob sie ein Bot sind, sondern ihnen einfach die gewünschten Inhalte zeigen.

Screaming Frog liegt jetzt in der Version 17.0 vor. Neu sind zum Beispiel eigene Tabs für Probleme und Links.

Wenn auf einer Website viele Seiten den Status 304 zurückliefern, reduziert Google deshalb nicht automatisch das Crawlen. Auch auf Basis einzelner Seiten muss ein 304 nicht zu weniger...