Der Google-Bot und andere Crawler schauen in unregelmäßigen auf den Webseiten vorbei, um nach neuen Inhalten zu suchen. Doch die Häufigkeit und Dauer dieser Besuche sind sehr unterschiedlich. Das hängt zum einen mit dem Status der jeweiligen Webseite zusammen, kann aber auch durch Onsite-Faktoren beeinflusst werden. Was genau kann man tun, damit sich die freundlichen Bots häufiger mal blicken lassen und auch länger bleiben?
Was habe ich von häufigen Bot-Besuchen?
Diese Frage sei erlaubt: Was bringt überhaupt eine erhöhte Crawling-Frequenz? Das lässt sich recht einfach beantworten. Zunächst einmal ist es natürlich von Vorteil, wenn Änderungen und neue Inhalte schnell indexiert werden. Dazu ist aber ein Besuch des Bots notwendig. Und wenn er schon mal da ist, sollte er auch gleich möglichst viel von der Webseite besichtigen, denn wer weiß, wann er mal wieder Zeit und Lust hat vorbeizukommen? Gewünscht ist auch, dass der Bot so weit wie möglich in die Seitenhierarchie hineinblickt, also nicht nur eine oberflächliche Inspektion der Homepage und vielleicht der einen oder anderen Übersichtseite durchführt. Vielmehr soll der Bot zu den eigentlichen Inhalten vordringen, die sich aber meist erst in der zweiten oder dritten Hierarchieebene verbergen.
Was genau kann nun getan werden, um es den Bots so angenehm wie möglich zu machen, damit sie sich zu Dauer-Stammgästen entwickeln? Ein wichtiger Faktor stellt das Ranking einer Seite dar, das sich aber leider nur indirekt beeinflussen lässt. Hier spielt nach wie vor der PageRank eine wichtige Rolle, und dieser wiederum wird bekanntlich von der Zahl und der Qualität der eingehenden Links bestimmt. Aber auch Onsite lässt sich einiges für den lieben Bot tun. Nachfolgend findet Ihr eine Reihe der wichtigsten Empfehlungen.
Barrieren abbauen
Vor allem muss der Zugang zur Webseite funktionieren. Wenn der Bot vor verschlossenen Türen steht, oder nach dem Klopfen für viele Sekunden niemand öffnet, dann wird er eben unverrichteter Dinge wieder von dannen ziehen. Das bedeutet: Sowohl die Erreichbarkeit der Webseite als auch die nötige Geschwindigkeit müssen gegeben sein.
Zum Testen der Erreichbarkeit bieten sich klassische Möglichkeiten wie ein Abruf von verschiedenen Clients, ein DNS-Check oder ein Ping an. Für die Websitegeschwindigkeit gibt es sehr gute kostenlose Tools wie Webpagetest. Zusätzlicher Tipp: URLs sollten suchmaschinenfreundlich gestaltet sein. Also: klare Gliederung, möglichst auf Parameter verzichten und auch mit der Länge nicht übertreiben.
Wege aufzeigen
Damit die Bots den richtigen Weg finden, kann man ihnen Hilfe leisten. Hier ist zuerst die Verbotsliste für Bots zu nennen, die so genannte robots.txt. Auf ihr befindet sich eine Aufstellung der URLs und Verzeichnisse, die für Bots verboten oder erlaubt sind. Zu beachten ist, dass auf dieser Liste nichts als verboten gekennzeichnet werden darf, was der Bot sich anschauen soll. Hier gibt es ein großes Fehlerpotential.
Weiterhin sind die Meta-Robot-Tags auf den einzelnen Webseiten wichtig. Findet sich hier irgendwo ein „noindex“, so wird diese Seite vermutlich auch nicht in den Index wandern. Andere Seiten, die man nicht im Index haben möchte, kann man dagegen per „noindex“ ausschließen. Für die Übrigen muss es heißen „index, follow“.
Die Straßenkarte für die Bots sind die Sitemaps. Hier gilt es zwischen der Sitemap.xml und der HTML-Sitemap zu unterscheiden. Erstere dient lediglich und ausschließlich zur Orientierung für die Suchmaschinen und enthält die wichtigsten Links in strukturierter Form. Eine HTML-Sitemap enthält zwar ebenfalls die wichtigsten Links, richtet sich aber auch an menschliche Besucher und schafft eine Übersicht.
Schließlich ist die Seitenhierarchie zu beachten: Es sollten nicht zu viele Unterebenen verwendet werden, denn wie eingangs beschrieben, stoßen die Bots oftmals gar nicht so weit vor. Die Seitenhierarchie sollte so gestaltet sein, dass, ähnlich wie bei einem Baum, von der obersten zu den unteren Ebenen alle Seiten miteinander verbunden sind und so von den Bots einfach erreicht werden können.
Zur Einladung gehört ein gutes Essen…
…oder frische und interessante Inhalte. Wenn man die Bots zu sich bitten möchte, dann sollte man ihnen auch etwas bieten. Hier dreht es sich vor allem um Inhalte. Regelmäßige Aktualisierungen machen eine Webseite nicht nur für menschliche Nutzer interessant, sondern auch für die automatischen Besucher. Und auf die Inhalte sollte auch hingewiesen werden – sei es in Blogs, Foren oder in sozialen Netzwerken wie Facebook, Google+ oder Twitter. Denn irgendwie muss man die Bots ja auf die richtige Fährte setzen.
Fazit: Es steht Besuch ins Haus
Mit diesen Maßnahmen sollte es nicht lange dauern, und die Besuchsfrquenz der Bots wird sich erhöhen. Verbunden mit anderen Maßnahmen wie vor allem dem Aufbau von guten Links kann das zu einer nachhaltigen Freundschaft mit Google-Bot, Bing-Bot und Co. führen, von der beide Seiten profotieren.
Von Christian Kunz+
{extravote 1}