SEO-News

StoppGoogle crawlt regelmäßig einen großen Teil des Webs. Das ist auch nötig, um den Index anktuell zu halten. Bei Problemen auf einer Webseite verlangsamt Google das Crawlen jedoch - oder stellt es ganz ein. Worauf man achten muss, sagte ein Google-Insider gestern auf der SMX East.

Google und andere Suchmaschinen haben den Anspruch, ein möglichst aktuelles und umfassendes Abbild des WWW in ihrem Index abzubilden. Deshalb sind deren Crawler bzw. Bots stäandig unterwegs, um neue Dokumente aufzuspüren, Veränderungen zu erkennen und den Index entsprechend zu aktualisieren. Aufgrund der großen Anzahl der mittlerweile verfügbaren Dokumente ist es wichtig, dass diese möglichst schnell abgerufen werden können.

Gibt es Probleme auf einer Webseite, die dazu führen, dass die Antwortzeit steigt oder dass die Dokumente überhaupt nicht mehr abgerufen können, kann Google das Crawlen dieser Seite reduzieren oder sogar ganz einstellen. Googles Webmaster Trend-Analyst, Gary Illyes, hat sich dazu im Rahmen der SMX East geäußert. Hier sind die Faktoren, auf die man achten sollte, wenn man Google auch weiterhin als Gast auf der eigenen Webseite haben möchte:

 

Verbindungszeit

Ist die Verbindungszeit zum Server oder zur Webseite zu lang, wird Google das Crawlen verlangsamen oder sogar gänzlich einstellen. Einen zeitlichen Verlauf für die Dauer des Herunterladens von Seiten durch den Crawler lässt sich übrigens in den Crawling-Statistiken der Google Webmaster Tools abrufen. Zeigt der Trend für die Dauer nach oben, sollten Nachforschungen angestellt werden.

 

HTTP-Statuscodes

Ein weiteres Signal, das den Google-Bot zum Rückzug bewegt, sind HTTP-Statuscodes im 500er-Bereich. Diese deuten darauf hin, dass es Probleme auf dem Server gibt. Beim Auftreten solcher Codes zieht sich der Crawler nach Aussage Googles zurück, um keinen weiteren Schaden anzurichten. Crawling-Fehler lassen sich ebenfalls über die Google-Webmaster-Tools abrufen. Es ist zu empfehlen, dort regelmäßig hineinzuschauen.

Das beschriebene Verhalten der Crawler ist also aus zwei Gründen vernünftig und nachvollziehbar: Erstens schont es die knappen Crawling-Ressourcen der Suchmaschinen, und zweitens werden eventuell bestehende Probleme auf einer Webseite nicht durch zusätzliche Abfragen verstärkt.

 

Bild © JWS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Damit Google eine Website crawlen kann, muss der Webserver die richtige HTTP-Antwort an den Googlebot senden. Ansonsten kann es zu Problemen kommen.

Berdingt durch KI-Chatbots und andere Tools wird laut Einschätzung von Gartner Inc. der Suche-Traffic bis 2026 um ein Viertel sinken. Zukünftig wird es demnach noch mehr auf hochwertigen Content...

Google hat angekündigt, das Crawl Limiter Tool, mit dem sich die Crawl-Rate des Googlebots manuell reduzieren lässt, zum 8. Januar einzustellen.

 

 


 

 

 

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px