SEO-News

StatistikWenn das Crawlen einer Website die Ressourcen des Webservers auslastet, dann ist die Verantwortung laut Google auf der Website zu suchen und nicht beim Googlebot.

Gerade für größere Websites mit vielen Tausenden von Unterseiten kann das Crawlen ein Faktor für die Auslastung des Webservers sein. Damit alle wichtigen Seiten möglichst aktuell im Google-Index vertreten sind, ist es erforderlich, dass der Googlebot regelmäßig die Seiten abruft und auf Änderungen überprüft.

Wenn der Abruf dieser Seiten zu einer hohen Last auf dem Webserver führt, zum Beispiel, weil aufwändige Datenbankabfragen durchgeführt werden müssen, kann das Crawlen aller wichtigen Seiten den Webserver überlasten. In diesem Fall ist Verantwortung laut Google aber bei der Website zu suchen und nicht beim Googlebot. Das schrieb Gary Illyes jetzt auf Twitter:

 

Google: Wenn der Googlebot den Webserver auslastet, liegt die Verantwortung bei der Website und nicht beim Googlebot 

 

Google erkennt Lastprobleme auf Webservern und reduziert dann automatisch die Crawling-Frequenz - insbesondere dann, wenn es zu einem erhöhten Aufkommen an 500er-Fehlern kommt.

Eine erste Übersicht über mögliche Probleme beim Crawlen liefern die Crawling-Statistiken in der Google Search Console. Dort findet man Angaben zur Zahl der pro Tag vom Googlebot abgerufenen Seiten, zum heruntergeladenen Datenvolumen sowie zur durchschnittlichen Downloadzeit. Auch auf den Bereich "Abdeckung" in der Search Console sollte man einen Blick werfen und prüfen, ob dort gehäuft 500er-Fehler vorkommen.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit...

Um Google dazu zu bringen, neue Inhalte schnell zu indexieren, muss sowohl die Qualität der Seiten stimmen, die indexiert werden sollen, als auch die Qualität der gesamten Website passen.

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px