Google hat die Crawling-Statistiken in der Search Console aktualisiert und bringt zahlreiche Verbesserungen wie zum Beispiel eine Unterteilung nach Response Codes und gecrawlten Dateitypen.
Die Crawling Statistiken in der Google Search Console wurden komplett überarbeitet. Die neuen Statistiken umfassen zahlreiche Verbesserungen und neue Features:
- Die Gesamtanzahl der Requests erscheint unterteilt nach Response Codes, gecrawlten Dateitypen, dem Zweck des Crawlens und der Art des Googlebots.
- Es gibt erweiterte Informationen zum Status der Hosts.
- Beispiel-URLs zeigen, an welchen Stellen einer Website Requests stattgefunden haben.
- Zusätzlich gibt es eine Zusammenfassung für Properties mit verschiedenen Hosts und Unterstützung für Domain Properties. Bisher konnten für Domain Properties keine Crawling-Statistiken in der Search Console angezeigt werden.
In der Übersicht kann man den Crawling-Verlauf über die Zeit sehen. Dabei werden die Gesamtzahl der Requests, die heruntergeladene Dateimenge und die durchschnittliche Response Time angezeigt. Diese Daten gab es auch schon in den alten Crawling-Statistiken, allerdings in drei separaten Diagrammen.
Sehr praktisch ist die Zusammenfassung nach Response Type und Dateityp. So kann man zum Beispiel schnell erkennen, ob es viele Serverfehler oder 404-Fehler gab und welche Dateitypen besonders viel Crawling-Aufwand verursacht haben:
Ebenfalls sehr hilfreich sind die neuen Host Status Details. Sie geben Auskunft darüber, ob der Webserver in letzter Zeit Probleme hatte. Zu sehen ist beispielsweise, wenn die robots.txt nicht abgerufen werden konnte oder wenn DNS-Abrufe fehlgeschlagen sind. Der Bericht reicht 90 Tage zurück.
In der Domain Property-Übersicht kann man sich den Status für die verschiedenen Ausprägungen wie zum Beispiel Subdomains ansehen, die zu einer Domain Property gehören:
Die neuen Crawling-Statistiken dürften viele Fragen beantworten, die von Webmastern zum Thema Crawling immer wieder gestellt werden. Durch die Aufteilung nach verschiedenen Kriterien sind jetzt gezieltere Analysen und Fehlersuchen möglich.
Hinweis: Die neuen Crawling-Statistiken sind nicht ganz einfach zu finden. Um sie aufzurufen, muss man zunächst in der Navigation links auf "Einstellungen" klicken. Auf der entsprechenden Seite befindet sich der Link zu den Crawling-Statistiken:
