SEO-News

CrawlerNicht jede URL einer Webseite erhält die gleiche Anzahl an Besuchen von den Crawlern der Suchmaschinen. Diese Érkenntnis ist im Grunde nicht neu, doch Johannes Müller von Google gibt noch einige Hintergrundinformationen dazu und auch zur Frage, warum es meist mehrere Tage dauert, bis die Suchedaten in der Search Console landen.

 

Es leuchtet ein, dass Google und andere Suchmaschinen ihre Crawler nicht zu jeder Seite in der gleichen Häufigkeit schicken können. Entscheidend für die Crawl-Frequenz sind zwei Faktoren:

  • die Bedeutung bzw. die Popularität einer Seite
  • die Häufigkeit der Änderungen.

Die Popularität einer Seite bestimmt sich vor allem durch ihre Vernetzung mit anderen Webseiten, was sich durch den PageRank ausdrückt (Achtung: Damit ist nicht der öffentlich sichtbare PageRank gemeint, der seit Jahren nicht mehr angepasst wird, sondern der Wert, mit dem Google intern rechnet). Umso mehr Links auf eine Seite zeigen und umso mehr Gewicht diese Links haben, desto höher ist der PageRank der Seite. Weil Seiten mit hohem PageRank durch mehr Links mit anderen Seiten verbunden sind, ist auch die Wahrscheinlichkeit eines Crawlerbesuchs größer, denn Crawler springen über Links von Seite zu Seite.

Die Änderungshäufigkeit einer Seite spielt für die Crawl-Frequenz eine Rolle, weil die Suchmaschinen bestrebt sind, ihren Index möglichst aktuell zu halten. Das bedeutet: Je häufiger es Änderungen gibt, desto größer ist das Risiko, dass der Index der Suchmaschine nicht den aktuellen Stand auf der Seite widerspiegelt. Um dieses Risiko zu senken, werden solche Seiten häufiger gecrawlt.

 

Crawling-Frequenz und ihre Bedeutung für die Search Console

Johannes Müller hat in einem Post auf Google+ gestern bestätigt, dass es für die einzelnen URLs auf einer Webseite unterschiedliche Crawling-Häufigkeiten gibt. Manche URLs würden im  Minutenabstand gecrawlt, andere erst nach Monaten wieder besucht. Daher könne es auch dauern, bis Crawling-Fehler nach der Behebung in der Google Search Console entsprechend markiert würden:

"Per-URL crawl rates differ. Some URLs are crawled every few minutes, others just every couple months, and many somewhere in between. If you go from "all URLs are broken" to "all URLs are fixed" (which is awesome if you have a way to do that!), it will take some time to drop to "zero errors" in the aggregated reports."

 

Verzögerungen in der Search Console

Dazu kommt eine gewisse Zeitspanne zwischen dem Crawlen der Seiten und der Anzeige entsprechender Daten in der Search Console. Zunächst würden die Daten durch verschiedene Prozesse aufbereitet. Es werde versucht, in der Search Console den finalen Stand der Daten widerzugeben. Das sei insbesondere bei abrupten Änderungen der Fall wie etwa beim Wechsel von "keine AMP-Seiten" auf "viele AMP-Seiten":

"latency from crawling to reporting. It takes a few days (to about a week) for Search Console to display data after it's been crawled. There are various processes that run over the data, and Search Console tries to reflect the final state -- which can take a bit of time to get. This is particularly visible with an abrupt change, such as going from "no AMP pages" to "lots of AMP pages".

Wenn man bedenkt, dass Google täglich hunderte von Millionen URLs crawlen und auswerten muss, leuchtet es ein, dass dies eine Weile dauern kann. Schließlich gibt es nicht nur die bestehenden Seiten, die sich ändern können, sondern es kommen täglich auch viele neue Seiten dazu.

 

Titelbild © AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte. Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier.



Anzeige von Clixado

Artikelveröffentlichungen auf starken Magazinen und Blogs

Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:

    - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
    - Hohe Sichtbarkeitswerte, keine expired Domains
    - Einmalzahlung, keine Vertragsbindung

Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.

Frag uns unverbindlich nach Beispielen





SEO-Checkliste

SEO-Checkliste

 

Anzeigen












SEO-Beratung

Suchmaschinenoptimierung und SEO-Beratung für Karlsruhe, Baden und die Pfalz

 

06340/351-943

 

info(at)seo-suedwest.de

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Sprecher auf

Auszeichnungen

iBusiness Top-100-Liste SEO-Dienstleister

SEO Südwest: Platz 5 bei den SEO-Wahlen 2014 zum besten deutschen SEO-Blog

 

SEO-united.de Tipp 12/15

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Kalender 2018

SEO-Kalender 2018

 

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-Tipps und SEO-Tricks

IMAGE 'Noindex' oder robots.txt - wann ist welches Instrument das richtige?
Freitag, 09. Februar 2018
Um zu steuern, welche Seiten von Google und anderen Suchmaschinen gecrawlt und indexiert werden... Weiterlesen...
IMAGE Lighthouse: ein Top-Tool für die Performancemessung von Webseiten und PWAs
Montag, 16. Oktober 2017
Lighthouse ist ein Tool, mit dem man die Performance und die Nutzerfreundlichkeit von Progressive... Weiterlesen...
IMAGE Tipp: Reddit für den Aufbau von Backlinks nutzen
Samstag, 17. Januar 2015
Die Social-News-Plattform Reddit erlaubt den Aufbau von guten Backlinks - wenn man sich an... Weiterlesen...

News aus dem Blog

IMAGE Vielen Dank für die Glückwünsche, Google!
Dienstag, 07. November 2017
Google hat mich mit einem persönlichen Geburtstags-Doodle überrascht. Vielen Dank dafür! Weiterlesen...
IMAGE SEO: Können 'Ausverkauft'-Seiten in Online-Shops positive Rankingeffekte haben?
Sonntag, 01. Februar 2015
Wie geht Google eigentlich mit Seiten aus Online-Shops um, die nicht mehr lieferbare Produkte... Weiterlesen...
IMAGE AMP - Is GDPR-compliant usage possible?
Sonntag, 29. April 2018
The AMP framework was established to speed up mobile websites. Normally, AMP pages are served via... Weiterlesen...

 Eine Auswahl zufriedener Kunden

Rebel - Bad Küche Raum
Schöne Haare Karlsruhe
kr3m
feel-perfect.eu - Die Nährstoffexperten border=
Flintec IT GmbH
ESM Academy
Ringladen

Verbinden und Informationen zu SEO Südwest

Impressum und Datenschutz

Social Networks und RSS-Feed