Wenn Google URLs selten crawlt, kann man davon ausgehen, dass ihre Bedeutung für die Suche gering ist. Das kann man verwenden, um Optimierungsmaßnahmen zu priorisieren.
Google liefert in der Search Console interessante Daten, aus denen sich auf die Bedeutung der URLs einer Website für die Suche schließen lässt - zumindest näherungsweise. Im Bericht zur Indexabdeckung kann man sehen, wann eine URL zuletzt gecrawlt wurde.
Dabei gibt es folgende Faustregel: Umso seltener eine URL vom Googlebot gecrawlt wird, desto weniger wichtig ist diese aus Sicht der Suche. Daraus lässt sich ableiten: URLs, die schon lange nicht mehr gecrawlt wurden, sind von entsprechend geringer Bedeutung.
Das bestätigte Johannes Müller jetzt per Twitter. Ein Nutzer hatte beschrieben, dass einige seiner URLs zuletzt im Jahr 2019 gecrawlt wurden. Er wollte wissen, was er unternehmen könne, um den Googlebot auf die URLs aufmerksam zu machen.
Johannes Müller antwortete, wenn die URLs so selten gecrawlt würden, hätten sie vermutlich keinen Effekt auf die Suche. Daher müsse man sich auch nicht um sie kümmern:
Zuletzt hatte Johannes Müller erklärt, Google crawle URLs zumindest einmal pro Halbjahr.
