Laut Google werden manche URLs einer Website gar nicht erst gecrawlt, weil Google eine Überlastung des Servers erwartet. Das allerdings widerspricht der Erfahrung vieler Websitebetreiber und SEOs.
Im Indexierungsbericht der Google Search Console gibt es den Status "discovered, currently not indexed" - zu Deutsch: "gefunden - zurzeit nicht indexiert". Das bedeutet, dass Google beim Crawlen einer Website auf URLs gestoßen ist, diese aber nicht gecrawlt hat.
Sie benötigen SEO-Beratung für Ihre Website?
Laut Google ist der Grund dafür meistens, dass Google eine Überlastung der Website befürchtet. Das erklärte Gary Illyes von Google auf der Google Search Central Live Asia Pacific. Pedro Dias teilte ein Foto davon auf LinkedIn:
Die Erfahrung vieler Websitebetreiber und SEOs ist jedoch eine andere: Oftmals crawlt Google URLs nicht, wenn es Probleme mit der inhaltlichen Qualität der Website gibt. Websites, die Google kritisch sieht, haben häufig einen höheren Anteil nicht gecrawlter URLs. Das hat dann keine technischen Gründe. Dafür spricht, dass Google auch bei manchen kleinen Websites bestimmte URLs nicht crawlt, obwohl es dort aufgrund der geringen Anzahl von Seiten und URLs technisch problemlos möglich wäre, alle URLs zu crawlen.
