Auch wenn eine Website lange komplett auf 'noindex' gesetzt war, crawlt Google Teile davon im Abstand von wenigen Tagen. Davon können auch diejenigen profitieren, die ihre Website aus Versehen auf 'noindex' gesetzt haben.

Eine sehr unangenehme Erfahrung kann es sein, wenn man eine Website aus Versehen auf "noindex" gesetzt hat und dies vielleicht erst längere Zeit später bemerkt. Im ungünstigsten Fall hat Google bis dahin die Website schon komplett deinidexiert.

Doch auch in einer solchen Situation gibt es Hoffnung, denn Google crawlt auch von solchen Websites, die lange auf "noindex" standen, mehrere Seiten im Abstand von wenigen Tagen. Das erklärte John Müller in den Google Search Central SEO Office Hours vom 8. Januar.

Sollte Google nach dem Aufheben von "noindex" aber auch nach mehreren Wochen keine Seiten indexiert haben, könne auch ein anderes Problem bestehen, wie Müller weiter ausführte. Möglich sei zum Beispiel eine bestehende Anfrage zum Ausblenden von URLs aus der Suche (URL Removal Request). Zu prüfen ist auch, ob die Anfragen vom Webserver mit dem Status 404 beantwortet werden. Das könne passieren, obwohl die Seiten im Browser richtig dargestellt werden. Auch sollte man überprüfen, ob eine manuelle Maßnahme gegen die betreffende Website vorliege.

Normal sei es dagegen, wenn Google nach einiger Zeit nur einen Teil der Seiten wieder indexiert habe, zum Beispiel nur die Homepage und einige Detailseiten. Bis der normale Indexierungsstand wieder erreicht sei, könne es mehrere Monate dauern.

Verwandte Beiträge

Google ruft robots.txt nicht bei jedem Crawl ab

Google ruft die robots.txt nicht bei jedem Crawl ab, sondern nutzt auch eine im Cache abgelegte Version der Datei. Das passiert etwa einmal pro Tag.

Google: 'Relative Wichtigkeit auf Website zeigen, damit Inhalte schneller gecrawlt werden'

Wer sich wundert, warum Google neue Inhalte auf seiner Website erst spät crawlt und indexiert, sollte einmal prüfen, wo und in welcher Weise die Inhalte auf der Website erscheinen.

Google: Bei Redirect auf neue Domain wird zum Crawlen für alte Domain kein SSL-Zertifikat benötigt

Für Redirects auf eine neue Domain wird kein SSL-Zertifikat benötigt, wenn es nur um das Crawlen geht. Für Website-Besucher sollte jedoch auch für die alte Domain ein aktuelles Zertifikat...