Wenn Google gefundene Seiten nicht indexiert, hat das meist mit der URL-Struktur einer Webseite zu tun. Was man unternehmen kann, wenn dieses Problem auftritt, hat Google jetzt erklärt.
In der Google Search Console gibt es den Bericht zur Indexabdeckung. Dort erhält man Informationen darüber, welche Seiten Google indexiert hat und welche nicht. Wenn Google bestimmte Seiten nicht crawlt und indexiert, obwohl der Googlebot sie endtdeckt hat, kann das an einer Überlastung des Servers der Webseite liegen. In der Google-Hilfe heißt es dazu:
"Gefunden – zurzeit nicht indexiert: Die Seite wurde von Google gefunden, aber noch nicht gecrawlt. Wird diese Begründung angegeben, hat Google üblicherweise versucht, die URL zu crawlen, aber die Website war überlastet. Daher musste Google das Crawling neu planen. Aus diesem Grund ist das Feld mit dem letztem Crawling-Datum im Bericht leer."
Tatsächlich gibt es aber noch einige Gründe mehr, die Google dazu veranlassen können, gefundene URLs nicht zu berücksichtigen. Das erklärte Johannes Müller in einem aktuellen Webmaster-Hangout. Oftmals ist eine der folgenden Ursachen für das Problem verantwortlich:
- Automatisch erzeugte Inhalte und URLs
- Schlechte interne Verkinkung
Dynamisch erzeugte Inhalte, die sich auf eine große Anzahl von URLs verteilen, mag Google nicht. Wenn sich die Inhalte pro URL nur wenig unterscheiden und es viele sehr ähnliche URLs gibt, entscheidet sich Google oftmals dazu, diese zu ignorieren. Müller sagte dazu wörtlich:
"Wenn Ihr Inhalte automatisch erzeugt, wenn Ihr Inhalte aus einer Datenbank nehmt und diese einfach online stellt, dann ist das vielleicht etwas, das wir uns ansehen und sagen, hier gibt es zwar eine Menge von Inhalten, aber die Seiten ähneln einander oder sie sind sehr ähnlich zu Inhalten, die wir bereits indexiert haben, so dass es sich nicht lohnt, diese Seiten aufzunehmen und in den Suchergebnissen anzuzeigen."
Müller empfahl, zunächst einmal technisch zu prüfen, ob nicht aus Versehen zu viele ähnliche URLs erzeugt werden. Dabei können URL-Parameter sowie Groß- und Kleinschreibung eine wichtige Rolle spielen.
Auch die interne Verlinkung sollte überprüft werden, so dass sichergestellt ist, dass Google alle wichtigen Seiten vom Anfang bis zum Enden crawlen kann. Dazu empfahl Müller den Einsatz von Crawling-Tools wie Screaming Frog.
Müller riet schließlich dazu, im Zweifelsfall die Zahl der Seiten zu reduzieren. Das könne dazu führen, dass die verbleibenden Seiten stärker würden. Auf diesen Effekt hatte Müller bereits vor wenigen Wochen hingewiesen.
Zusammenfassend sollte man also die folgenden drei Maßnahmen treffen, falls Google einen großen Anteil bestehender Seiten nicht indexiert: Prüfen, ob zu viele ähnliche URLs generiert werden, die interne Verlinkung untersuchen und gegebenenfalls mehrere Seiten zu größeren Seiten verbinden.
Danke an Search Engine Roundtable
