Google kann URLs ohne Link zum Crawlen nutzen, muss aber nicht

Google kann URLs, die der Googlebot auf Webseiten findet, auch dann zum Crawlen nutzen, wenn die URLs nicht verlinkt sind. Eine Garantie dafür gibt es aber nicht.

Dass Google und andere Suchmaschinen Links verwenden, um neue Seiten zu entdecken und zu crawlen, ist bekannt. Doch wie sieht es mit URLs auf Webseiten aus, die nicht als Link gekennzeichnet sind - und die zum Beispiel einfach nur im Text vorkommen?

Auch solche URLs kann Google zum Crawlen verwenden - mit Betonung auf "kann". Eine Garantie gibt es nämlich dafür nicht. John Müller erklärte in den Google Search Central SEO Office Hours vom 3. Juni, Google könne beispielsweise URLs in Textdokumenten, im JavaScript oder in strukturierten Daten zum Crawlen nutzen. Wenn Google dort auf URLs stoße, sei es möglich, dass Google sie crawle. Das seien aber keine normalen Links.

Wenn man allerdings sicherstellen wolle, dass Google eine URL zum Crawlen verwende, solle man einen normalen HTML-Link mit einem klaren Ankertext verwenden, der Informationen über die Zielseite liefere. Wenn Google eine URL nicht crawlen solle, könne man zum Beispiel die robots.txt verwenden oder die Ziel-URL per Canonical-Link auf eine andere URL verweisen.

Speziell mit Blick auf strukturierte Daten ergänzte Müller, nur weil sich eine URL in den strukturierten Daten befinde, solle man weder davon ausgehen, dass Google die URL übersehe, noch dass Google die URL zum Crawlen verwende.

Wenn Google eine URL als Link betrachten solle, dann sei ein Link zu verwenden. Wolle man dagegen das Crawlen oder Indexieren einer URL verhindern, dann solle an dies mit den geeigneten Instrumenten blockieren.

Christian Kunz