Google: Crawling-Probleme durch falsches URL-Rewriting möglich

Unsauberes URL-Rewriting kann zu Crawling-Problemen bei Google führen. Davon betrffen sind auch andere Crawler und SEO-Tools.

Die Verarbeitung verschiedener Arten von URLs ist für Suchmaschinen wie Google eine Kernfunktion. Google ist hier sehr flexibel und kann beispielsweise sowohl absolute als auch relative URLs crawlen.

Dennoch sind Fehler und Probleme nicht ausgeschlossen. Das gilt insbesondere dann, wenn es durch eine falsche Konfiguration des Servers oder des Content Management Systems zu Inkonsistenzen bei den URLs kommt. Darauf hat Johannes Müller per Twitter hingewiesen, nachdem ihn ein Nutzer wegen bestehender Schwierigkeiten mit relativen Links angesprochen hatte. In der Google Search Console waren für seine Webseite viele 404-Fehler ausgewiesen worden:

Müller antwortete, solche Probleme entstünden normalerweise durch inkonsistentes URL-Rewriting, wobei Unterverzeichnisse angelegt würden. Bei einem sauberen Setup seien relative Links aber in Ordnung.

Diese Probleme beträfen laut Müller übrigens nicht nur Google, sondern auch andere Crawler und Tools wie Screaming Frog und DeepCrawl.

Titelbild: Copyright Photoco - Fotolia.com