Unsauberes URL-Rewriting kann zu Crawling-Problemen bei Google führen. Davon betrffen sind auch andere Crawler und SEO-Tools.
Die Verarbeitung verschiedener Arten von URLs ist für Suchmaschinen wie Google eine Kernfunktion. Google ist hier sehr flexibel und kann beispielsweise sowohl absolute als auch relative URLs crawlen.
Dennoch sind Fehler und Probleme nicht ausgeschlossen. Das gilt insbesondere dann, wenn es durch eine falsche Konfiguration des Servers oder des Content Management Systems zu Inkonsistenzen bei den URLs kommt. Darauf hat Johannes Müller per Twitter hingewiesen, nachdem ihn ein Nutzer wegen bestehender Schwierigkeiten mit relativen Links angesprochen hatte. In der Google Search Console waren für seine Webseite viele 404-Fehler ausgewiesen worden:
Müller antwortete, solche Probleme entstünden normalerweise durch inkonsistentes URL-Rewriting, wobei Unterverzeichnisse angelegt würden. Bei einem sauberen Setup seien relative Links aber in Ordnung.
Diese Probleme beträfen laut Müller übrigens nicht nur Google, sondern auch andere Crawler und Tools wie Screaming Frog und DeepCrawl.
Titelbild: Copyright Photoco - Fotolia.com
Verwandte Beiträge
Google: Viele 304-Response-Codes auf einer Website führen nicht zu weniger Crawling
Wenn auf einer Website viele Seiten den Status 304 zurückliefern, reduziert Google deshalb nicht automatisch das Crawlen. Auch auf Basis einzelner Seiten muss ein 304 nicht zu weniger Crawling führen.
IndexNow: Neue Initiative von Microsoft und Yandex soll Suchmaschinen-Crawler entlasten
Microsoft Bing und Yandex haben mit IndexNow ein neues Protokoll eingeführt, mit dem man Suchmaschinen über neue Inhalte benachrichtigen und Änderungen melden kann. Google ist bisher nicht beteiligt.
John Müller erklärt den Unterschied zwischen absoluten und relativen URLs
Worin sich absolute und relative URLs unterscheiden und dass beide Varianten aus SEO-Sicht gleichwertig sind, erklärt John Müller in einem neuen Video aus der Serie #AskGooglebot.
