Suchfunktion auf Websites kann laut Google das Crawl-Budget gefährden und Einfallstor für Spam sein

Eine falsch implementierte Suchfunktion kann das Crawl-Budget der Website gefährden und Spam-Angriffen Tür und Tor öffnen. Wie sich das vermeiden lässt, haben John Müller und Martin Splitt jetzt vorgestellt.

 

 Anzeige

Viele Websites bieten eine Suchfunktion an, um Nutzern das Finden von Inhalten zu erleichtern. Doch wenn Googlebot diese Seiten crawlt, kann das zu technischen Problemen und sogar zu Sicherheitsrisiken führen.

In der neuen Episode des Google-Podcasts "Search Off the Record" diskutierten die Google-Experten Martin Splitt und John Müller den Umgang mit internen Suchergebnisseiten aus SEO-Sicht. 

Infinite Spaces

Das Hauptproblem bei internen Suchergebnissen ist laut John Müller, dass sie eine theoretisch unendliche Anzahl von URLs erzeugen können. Nutzer oder andere Websites können auf jede beliebige Wortkombination verlinken. Wenn eine Website zudem Filterfunktionen wie Datum oder Kategorien oder "Meinten Sie auch..."-Links auf ihren Suchergebnisseiten anbietet, multipliziert sich die Anzahl der theoretisch möglichen URLs.

Für den Googlebot stellt das einen "Infinite Space" dar, also einen fast unendlichen Raum. Man spricht in einem solchen Zusammenhang auch gerne von einer unabsichtlichen Spider Trap.

Google wird in solchen Fällen versuchen, viele dieser Seiten zu crawlen. Das kann das Crawl-Budget der Website verschwenden und den Server stark belasten. Weil Suchergebnisseiten oft nicht im Cache gespeichert werden und bei jedem Aufruf Datenbankabfragen erfordern, kann ein intensives Crawling durch den Googlebot außerdem die gesamte Website verlangsamen oder den Server sogar zum Absturz bringen.

Einfallstor für Spammer

Ein weiteres großes Risiko besteht darin, dass Spammer interne Suchergebnisseiten für ihre Zwecke missbrauchen können. Wenn eine Suchergebnisseite indexierbar ist und den gesuchten Begriff wie z. B. für Medikamente oder nicht jugendfreie Inhalte mitsamt einer Telefonnummer oder Kontaktadresse als Überschrift anzeigt, obwohl es das Produkt auf der Website gar nicht gibt, können Spammer massenhaft Links zu diesen Suchanfragen erstellen. In der Folge rankt die betroffene Website plötzlich für problematische Suchbegriffe in den Google-Ergebnissen. John Müller warnte, dass das nicht nur dem Ruf der Website schaden, sondern auch dazu führen kann, dass Google die Website als gehackt markiert.

SEO-Beratung: Wir sind Ihre Experten

Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Unsere Beratungsleistungen

Christian Kunz

SEO Experte

David Wulf

SEO Experte

Sven Häwel

Offpage-Experte

Der richtige Umgang mit Suchergebnisseiten 

Martin Splitt und John Müller empfehlen, interne Suchergebnisseiten für Suchmaschinen zu sperren. Das Indexieren solcher Seiten sei aus technischer Sicht ineffizient. Sie schlagen folgende Lösungswege vor:

• Die robots.txt-Datei (Der einfachste Weg): Der beste und am einfachsten zu pflegende Weg ist es, die Such-URLs über die robots.txt komplett vom Crawling auszuschließen. Müller rät dazu, eine möglichst breite und allgemeine Regel zu verwenden, um alle Suchparameter abzudecken (z. B. durch das Blockieren des gesamten /search-Verzeichnisses oder spezifischer Parameter), anstatt ein fehleranfälliges "Labyrinth" aus Einzelregeln zu erschaffen.
• Noindex: Alternativ können Suchergebnisseiten mit einem noindex-Meta-Tag oder im HTTP-Header ausgeliefert werden. Der Unterschied zur robots.txt besteht darin, dass Google die Seite zwar anfangs crawlt, aber dann erkennt, dass sie nicht in den Index aufgenommen und nicht endlos weitergecrawlt werden soll.

Was man auf keinen Fall tun sollte 

• Das URL-Removal-Tool in der Search Console: Dieses Tool blendet die Seiten nur in den Google-Suchergebnissen aus, verhindert aber nicht das eigentliche Problem: das massenhafte Crawling durch den Googlebot. Es behandelt also nur die Symptome, nicht die Ursache.
• 500er-Fehlercodes: Das bewusste Ausspielen eines 500er-Serverfehlers für Suchseiten ist schädlich. Google interpretiert dies als Serverüberlastung und wird als Schutzmaßnahme das Crawling für die gesamte Website, also auch für die wichtigen Inhalte, stark reduzieren.
• 404er-Fehlercodes: Davon wird ebenfalls abgeraten, weil das zu Problemen mit dem Caching für echte Nutzer führen kann.

Ausnahmen und Workarounds

Einige Content Management Systeme wie z. B. Blogger nutzen Suchergebnisseiten funktional als Kategorie-Seiten. John Müller empfiehlt in solchen Fällen jedoch, echte Kategorie-Seiten zu erstellen, weil diese dem Nutzer und der Suchmaschine viel mehr Kontext bieten und sich leichter in die Hierarchie der Website einfügen lassen.

Der besondere Tipp

Wer ganz auf Nummer sicher gehen will und sich keine Gedanken um die technische Konfiguration machen möchte, kann auch den Trick von Martin Splitt anwenden: Er hat seine interne Suchfunktion so umgebaut, dass Suchanfragen direkt auf Google weitergeleitet werden und dort als site:-Abfrage (also eine Suche nur auf seiner Domain) durchgeführt werden.