Google: Wann Seiten, die Aktionen ausführen, gecrawlt und indexiert werden dürfen

Google rät dazu, Seiten, die bestimmte Aktionen ausführen, wie zum Beispiel das Hinzufügen zu einem Warenkorb, nicht crawlen zu lassen. Diese Empfehlung kann zu Missverständnissen führen.

 Anzeige

Auf der Hilfeseite zum Optimieren des Crawl-Budgets für große Websites rät Google dazu, Seiten, die zum Ausführen bestimmter Handlungen dienen, nicht crawlen und indexieren zu lassen. Dazu gehören zum Beispiel Anmelde- und Kaufseiten:

"Shopping cart pages, infinite scrolling pages, and pages that perform an action (such as "sign up" or "buy now" pages)."

Diese Empfehlung kann allerdings missverstanden werden: Sollte man alle Seiten vom Crawlen und Indexieren ausschließen, auf denen sich Anmelde- oder Kaufmöglichkeiten befinden?

Das ist nicht der Fall, wie John Müller jetzt per Twitter klargestellt hat. Es geht nur um die Seiten, welche die Aktionen tatsächlich durchführen, nicht aber um die Seiten, auf denen sich zum Beispiel ein Formular befindet. Ein Formular, um etwas zu kaufen, ist also in Ordnung, die Seite, die das Formular nutzt, um die Aktion durchzuführen, also zum Beispiel, um die Daten an eine Datenbank zu senden, muss dagegen nicht gecrawlt werden:

"It's about the pages that perform the action. You have a form that lets users buy something (fine to index), the page which the form uses to do the action (add to database, etc) doesn't need to be crawled. buy-book.html - fine buy-book.php?qty=2&name=john&creditcard=123 - skip"

Vielleicht wird Google diese Hinweis auf der entsprechenden Hilfeseite noch ergänzen, um zukünftige Missverständnisse auszuschließen.

Titelbild: Copyright boyloso - Fotolia.com