Beim Crawlen kann der Googlebot auch Formulare abschicken. Allerdings passiert das laut Google sehr selten. Wenn es aber vorkommt, kann das Auswirkungen auf das Crawlen haben.
Normalerweise führt der Googlebot beim Crawlen keine Interaktionen mit Webseiten wie klicken oder scrollen aus. Auf Webseiten mit Formularen kann es jedoch passieren, dass der Googlebot diese abschickt, wenn auch "extrem selten". Das hatte Johannes Müller in einem Webmaster-Hangout im vergangenen Monat erklärt.
Gary Illyes bestätigte das jetzt per Twitter auf Anfrage eines Nutzers, der ein entsprechendes Beispiel zeigte - in der Google Search Console wurde dementsprechende eine große Anzahl nicht aufgenommener URLs ausgewiesen, von denen ein Teil auf URLs von Formularen beruhte:
Formulare können sich demnach tatsächlich auf das Crawlen einer gesamten Website auswirken. Das kann dann problematisch werden, wenn durch ein Formular viele URLs erzeugt werden, zum Beispiel durch verschiedene URL-Parameter in unterschiedlichen Konstellationen.
Aus diesem Grund ist es sinnvoll, die entsprechenden URLs per robots.txt zu sperren.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
