SEO-News

StatistikDer Googlebot kann unter Umständen Formulare abschicken, die er auf Webseiten findet. In Verbindung mit URL-Parametern kann dies zu einem stark erhöhten Crawling-Volumen führen. Weniger wahrscheinlich ist es dagegen, dass die neue Policy im Umgang mit Nofollow-Links zu spürbar erhöhter Crawling-Aktivität führt.

Einige Webmaster berichteten zuletzt von verstärkten Crawling-Aktivitäten durch Google Ende März und Anfang April. Dies wurde in einem aktuellen Webmaster-Hangout thematisiert. 

Johannes Müller sagte, er wisse nichts von Änderungen seitens Google in Bezug auf das Crawlen. Manche Websites würden häufiger, andere dafür etwas seltener gecrawlt. Er habe sich aber eine Website genauer angesehen, bei welcher die Crawl-Frequenz stark angestiegen sei. Dort gebe es Formulare. Es könne vorkommen, dass der Googlebot Formulare abschicke. Komme es dann zu einer Kombination mit URL-Parametern, könne sich eine Vielzahl von URLs ergeben, denen der Googlebot folge, wenn die Kapazitäten des betreffenden Webservers ausreichten.

Auf die Frage, ob Googles geänderter Umgang mit Nofollow-Links eine Ursache für das stark angestiegene Crawling-Volumen auf vielen Websites sein könnne, antwortete Google, er gehe nicht davon aus, dass dies spürbar sei. Man könne dies aber in den Logfiles überprüfen.

Auf Websites mit Formularen sollte als zur Sicherheit getestet werden, ob Google diese crawlen kann. Falls ja, sollten die URLs auf Parameter untersucht werden, die zu unnötigem Crawlen durch Google führen können. Im Zweifelsfall sollten entsprechende Seiten oder URLs per robots.txt gesperrt werden.

 

Titelbild: Copyright WDnet Studtio - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

InterNetX

SEO Freelancer

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px