SEO-News

SuchVorsicht bei der Verwendung von 'Googlebot' in den Direktiven innerhalb der robots.txt: Damit ist nicht der Googlebot für Ads abgedeckt.

Innerhalb der robots.txt gibt es die Möglichkeit, Direktiven wie "disallow" nach verschiedenen User Agents aufzuteilen. Um beispielsweise bestimmte Seiten oder Verzeichnisse für den Googlebot freizugeben oder zu sperren, kann man den User Agent "Googlebot" verwenden wie im folgenden dargestellt:

User-agent: Googlebot

Disallow: /

Damit wäre die komplette Seite für den Googlebot gesperrt. 

Nun ist es aber so, dass es nicht nur einen, sondern sehr viele verschiedene Googlebots gibt, etwa für Desktop und Mobile und auch für Google Ads.
Der Google AdsBot ist aber vom User Agent "Googlebot" nicht abgedeckt, sondern benötigt seine eigenen Direktiven. Das geht aus der zugehörigen Hilfeseite hervor.

Dass eine solche Unterscheidung in der robots.txt offenbar notwendig ist, fiel SEO Will Critchlow auf, der dies auf Twitter postete und zugleich die Frage stellte, ob die Google AdsBots eigene Regeln verfolgen würden. Im Tool zum Testen der robots.txt hatte er gesehen, dass die untersuchte Seite trotz des Sperrens für "Googlebot" offenbar für den Google AdsBot freigegeben war:

 

Direktiven für Googlebot gelten offenbar nicht für AdsBot

 

Gary Illyes antwortete, die Regeln für AdsBots könnten sich von denen des Haupt-Googlebots unterscheiden. Dies sollte entsprechend dokumentiert sein.

 

Gary Illyes: Google AdsBot hat eigene Regeln

 

Für alle diejenigen, die Direktiven für den Google AdsBot in die robots.txt aufnehmen möchten, bedeutet das, dass sie diesen jeweils gesondert behandeln müssen. Direktiven für den normalen Googlebot greifen hier nicht.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

InterNetX

SEO Freelancer

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px