SEO-News

Android-BotsDas Crawlen einer Seite ist nicht unbedingt nötig, damit Google sie indexiert. Allerdings werden dabei die Inhalte der Seite nicht übernommen.

Normalerweise umfasst der Prozess für die Aufnahme neuer Webseiten in den Google-Index die folgenden Schritte:

  1. Crawlen der Inhalte
  2. Analyse der Inhalte und deren Bedeutung
  3. Rendering der Seite
  4. Indexieren der Seite

Google kann aber auch Seiten indexieren, ohne sie zuvor gecrawlt zu haben. Das passiert, wenn eine Seite per robots.txt gesperrt ist. In diesem Fall werden die Inhalte der Seite nicht erfasst - dennoch kann sie in der Google-Suche gefunden werden.

Auf diesen Sonderfall wies Johannes Müller auf Twitter hin:

 

Google indexiert auch ohne zu crawlen

 

Auch in der Google-Hilfe ist dies dokumentiert. Dort wird beschrieben, dass Google auch Seiten ohne Zugriff auf deren Inhalte indexieren könne.

Ein Grund, der dazu führen kann, ist, dass eine Seite, die per robots.txt gesperrt ist, von anderen Seiten verlinkt ist. In diesem Fall findet der Googlebot die Seite und übernimmt sie in den Index.

In den Suchergebnissen erscheinen Seiten, die auf diese Weise indexiert wurden, ohne Description, weil diese vom Crawler nicht erfasst wurde:

 

Google: Hinweis wegen Sperrung per robots.txt

 

Wenn eine Seite nicht indexiert werden soll, muss dies per Meta Robots-Attribut erfolgen, das auf "noindex" gesetzt werden muss.

Die wichtigsten Informationen zum Vorgehen beim Sperren von Seiten per robots.txt und "noindex" sind hier zu finden.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px