Google indexiert auch Seiten, die per robotx.txt für das Crawlen gesperrt sind. Voraussetzung ist, dass Links auf diese Seiten zeigen.
Das Sperren per robots.txt ist keine Garantie dafür, dass Google eine Seite nicht indexiert. Zwar bewirkt ein "disallow" in der robots.txt, dass Google eine Seite nicht crawlt, aber die Indexierung ist dennoch möglich. Das geschieht, wenn es Links gibt, die auf die betreffende Seite zeigen, wie Johannes Müller im Webmaster-Hangout vom 22. März erklärte.
Weil Google diese Seiten aber nicht crawlen kann, verwendet die Suchmaschine Informationen aus den verweisenden Links wie zum Beispiel den Titel. Seiten, die auf diese Weise indexiert werden, erscheinen allerdings nur selten in den Suchergebnissen, wie Müller erklärte. Das liege daran, dass Google durch das fehlende Crawlen zu wenige Informationen über die Seiten besitze, um zu entscheiden, wann diese relevant für eine Suchanfrage seien.
Anders sei es, wenn die Homepage oder eine komplette Website per "disavow" gesperrt sei. Diese werde von Google trotzdem so lange in den Suchergebnissen angezeigt, bis es sicher sei, dass die Seite nicht mehr bestehe.
Übrigens können auch interne Links dazu führen, dass Google Seiten indexiert, die per robots.txt gesperrt sind:
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
Artikelveröffentlichungen auf starken Magazinen und Blogs
Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:
- - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
- - Hohe Sichtbarkeitswerte, keine expired Domains
- - Einmalzahlung, keine Vertragsbindung
Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.
Verwandte Beiträge
Google: Robots.txt von Subdomain beeinflusst nicht die Bewertung von robots.txt der Hauptdomain
Das Verwenden einer eigenen robots.txt für Subdomains hat keine störenden Auswirkungen auf die Bewertung der robots.txt der Hauptdomain durch Google, wenn sie richtig aufgesetzt ist.
Google: Meldungen über blockierte Ressourcen, obwohl robots.txt nicht geändert wurde - ein möglicher Grund
Wenn in der Google Search Console Meldungen über blockierte Ressourcen erscheinen, kann das daran liegen, dass die robots.txt vorübergehend nicht erreichbar war.
Google: Wenn Aufruf der robots.txt dauerhaft zu einem 500er-Fehler führt, kann Website wieder gecrawlt werden
Liefert eine Website beim Versuch, die robots.txt abzurufen, über längere Zeit einen 500er-Fehler, kann Google das Crawlen wieder aufnehmen. Google geht dann davon aus, dass es sich um eine...
