Das Verwenden von 'noindex' in der robots.txt kann unter Umständen wie ein 'disallow' wirken, entspricht aber nicht dem Zweck der Datei. Daher sollte man sich nicht darauf verlassen, dass eine solche Lösung zuverlässig funktioniert.
Die robots.txt dient dazu, bestimmte Seiten und Verzeichnisse für die Bots der Suchmaschinen zu sperren oder diese explizit freizugeben. Dabei geht es ausdrücklich um das Crawlen, nicht aber um das Indexieren.
Manchmal ist aber zu beobachten, dass bestimmte robots.txt-Dateien auch Anweisungen enthalten, die sich auf das Indexieren beziehen, wie zum Beispiel "noindex"-Direktiven. So etwas kann sich wie ein "disallow" auswirken, entspricht aber nicht den offiziellen Standards für die Verwendung der robots.txt.
Wenn man auf eine solche Lösung setzt und Seiten per robots.txt und "noindex" sperren möchte, sollte man immer eine zusätzliche Absicherung verwenden. Darauf hat Johannes Müller per Twitter hingewiesen:
Es gilt also folgende Regel: Das Ausschließen von Seiten und Verzeichnissen für das Crawlen geschieht in der robots.txt per "disallow", das Sperren gegen Indexierung geschieht per Robots-Meta-Tag "noindex" odet durch ein entsprechendes X-Robots-Tag im HTTP-Header.
Titelbild: Copyright AKS - Fotolia.com
Artikelveröffentlichungen auf starken Magazinen und Blogs
Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:
- - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
- - Hohe Sichtbarkeitswerte, keine expired Domains
- - Einmalzahlung, keine Vertragsbindung
Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.
Verwandte Beiträge
WordPress 5.3: wichtige Änderung für Websites, die nicht indexiert werden sollen
In WordPress 5.3 gibt es eine wichtige Änderung für Websites, die nicht indexiert werden sollen. Statt eines Eintrags in der robots.txt werden jetzt Meta Robots-Tags verwendet. Das ist sinnvoll.
Google erinnert: Ab dem 1. September keine Unterstützung mehr für 'noindex' in robots.txt
Ab dem 1. September wird Google keine 'noindex'-Direktiven mehr in der robots.txt unterstützen. Auch andere Anweisungen sind betroffen. Google rät betroffenen Webmastern, rechtzeitig Änderungen...
Google: Kein 'noindex' oder 'disallow' für gesponserte Beiträge nötig
Gesponserte Inhalte dürfen zum Crawlen und zur Indexierung durch Google freigegeben werden. Ein 'noindex' ist nicht notwendig. Allerdings müssen augehende Links auf 'nofollow' gesetzt werden.
{loadpositoin newsletter}
