Änderungen an der robots.txt wirken sich nicht sofort in der Suche aus, denn Google hält die robots.txt bis zu einem Tag im Cache. Doch es gibt eine Möglichkeit, dies zu beschleunigen.
Wer Änderungen an der robots.txt seiner Website vornimmt, um zum Beispiel blockierte Seiten oder Ressourcen für Google freizugeben, muss damit rechnen, dass die Änderungen sich nicht sofort auswirken. Der Grund: Google hält die robots.txt bis zu einem Tag im Cache. Das erklärte Gary Illyes per Twitter. Er wies aber auch auf die Möglichkeit hin, dies zu beschleunigen und Google dazu zu bringen, den Cache zu aktualisieren. Dies kann per Google Search Console geschehen:
In der Google Search Console muss man dazu den robots.txt-Tester aufrufen, den es nur in der alten Version der Search Console gibt. Dort kann man auf "Senden" klicken und wird dann aufgefordert, die robots.txt zu ändern, sie auf den Server hochzuladen und Google danach zu informieren, damit die neue robots.txt abgerufen werden kann:
Auf diese Weise kann die Wartezeit bis zu den Wirkungen von Änderungen in der robots.txt verkürzt werden.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
Artikelveröffentlichungen auf starken Magazinen und Blogs
Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:
- - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
- - Hohe Sichtbarkeitswerte, keine expired Domains
- - Einmalzahlung, keine Vertragsbindung
Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.
Verwandte Beiträge
Bing bringt neues Tool zum Testen der robots.txt
Bing hat ein neues Tool zum Testen von robots.txt-Dateien herausgebracht. Mit dem Tool lassen sich auch Änderungen vornehmen und die Auswirkungen der Änderungen überprüfen.
Google kann HTTP-Status 404 oder 410 bei Sperrung per robots.txt nicht erkennen
Wer Seiten per 404 oder 410 aus dem Google-Index entfernen möchte und die betreffenden URLs gleichzeitig per robots.txt sperrt, kann lange warten, denn Google kann den HTTP-Status von gesperrten...
Google: Bei robots.txt überstimmt spezifischere Regel die allgemeinere Regel
In der robots.txt bestimmt nicht die Reihenfolge, welche Regel von Google und anderen Suchmaschinen befolgt wird, sondern es gilt: Eine spezifischere Regel sticht eine allgemeinere Regel.
