SEO-News

Android-BotsUm Google vorübergehend daran zu hindern, eine Website zu crawlen, gibt es einen einfachen Trick. Dieser sollte aber wirklich nur für kurze Zeit angewandt werden.

Welche Möglichkeiten gibt es, um das Crawlen einer Website durch Google zu unterbrechen? Mögliche Gründe dafür kann es viele geben, etwa, wenn auf einer Website kurzzeitig viel Traffic erwartet wird, der nicht zusätzlich durch das Crawlen erhöht werden soll.

Im aktuellen Webmaster-Hangout ging es um diese Frage. Ein Nutzer wollte wissen, wie er kurzzeitig über die Black Week die Crawl-Frequenz von Google senken könne.

Johannes Müller antwortete, das Ändern der Crawling-Frequenz auf "niedrig" in der Konfiguration würde erst mit einem Tag Verzug berücksichtigt. Das sei etwas spät.

Eine Alternative sei es, beim Abruf der robots.txt den Statuscode 503 zurückzugeben. Der Googlebot würde diesen Status erkennen und die Website dann erst einmal nicht mehr crawlen. Google werde dann in den kommenden Tagen immer wieder versuchen, die robots.txt anzurufen. Das sei eine Möglichkeit, wenn alles bereits wunschgemäß indexiert sei und man nicht alles per "disallow" in der robots.txt sperren wolle. Sobald die robots.txt wieder abgerufen werden könne, funktioniere das Crawlen wieder.

Aber Vorsicht: Wenn die robots.txt zu lange nicht anrufbar ist und Serverfehler liefert, kann das dazu führen, dass Google eine Website nicht mehr crawlt und sie sogar irgendwann aus dem Index entfernt. Daher sollte eine Maßnahme wie die oben beschriebene nur vorübergehend eingesetzt werden.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px