SEO-News

Android-BotsUm Google vorübergehend daran zu hindern, eine Website zu crawlen, gibt es einen einfachen Trick. Dieser sollte aber wirklich nur für kurze Zeit angewandt werden.

Welche Möglichkeiten gibt es, um das Crawlen einer Website durch Google zu unterbrechen? Mögliche Gründe dafür kann es viele geben, etwa, wenn auf einer Website kurzzeitig viel Traffic erwartet wird, der nicht zusätzlich durch das Crawlen erhöht werden soll.

Im aktuellen Webmaster-Hangout ging es um diese Frage. Ein Nutzer wollte wissen, wie er kurzzeitig über die Black Week die Crawl-Frequenz von Google senken könne.

Johannes Müller antwortete, das Ändern der Crawling-Frequenz auf "niedrig" in der Konfiguration würde erst mit einem Tag Verzug berücksichtigt. Das sei etwas spät.

Eine Alternative sei es, beim Abruf der robots.txt den Statuscode 503 zurückzugeben. Der Googlebot würde diesen Status erkennen und die Website dann erst einmal nicht mehr crawlen. Google werde dann in den kommenden Tagen immer wieder versuchen, die robots.txt anzurufen. Das sei eine Möglichkeit, wenn alles bereits wunschgemäß indexiert sei und man nicht alles per "disallow" in der robots.txt sperren wolle. Sobald die robots.txt wieder abgerufen werden könne, funktioniere das Crawlen wieder.

Aber Vorsicht: Wenn die robots.txt zu lange nicht anrufbar ist und Serverfehler liefert, kann das dazu führen, dass Google eine Website nicht mehr crawlt und sie sogar irgendwann aus dem Index entfernt. Daher sollte eine Maßnahme wie die oben beschriebene nur vorübergehend eingesetzt werden.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px