Das Begrenzen des Crawl-Limits einer Website hat zur Folge, dass Google die Priorität der zu crawlenden URLs ändert. Zudem wirkt sich die Begrenzung nicht auf alle Crawler gleichermaßen aus.
In der Google Search Console gibt es immer noch die mittlerweile etwas schwer auffindbare Möglichkeit, ein Crawl-Limit pro Website festzulegen. Damit reduziert sich die Zahl der Abrufe durch Google.
Google crawlt jedoch auf viele verschiedene Weisen und verwendet dazu unterschiedliche Crawler, etwa den mobilen Googlebot und den Googlebot für Desktop. Hinzu kommen weitere Crawler für News, Anzeigen und einige mehr.
Das Reduzieren der Crawl-Frequenz wirkt sich nicht auf alle Crawler gleichermaßen aus. Das erklärte Johannes Müller auf Twitter. Es würden neue Prioritäen festgelegt, um den Schwerpunkt auf wichtige URLs und Crawls zu legen. Wenn es keine Begrenzung gebe, würden dagegen auch weniger kritische Dinge gecrawlt:
Das Herabsetzen der Crawl-Frequenz sollte immer nur dann gechehen, wenn technische Gründe wie zum Beispiel eine zu hohe Last auf dem Server dafür sprechen. Ansonsten ist von der Verwendung dieser Einstellungsmöglichkeit abzuraten, weil diese dazu führen kann, dass Google nicht alle URLs crawlt oder Änderungen erst später in den Index übernehmen kann.
Artikelveröffentlichungen auf starken Magazinen und Blogs
Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:
- - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
- - Hohe Sichtbarkeitswerte, keine expired Domains
- - Einmalzahlung, keine Vertragsbindung
Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.
Verwandte Beiträge
Google: Selten gecrawlte URLs haben normalerweise keinen Effekt auf die Suche
Wenn Google URLs selten crawlt, kann man davon ausgehen, dass ihre Bedeutung für die Suche gering ist. Das kann man verwenden, um Optimierungsmaßnahmen zu priorisieren.
Google: Stark erhöhtes Crawl-Volumen kann durch Abschicken von Formularen entstehen
Der Googlebot kann unter Umständen Formulare abschicken, die er auf Webseiten findet. In Verbindung mit URL-Parametern kann dies zu einem stark erhöhten Crawling-Volumen führen. Weniger...
Google: 'Wir crawlen URLs mindestens einmal pro Halbjahr.'
Wie oft Google eine URL besucht, hängt von verschiedenen Faktoren ab. Doch eines scheint laut Aussage von Johannes Müller klar: Mindestens alle sechs Monate schaut der Googlebot vorbei.
