SEO-News

Google Android-BotsDer Googlebot folgt beim Crawlen nicht automatisch der Verzeichnisstruktur in URLs, sondern ist zum Abruf der Seiten auf Links angewiesen. Unterstützend können XML-Sitemaps wirken.

Eine interessante Information zum Vorgehen beim Crawling durch den Googlebot gab es heute: Nur Seiten, die verlinkt sind, werden aufgerufen. Dagegen nutzt der Googlebot normalerweise nicht die in der URL-Struktur enthaltenen Pfade und Verzeichnisebenen, um neue Seiten zu entdecken.

Ein Nutzer hatte per Twitter gefragt, ob sich der Crawler von einem Verzeichnis in URLs zum nächsten vorarbeite, also zum Beispiel von der URL "/schuhe/turnschuhe/" auf die nächst höhere Ebene "/schuhe/". John Müller antwortete, dies geschehe, aber nur dann, wenn die Ebenen verlinkt seien - ansonsten normalerweise nicht:

 

Google folgt beim Crawlen nicht der URL-Struktur 

 

Das zeigt: Eine durchdachte URL-Struktur mit Kategorien, Unterkategorien und Landing Pages alleine stellt noch nicht sicher, dass Google alle wichtigen Seiten crawlt. Man muss auch dafür sorgen, dass die Seiten durch interne Links miteinander verbunden sind, oder dass es externe Links auf die Seiten gibt. Zusätzlich sollten alle wichtigen URLs in einer XML-Sitemap für Google bereitgestellt werden.

 

Titelbild: Google

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Wenn Google eine Website plötzlich deutlich mehr crawlt, sollte man prüfen, ob ein Problem die Ursache dafür ist. Darauf wies jetzt Gary Illyes von Google hin.

Damit Google eine Website crawlen kann, muss der Webserver die richtige HTTP-Antwort an den Googlebot senden. Ansonsten kann es zu Problemen kommen.

Google hat angekündigt, das Crawl Limiter Tool, mit dem sich die Crawl-Rate des Googlebots manuell reduzieren lässt, zum 8. Januar einzustellen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px