SEO-News

CrawlerGoogle crawlt nur URLs, die an irgendeiner Stelle angegeben sind. URLs werden dagegen nicht zusammengestellt oder erfunden.

 

"Wir erfinden keine URLs" - das betont Johannes Müller im Google Webmaster-Forum. Hintergrund war die Frage eines Webmasters, der sich wunderte, dass in der Google Search Console Crawling-Fehler für URLs angezeigt werden, die so gar nicht existierten:

"It indicates that "Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request." for the following link: /?cat=1"

Laut Müller müssen die betreffenden URLs an irgendeiner Stelle als Links existieren, wenn sie nicht in der XML-Sitemap enthalten seien, denn Google stelle keine URLs zusammen bzw. erfinde keine URLs:

"What's your site's URL & can you post some of the full URLs that were flagged? In general, Googlebot doesn't make up URLs, so if they were found (and not in your sitemap file), it's likely that they were linked from somewhere within your website (it's also possible that these links have since been removed)."

In solchen Fällen sollte zunächst geprüft werden, ob die betreffenden URLs, die zu Fehlern führen, als interne Links auf der Webseite vorkommen. Möglich ist auch, dass solche Links durch die falsche Konfiguration des Content Management Systems oder verwendeter Plugins entstehen.

Kann dies ausgeschlossen werden, sollten auch externe Links geprüft werden. Auch hier kann es öfter zu Fehlern kommen.

Wichtig ist, dass der Webserver beim Aufruf nicht bestehender Links einen 404-Fehler sendet und keinen 500er-Fehler, der auf Probleme des Servers hinweisen würde. Das könnte nämlich dazu führen, dass Google das Crawlen der Seite einschränkt oder sogar einstellt, um keine weiteren Probleme zu verursachen.

 

Titelbild © Felix Pergande - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

InterNetX

SEO Freelancer

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px