Liefert eine Website beim Versuch, die robots.txt abzurufen, über längere Zeit einen 500er-Fehler, kann Google das Crawlen wieder aufnehmen. Google geht dann davon aus, dass es sich um eine fehlerhafte Konfiguration handelt.

In der neuen Ausgabe der Videoserie 'Search for Beginners' erklärt Google, wie man testen kann, ob eine Website indexiert ist und was man im Zweifelsfall unternehmen kann, um Probleme zu lösen.

Google hat die Daten für den Report zur Indexabdeckung in der Google Search Console verbessert. Dadurch kann es zu einer Verschiebung bei den Kategorien kommen.

Das Ausblenden von Inhalten für Google News per Meta-Tag scheint nicht mehr bei allen Publishern zu funktionieren. Es gibt laut einem Bericht Beispiele für Inhalte, die trotz des 'noindex' für Googlebot-News in den Nachrichten erscheinen.

In der Google Search Console werden jetzt auch die Leistungsdaten für den Discover-Feed bereits nach einem Tag angezeigt.

Google kann den 404-Status einer URL als Canonical-Hinweis für eine andere URL bzw. als Ersatz für eine Weiterleitung verwenden.

Bing hat den Einsatz neuer Crawler bestätigt. Die neuen Bingbots werden auf Grundlage von Chromium rendern und sich damit an den aktuellen Stand von Google angleichen. Das erleichtert das Testen.

Das Verwenden semantischer HTML-Tags wie header oder article bringt laut Google keinen SEO-Bonus. Es sprechen aber andere Gründe dafür.

Google zeigt mit dem neuen Dienst 'Shopping 100' die Suchanfragen an, die aktuell besonders im Trend liegen. Die Suchanfragen sind unterteilt nach verschiedenen Produktkategorien.