Für große Webseiten gibt es jetzt einen neuen Crawler, der sich für SEO-Analysen nutzen lässt. Botify kann dabei auch feststellen, welche Seiten zuvor vom Googlebot besucht wurden. Für den kleinen Geldbeutel ist das Tool jedoch nicht geeignet.
Botify ist ein Crawler auf Cloudbasis. Das Tool ist in der Lage, auch große Webseiten schnell zu crawlen und Empfehlungen zu SEO-Maßnahmen zu liefern. Das aus Frankreich stammende Unternehmen konnte schon einige namhafte Kunden für sich gewinnen, unter anderem eBay, BlaBlaCar und Expedia.
Botify ist sehr schnell - so schnell, dass manche Server durch die hohe Frequenz der gecrawlten Seiten in die Knie gehen können. Daher lässt sich die Geschwindigkeit regulieren: Zwischen zehn und 200 Seiten pro Sekunde sind möglich.
Botify kann aber noch mehr: Wenn man dem Tool die Logfiles des Servers offenbart, auf dem die zu untersuchende Webseite läuft, dann kann festgestellt werden, welche Unterseiten zuvor vom Googlebot besucht worden sind. Das kann für die Fehleranalyse sehr nützlich sein, denn nur Seiten, die von Google gecrawlt werden, haben auch die Chance, im Index zu landen.
Preislich gesehen ist Botify eher etwas für Agenturen und große Unternehmen: Das Spektrum beginnt bei 419 Euro im Monat für fünf Millionen crawlbare Seiten und ist nach oben offen.
Titelbild © Igor Zakowski- Fotolia.com
