Google hat keine Pläne zum Ablösen des Crawling-Modells zugunsten selbst eingereichter Inhalte. Beim Konkurrenten Bing gibt es dagegen Anzeichen für einen Wechsel.
Anfang des Jahres hatte Bing erklärt, dass zukünftig das URL Submission Tool genutzt werden müsse, um neue oder geänderte Inhalte zu bringen. Auf der Messe Pubcon in diesem Monat kündigte Bing einen Piloten als ersten Test an. Ziel ist es, die kompletten Inhalte von Websites zu übermitteln, also auch das HTML, die vorhandenen Bilder etc. Damit würde die Notwendigkeit zum Crawlen der Websites entfallen.
Auf die Frage, ob Google ähnliche Pläne verfolge, antwortete Johannes Müller in einem aktuellen Webmaster-Hangout, dies sei nicht der Fall. Es gebe zwar die Indexing API, doch sei diese aktuell nur für Jobs und Live Streams gedacht.
Man diskutiere das Thema zwar hin und wieder, insbesondere für große Websites mit häufigen Änderungen, doch komme man immer wieder zum Ergebnis, Websites auch weiterhin selbst crawlen zu wollen. Auf diese Weise könne sichergestellt werden, dass sich die betreffenden Inhalte auch tatsächlich auf der jeweiligen Seite befinden. Zudem sei das gecrawlte HTML hilfreich.
Google wird seinen Index also auch zukünftig hauptsächlich mithilfe des Googlebots füllen.
