Google erkennt und Crawlt URLs, die in YouTube-Videos vorkommen. Dazu kommt ein eigenständiger Crawler zum Einsatz.
Nicht nur URLs auf Webseiten werden von Google erfasst und gecrawlt, sondern auch URLs, die in YouTube-Videos erscheinen. Das beweist ein Experiment, dessen Ergebnisse gerade veröffentlicht wurden.
Die Entdeckung erfolgte zunächst zufällig: Ein Nutzer hatte ein Video auf YouTube hochgeladen, in dem auf eine Sicherheitslücke hingewiesen wurde. Dazu wurde die URL eines Scripts angegeben.
Danach erschienen in den Logfiles des betreffenden Servers interessante Einträge wie dieser (bestimmte Angaben anonymisiert):
XX.YYY.ZZ.XX - - [12/Dec/2018:18:42:04 -0500] "GET /nonexistent/url.js HTTP/1.1" 404 - "-" "Mozilla/5.0 (compatible; Google-Youtube-Links)
Bemerkenswert ist der Name des User-Agents: "Google-Youtube-Links". Offenbar hatte YouTube eine Optical Character Recognition (OCR) durchgeführt und die gefundenen URLs danach besucht. Dies konnte in einem darauf folgenden Test mit einer fiktiven URL bestätigt werden.
Interessanterweise findet sich der Crawler, der für die in YouTube-Videos gefundenen URLs zuständig ist, nicht in der offiziellen Liste der Googlebots.
Dass Google URLs aus Videos crawlt, kann zu ungewünschten Nebenwirkungen führen. Wenn wie im oben beschriebenen Fall zum Beispiel über Sicherheitslücken berichtet wird und die genannten URLs nur zu Demonstrationszwecken dienen, aber nicht von anderen Nutzern aufgerufen werden sollen, kann der Besuch eines Crawlers und der damit verbundene Aufruf der URLs Schäden anrichten.
Daher sollte man zukünftig immer die Möglichkeit berücksichtigen, dass in Videos gezeigte URLs auch gecrawlt werden und in den Suchergebnissen erscheinen können.
