Google wertet auch Links auf Seiten, die per robots.txt gesperrt, also auf 'disallow' gesetzt sind. Allerdings sind die Möglichkeiten, diese Links auf der Ziel-Website weiterzuverarbeiten, begrenzt.
Auch Backlinks und interne Links, die auf per robots.txt gesperrte Seiten zeigen, können von Google gewertet werden. Das kann zum Beispiel dann von Bedeutung sein, wenn es Bereiche einer Website gibt, die zuvor freigegeben waren und Backlinks gesammelt haben, dann aber per robots.txt gesperrt werden.
John Müller von Google bestätigte auf Anfrage, dass auch Links gewertet werden, die auf "disallow"-Seiten zeigen. Google wisse zwar nicht, was sich auf den Zielseiten befinde, könne dies aber auf Basis der Links und ihres Kontexts vermuten. Solche Links würden also berücksichtigt. Das gelte aber nicht für ausgehende Links von Seiten, die per robots.txt gesperrt sind:
"If the destination page is blocked by robots.txt, then the link still goes somewhere, we just don't know what's on that page. We can sometimes guess based on the links and their context though. So yes, those links are taken into account. (Links from robotted pages obviously not)"
Der Einfluss solcher Links auf den Zielseiten dürfte dagegen nur begrenzt sein, denn weil Google wegen der Sperre in der robots.txt die Seiten nicht crawlen kann, ist es für Google auch nicht möglich, deren interne Verlinkung und deren Inhalte zu ermitteln. Daher können diese Seiten wohl auch keine oder nur wenig PageRank an andere Seiten der Website weitergeben.
Titelbild: Copyright Tobias - Fotolia.com
