Suchmaschine für das Dark WebDie Defence Advanced Research Projects Agency (DARPA), eine Behörde des US-Verteidigungsministeriums, entwickelt derzeit eine Suchmaschine für das Dark Web und will damit auch solche Seiten indexieren, die von herkömmlichen Suchmaschinen wie Google oder Bing nicht erfasst werden können. Ein Hauptnutzen dieser neuen Suchmaschine besteht im Kampf gegen kriminelle Organisationen, doch auch militärische Zwecke werden genannt.

Google und Bing verfügen zwar jeweils über riesige Indizes als Abbild des World Wide Webs, sind aber dennoch nicht in der Lage, alle Dokumente zu erfassen, die online verfügbar sind. Die Zahlen schwanken, aber man schätzt, dass nur um die fünf Prozent der weltweit online verfügbaren Dokumente in den Indizes von Google, Bing und Co. landen.

Um jetzt auch zumindest einen Teil derjenigen Seiten für eine Suche erfassbar zu machen, die bisher außen vor blieben, hat die DARPA, die zum US-Verteidigungsministerium gehört, das Projekt Memex initiiert. Das Projekt läuft bereits seit etwa einem Jahr. Zusammen mit 17 Teams wird an einem Index gearbeitet, in dem auch Seiten aus dem Dark Web wie etwa die so genannten Hidden Services landen sollen. Es geht dabei um Webseiten, die unter der Domain .onion laufen und nur mit einem Tor-Browser aufgerufen werden können und auch nur dann, wenn man deren spezielle Adresse kennt. Im Tor-Netzwerk, das dezentral aufgebaut ist und aus vielen Verbindungsstellen freiwilliger Teilnehmer besteht, soll die Überwachung von Verbindungen erschwert werden. Gleichzeitig soll auch das Tracking von Nutzerdaten auf den besuchten Webseiten verhindert werden.

 

Ziele des Projekts Memex

Ein Ziel von Memex ist es, die Menge des TOR-Traffics abschätzen zu können, der bei Hidden Services landet. Bisher war man von wenigen tausend Seiten ausgegangen, die prinzipiell indexierbar sein könnten, aber die Zahl dürfte einiges höher sein - 30.000, 40.000 oder sogar noch mehr.

Die Inhalte solcher Hidden Services sind im Grunde frei verfügbar und sind nicht durch Passwörter geschützt. Dennoch können sie von den kommerziellen Suchmaschinen nicht erfasst werden. Per Memex soll das möglich sein. Außerdem sollen Verbindungen zwischen den Hidden Services analysiert werden, etwa der Prozess, wenn eine Seite verschwindet und eine andere, vorher scheinbar nicht damit zusammenhängende Seite auftaucht. Das soll auch für die Strafverfolgung und zu militärischen Zwecken genutzt werden.

 

Kritik

Anonymität im Internet ist ein ambivalent diskutiertes Thema. Die Indexierung vormals "versteckter" Seiten mag sicherlich die Aufklärungsrate in einigen Fällen von Kriminalität verbessern. Sie vermindet aber auch den Freiraum, in dem sich Nutzer unüberwacht im Netz bewegen können. Die Initiatoren des Projekts stammen nicht ohne Grund aus dem militärischen Umfeld - daher steht auch ein Hauptnutzen von Memex fest - nämlich der militärische. Das alleine sollte zumindest nachdenklich stimmen.

 

Bild © AGPhotography - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Für manche Shopping-Suchanfragen funktioniert derzeit der '-'-Suche-Operator nicht, mit dem man bestimmte Suchergebnisse ausschließen kann.

Warum es wenig bringen würde, alle Rankingfaktoren zu nennen, hat jetzt Danny Sullivan von Google erklärt. Und seine Begründung ist durchaus nachvollziehbar.

Allgemein sind Autorenangaben auf Webseiten für Google nicht zwingend erforderlich. Ein wenig anders sieht es für Google News aus: Hier sollte jeder Beitrag aus Transparenzgründen über eine...