Googles Chatbot Bard zeigt in seiner jetzigen Ausbaustufe einige Schwächen, die er sich allerdings teilweise mit Bings Chatbot teilt.
Nachdem Google seinen Chatbot Bard ersten Nutzern in den USA und in Großbritannien zur Verfügung gestellt hat, gibt es erste Testberichte, Dabei wird deutlich, dass sich Bard noch in einem frühen Entwicklungsstadium befindet und auf manche Fragen noch keine oder keine richtige Antwort geben kann.
Sowohl Google Bard als auch der Bing Chatbot basieren auf sogenannten Large Language Models (LLMs). Bei Bard ist dies LaMDA, Bing nutzt eine spezielle Form von GPT-4. Dass es sich bei den Chatbots im Grunde nur um Tools zum Erzeugen von Texten handelt, wird teilweise anhand der Qualität der Antworten deutlich, die man von den Chatbots erhält.
Bard verweigert Antworten auf Gesundheitsfragen
Fragt man Bard zum Beispiel etwas zum Thema Gesundheit, erhält man keine Antwort, sondern nur den Hinweis, Bard könne dabei nicht unterstützen, er sei nur ein Sprachmodell. Die Antwort des Bing Chat auf die Frage, welche Syptome eine Streptokokken-Infektion aufweist, ist dagegen recht ausführlich und umfasst Syptome, Links auf die verwendeten Quellen und den Hinweis, einen Arzt aufzusuchen.
Vermutlich wäre Bard in der Lage, auf solche Fragen zu antworten. Allerdings legt Google einen besonders großen Wert auf die Qualität der Antworten insbesondere in Bereichen wie Gesundheit und Finanzen und hat dies auch in den Nutzungsbedingungen seiner KI-Dienste verankert.
Lokale Suchanfragen: Antworten von Bard passen nicht zu lokalen Suchergebnissen
Fragt man Bard nach lokalen Angeboten, so erhält man Antworten, die sich von den Suchergebnissen in Google unterscheiden. Keines der Ergebnisse, die Google im Local Pack anzeigt, erscheint in der Antwort von Bard. Das hat Greg Sterling beobachtet:
Insgesamt haben sowohl Bard als auch der Bing Chat große Probleme mit Suchanfragen wie "finde Dienstleister XY im Umkreis von 10 km." So zeigt Bard zum Beispiel Ergebnisse an, die weit außerhalb dieses Radius liegen, während der Bing Chat Dienstleister aus komplett anderen Orten vorschlägt. Hier besteht also noch deutliches Verbesserungspotential.
Weitere Unterschiede zwischen Google Bard und dem Bing Chatbot
In einem direkten Vergleichstest zeigten sich interessante Unterschiede zwischen Google Bard und dem Bing Chat:
- Google Bard ist sehr schlecht im Lösen auch einfacher Rechenaufgaben. Hier punktet Bing.
- Manch einfache Frage kann derzeit weder von Google Bard noch vom Bing Chat im ersten Anlauf richtig beantwortet werden - zum Beispiel die Frage, wie viele Tage zwischen der Eröffnung des Eiffelturms und der Freiheitsstatue lagen.
- Google Bard kann bessere Witze erzählen, die auch eine Pointe haben. Die vom Bing Chat erzeugten Witze enttäuschen.
- Ein Feature, das Google Bard im Gegensatz zum Bing Chat bietet, sind verschiedene Antwort-Entwürfe (Drafts). Allerdings sind bei manchen Fragen alle der vorgeschlagenen Entwürfe enttäuschend.
- Beim Erkennen der korrekten Grammatik in verschiedenen Texten offenbart Google Bard derzeit noch erstaunliche Schwächen und entscheidet sich oftmals für die falsche Version. Hier ist der Bing Chat derzeit klar im Vorteil.
- Die Ergebnisse von Google Bard werden schneller erzeugt als die dies Bing Chatbots. Die Ursache ist vermutlich das leichtgewichtigere Sprachmodell mit weniger Parametern.
Links auf verwendete Quellen
Die ersten Ergebnisse von Google Bard ließen befürchten, dass Links auf die verwendeten Quellen nicht oder nur in wenigen Fällen angezeigt werden. Hier sind die Ergebnisse des Bing Chatbots derzeit eindeutig besser. Allerdings ist es noch zu früh, hier eine abschließende Bewertung vorzunehmen. Klar ist, dass Antworten von Chatbots einen Einfluss auf die Klickrate in der Suche haben werden und dass diese vermutlich geringer ausfallen wird, als bei klassichen Suchergebnissen.
Fazit
Derzeit scheint der Bing Chatbot gegenüber Google Bard noch im Vorteil zu sein. Das liegt sicherlich am umfangreicheren Sprachmodell GPT-4, das gegenüber dem von Google Bard genutzten leichtgewichtigeren LaMDA deutlich mehr Parameter nutzt. Dafür ist Google Bard schneller.
Wir befinden uns noch am Anfang der Evolution der Chatbots in der Suche. Google schreibt in seinem Blogpost, man werde LLMs vorsichtig immer weiter in die Suche integrieren:
We’ll also be thoughtfully integrating LLMs into Search in a deeper way — more to come.
Es wird sich also sicherlich in nächster Zeit noch einiges ändern. Zumindest zum aktuellen Stand zeigt sich aber auch, dass es zumindest mittelfristig weiterhin viele Suchanfragen geben wird, auf die klassische Suchergebnisse bessere Antworten liefern als ein Chatbot.
SEO-Newsletter bestellen
