Tech News

Technik & Digital

Die KI-Suchergebnisse von Google sind unglaublich schlecht und es könnte ein Chaos sein, sie zu beheben


Die zentralen Thesen

  • Die Funktion „AI Overview“ von Google wird möglicherweise bald eingestellt, weil sie so witzige, aber ungenaue Vorschläge macht, wie etwa Kleber auf Pizzakäse.
  • Die KI-Übersichten von Google basieren wahrscheinlich auf Reddit-Daten und können zu fragwürdigen Ergebnissen führen, etwa zur Verwendung von Klebstoff bei der Lebensmittelzubereitung.
  • Die Unberechenbarkeit von KI stellt für Google eine Herausforderung dar. Die potenziell gefährlichen Ergebnisse machen eine Neubewertung der Funktion erforderlich.


Sofern Sie nicht in letzter Zeit vollkommen abgeschieden gelebt haben, haben Sie wahrscheinlich schon mitbekommen, dass Googles neue Funktion „KI-Übersicht“ behauptet, Sie sollten Nutella statt Wärmeleitpaste zum Kühlen Ihres PCs verwenden, Leim zum Andicken Ihres Pizzakäses verwenden oder Senfgas herstellen, um Ihre Waschmaschine zu reinigen. Das Ganze ist ein Chaos von urkomischen Ausmaßen, und das Verrückteste daran ist, dass man kaum sagen kann, was Google dagegen tun kann.

Googles „AI Overview“-Funktion ist in der EU nicht verfügbar, aber so wie die Dinge laufen, könnte ich mir vorstellen, dass Google die Funktion in naher Zukunft aus dem Programm nimmt, um sie weiter zu optimieren. Eine ähnliche Situation gab es in der Vergangenheit mit Googles Gemini-Bildgenerator, wo das Unternehmen ihn schließlich zurückzog und neu optimierte, bevor es ihn erneut veröffentlichte. Google sagt: „Generative KI ist experimentell“, und diese Warnung ist äußerst treffend.



Googles KI-Übersichten scheinen teilweise von Reddit unterstützt zu werden

Google soll bereits im Februar einen Deal mit dem Social-Media-Riesen abgeschlossen haben

Die KI-Suchergebnisse von Google sind unglaublich schlecht und es könnte ein Chaos sein, sie zu beheben
Quelle: Google

Laut einem Bericht vom Februar von Reutersschloss Google einen Vertrag mit Reddit ab, um die Inhalte der Website in seinen KI-Trainingssets zu verwenden. Obwohl weder Google noch Reddit einen Kommentar abgeben wollten, scheint eines der witzigen Ergebnisse zu belegen, dass Reddit teilweise schuld ist. Ein Nutzer auf X (ehemals Twitter) teilte einen Screenshot von Google, der ihnen sagt, sie sollten Pizzakäse eindicken … mit Klebstoff. Später fand jemand einen Reddit-Kommentar, der ähnlich genug war, um die Augenbrauen hochgehen zu lassen, obwohl dieser Kommentar, der ursprünglich vor 11 Jahren gepostet wurde, inzwischen entfernt wurde.


Natürlich gibt es seit langem Behauptungen, dass Unternehmen in Werbebildern nicht essbare Substanzen (wie Klebstoff) verwenden, um Lebensmittel in der Werbung ansprechend aussehen zu lassen. Es ist durchaus möglich, dass Google einige dieser Kommentare aufgegriffen hat und die KI es geschafft hat, bei ihrem Training zwei völlig unterschiedliche Konzepte zu verknüpfen. Da Gemini selbst jedoch keine derartigen Ergebnisse liefert, passiert mit den Ergebnissen von Google definitiv etwas Seltsames, was bei seinen anderen Modellen nicht der Fall ist.

Was wir über die Daten annehmen können, die der KI zugrunde liegen Übersichten

Das ist alles nur eine Vermutung

Frage an Chat mit RTX zu einem YouTube-Video, in dem das OnePlus 12 und das Google Pixel 8 Pro verglichen werden

Erstens werden wir eine Reihe von Annahmen darüber treffen, wie Google seine Funktion „KI-Übersichten“ betreibt. Dies ist reine Spekulation und basiert auf den Informationen, die uns bekannt sind, und den Informationen, über die andere Medien berichtet haben. Wir gehen davon aus, dass Google zur Generierung dieser Ergebnisse auf einem Korpus von Reddit-Daten und seinen eigenen Daten basiert.


Ich vermute, dass Google entweder eine Version seines Gemini LLM verwendet, die mit einer höheren Gewichtung von Reddit-Daten trainiert wurde, oder dass es Retrieval Augmented Generation (RAG) verwendet, um Daten direkt aus diesem Korpus von Reddit-Daten abzurufen. Googles Gemma-Modell unterstützt RAG, daher wissen wir, dass das Unternehmen im Hintergrund daran arbeitet. Wie wir erklären werden, ist es am wahrscheinlichsten, dass Google, wenn es Reddit-Daten verwendet, RAG verwendet, um diese Daten in Antworten abzurufen.

Als grundlegende Erklärung für RAG: Es verbessert die Vorhersagegenauigkeit, indem es während der Inferenz einen externen Datensatz verwendet und die Antworten mit relevanten Informationen aus den Dokumenten verknüpft, die sich in seinem Datensatz befinden. Wenn Sie dies auf einen Dump von Reddit-Daten und das eigene Wissen des Modells skalieren, erhalten Sie genau die Ergebnisse, die wir gesehen haben. Wie oft haben Sie etwas gegoogelt und dann „Reddit“ ans Ende gehängt, um bessere Ergebnisse zu erhalten? Ziemlich oft, denke ich, und ich bin auch schuldig, und genau das hätte Google zu erschließen gehofft.


Chat with RTX ist ein Tool, das Nvidia letztes Jahr auf den Markt gebracht hat und das RAG verwendet. Sie können also ein Gefühl dafür bekommen, wie es funktioniert, wenn Sie eine Nvidia-Grafikkarte haben und es ausprobieren möchten. Was auch immer Google tut, es funktioniert offensichtlich nicht, aber es ist schwer zu sagen, was genau würde funktioniert auch nicht. Angenommen, dies ist das Setup, das Google verwendet, dann ist dies ein unglaublich schwieriges Problem, das ohne größere menschliche Eingriffe nicht zu lösen ist.

Verwandt

Nvidias Chat mit RTX verbindet ein LLM mit YouTube-Videos und Dokumenten lokal auf Ihrem PC

Nvidia macht es mit Chat mit RTX noch einfacher, ein lokales LLM auszuführen, und es ist außerdem ziemlich leistungsstark.

KI ist von Natur aus unvorhersehbar, und das ist das Problem

Es ist Segen und Fluch zugleich

Google Bard misst eine Person in Burrito-Größe und gibt als Antwort an, dass eine 1,80 m große Person nur 0,85 Burritos groß ist

KI ist autonom in dem Sinne, dass sie ausgeführt und vergessen werden kann, und abgesehen von den Trainingsdaten und dem Reinforcement Learning from Human Feedback (RLHF) ist sie nach der Bereitstellung ziemlich unkompliziert. Unternehmen wie OpenAI hatten im Laufe der Zeit mit „Jailbreaks“ und dergleichen zu kämpfen, aber es ist nicht wirklich etwas Schädliches dabei herausgekommen. Zum Kontext zeigen die Ergebnisse der KI-Übersicht von Google dies, ob Sie es wollen oder nicht, und zwar auf einer der am häufigsten besuchten Webseiten der Welt. Einer Webseite, die auch von älteren und schutzbedürftigen Menschen genutzt wird. Im Gegensatz dazu war der Schaden, den ChatGPT oder andere LLMs anrichten konnten, auf diejenigen beschränkt, die sie suchten.


Diese Unberechenbarkeit führt zu einem Maulwurfspiel, aber Google kann nicht jedes schlechte Suchergebnis erklären, das seine KI-Übersicht liefert. LLMs halluzinieren, und LLMs, die RAG basierend auf Reddit-Antworten verwenden, werden von Reddit angetriebene Halluzinationen sein. Klingt das nicht schrecklich? Ich finde, es klingt schrecklich.

Selbst wenn Google die Themen, zu denen seine KI-Übersichten zugelassen sind, pauschal einschränkt, gibt es immer Schlupflöcher. Aus meinen eigenen Tests gehe ich davon aus, dass die Nutzung für alles, was mit Politik zu tun hat, gesperrt ist, aber man kann sie wahrscheinlich dazu bringen, eine Frage zu den bevorstehenden Wahlen zu beantworten, wenn man das wirklich möchte. Google könnte Führen Sie ein Sentimentanalyse-Tool durch die Reddit-Daten, um vermeintliche „Scherz“-Antworten zu entfernen, aber der sarkastische und trockene Charakter einiger Kommentare auf Reddit könnte bedeuten, dass einige durchrutschen. Tatsächlich wäre ich überrascht, wenn Google nicht bereits versucht hätte, Sentimentanalyse zu verwenden, um einige Kommentare dieser Art zu entfernen.


Das oben Gesagte gilt sogar, wenn es sich um ein bestimmtes LLM handelt, das Google mit Reddit-Daten trainiert hat, anstatt RAG zu verwenden, da immer noch das Problem besteht, herauszufinden, welche Daten aus dem Trainingssatz entfernt werden müssen. Deshalb vermute ich, dass es auch eine RAG-Komponente gibt, da Google damit problematische Antworten schnell und einfach aus der Datenbank entfernen könnte, wenn sie auftreten, anstatt ein ganzes Modell ändern zu müssen.

Was Google als nächstes tun kann

Ich vermute, Google wird sich vorerst von AI Overviews zurückziehen

Generative KI-Ergebnisse der Google-Suche

Im Moment sehe ich nicht, wie Google mit der Aktivierung von AI Overviews in der Suche weitermachen kann. Einige der Ergebnisse, die die Benutzer gesehen haben, waren geradezu gefährlich, während andere einfach nur … falsch waren. Und zwar massiv. Es bietet den Benutzern zu diesem Zeitpunkt keinen Mehrwert, aber es ist klar, dass Google möchte, dass es funktioniert. irgendwannWie das genau passieren wird, kann niemand sagen, aber es gibt noch eine Menge zu tun.


Vorerst müssen Sie sich mit den Ergebnissen von Googles AI Overview zufrieden geben. Geben Sie keinen Kleber auf Ihre Pizza, kühlen Sie Ihren PC nicht mit Nutella und definitiv Tun nicht Stellen Sie Senfgas her, um Ihre Waschmaschine zu reinigen.



Source link