Tech News

Technik & Digital

Nvidias Chat mit RTX verbindet einen LLM mit YouTube-Videos und -Dokumenten lokal auf Ihrem PC


Die zentralen Thesen

  • Nvidias Chat mit RTX ermöglicht Benutzern die Kommunikation mit Dokumenten und YouTube-Videos mithilfe von KI-Technologie, unterstützt durch Retrieval-Augmented Generation (RAG).
  • Zu den Mindestanforderungen für die Nutzung von Chat mit RTX gehören eine GPU der RTX 30- oder RTX 40-Serie, mindestens 8 GB vRAM, Windows 10 oder Windows 11, die neuesten Nvidia-Treiber und bis zu 100 GB Speicher.
  • Mit Chat with RTX können Benutzer Datensätze erstellen, Fragen zu Dokumenten stellen und genaue Transkripte von YouTube-Videos erhalten. Dies bietet eine schnellere und datenschutzbewusstere Alternative zum Ansehen ganzer Videos.


Da KI in den letzten Monaten in aller Munde war, gab es einige Schwierigkeiten, tatsächlich sinnvolle Einsatzmöglichkeiten für sie zu finden. Obwohl es sich um eine leistungsstarke Technologie handelt, haben die meisten Menschen keinen Grund dazu brauchen es zu verwenden, obwohl es einige Schlüsselaspekte gibt, die in bestimmten Branchen gut funktionieren. Die Chat-mit-RTX-Funktion von Nvidia zielt darauf ab, der KI einen Zweck zu geben und kann in diesem Fall für die Online-Konversation mit Dokumenten und YouTube-Videos verwendet werden.


Nvidia nutzt eine Technologie namens Retrieval-Augmented Generation (RAG), um einen Großteil von Chat mit RTX zu betreiben. Es verbessert die Vorhersagegenauigkeit, indem es während der Inferenz einen externen Datensatz verwendet und die Antworten mit relevanten Informationen aus den Dokumenten verknüpft, die in seinem Datensatz enthalten sind. Dadurch wird auch die Anforderung umgangen, dass LLMs „Wissensbeschränkungen“ haben müssen, wie es bei ChatGPT der Fall war.


Nach unserem kurzen Test der Funktion auf der diesjährigen CES haben wir am vergangenen Wochenende Zugriff auf Chat with RTX erhalten und damit herumgespielt. Allerdings sind für die Nutzung einige hohe Anforderungen zu erfüllen, daher ist es nichts für schwache Nerven.


Chat mit RTX: Was Sie brauchen

Dies sind die Mindestanforderungen für den Chat mit RTX

Nvidias Chat mit RTX verbindet einen LLM mit YouTube-Videos und -Dokumenten lokal auf Ihrem PC

Bild: Nvidia


Um Chat mit RTX nutzen zu können, müssen Sie die folgenden Anforderungen erfüllen:


  • Eine GPU der RTX 30- oder RTX 40-Serie
  • Mindestens 8 GB vRAM
  • Windows 10 oder Windows 11
  • Die neuesten Nvidia-Treiber
  • Bis zu 100 GB Speicherplatz


Zu den Vorteilen der Verwendung von Chat mit RTX gehört die Möglichkeit, Daten lokal zu verarbeiten, wodurch die Notwendigkeit entfällt, potenziell persönliche Informationen an einen Cloud-Server zu senden. Voraussetzung dafür ist jedoch eine ausreichend leistungsfähige Hardware.

Verwandt

Beste GPUs im Jahr 2024: Unsere Top-Grafikkartenauswahl

Angesichts der Vielzahl an Optionen auf dem Markt kann es schwierig sein, die richtige Grafikkarte auszuwählen. Hier sind die besten Grafikkarten, die Sie in Betracht ziehen sollten.

Chat mit RTX einrichten

Dauert eine Weile, ist aber ziemlich einfach

Die Chat with RTX-Homepage auf einem Windows-PC


Im Gegensatz zu anderen Tools, die sich an Enthusiasten richten, die bereit sind, sich knietief in Terminalbefehle zu vertiefen, um mit KI herumzuspielen, ist sich Nvidia bewusst, dass die Leute vielleicht einfach nur ein Programm wollen, das das tut funktioniert. Chat with RTX wird als einzelne 37-GB-ZIP-Datei verteilt, und diese ZIP-Datei zeigt nach dem Extrahieren eine setup.exe-Datei an. Wenn Sie das ausführen, werden Sie durch alle Schritte zur Installation von Chat with RTX geführt und am Ende wird es für Sie in einem Webbrowser gestartet. Es könnte wirklich nicht einfacher sein.


Nach dem Start werden Sie zu einer Webseite mit einem Eingabeaufforderungsfenster, vier vorab ausgefüllten Eingabeaufforderungen und einer Option zur Auswahl eines KI-Modells weitergeleitet. Während Sie das Anpassen der Einstellungen überspringen und bei den Standardoptionen bleiben können, beschränken Sie sich dadurch in erster Linie auf die Abfrage von Informationen, die von Nvidia bereitgestellt werden … zum größten Teil. Dank der standardmäßigen Verwendung des 7B-KI-Modells von Mistral, das Sie nicht auf den bereitgestellten Datensatz beschränkt, haben Sie tatsächlich die Freiheit, sich zu jedem Thema zu erkundigen. Dennoch ist die Nutzung aller Funktionen von Chat with RTX im Wesentlichen sein Hauptzweck.


Sie können das KI-Modell auch in Metas Llama 2-Modell ändern, wenn Sie möchten, obwohl es mehr Ressourcen erfordert, da es ein 13B-Modell ist. Mistral 7B übertrifft auch das 13B Llama 2-Modell von Meta in nahezu jeder erdenklichen Hinsicht, es gibt also keinen Grund, Mistral wegen besserer Antwortqualität und geringerem Ressourcenverbrauch nicht zu verwenden. Aber jetzt können Sie ruhig damit herumspielen!

Verwenden von Chat mit RTX

Erstellen eines Datensatzes

Fragen Sie Chat with RTX, was an Half-Life 2 RTX wichtig ist


Der beste Weg, Chat mit RTX zu nutzen, besteht darin, einen Datensatz zu erstellen, darauf zu verweisen und dann Fragen zu stellen. Sie können dies tun, indem Sie an einer beliebigen Stelle auf Ihrem PC einen Ordner erstellen und ihn mit Text- oder PDF-Dokumenten füllen. Diese PDF-Dokumente können von überall abgerufen werden, und Chat with RTX enthält auch einige Textdateien, zu denen Sie auch Fragen stellen können. Sobald Sie es auf einen Ordner richten, müssen Sie ein paar Minuten warten, während Datenpunkte aus den Dateien im Ordner generiert werden.


Diese Funktion funktioniert recht gut und ähnelt ChatPDF, einem Dienst, bei dem Sie eine PDF-Datei hochladen und Fragen zum Dokument stellen können. Dies läuft jedoch vollständig lokal auf Ihrem PC und erfordert keine externe Verbindung. Es ist nicht nur aus Datenschutzgründen besser, sondern auch schneller und kostenlos, wenn Sie eine Nvidia 30 oder 40 RTX-Karte besitzen. Es generiert extrem schnell Text und liefert die Antwort im obigen Screenshot in Sekundenschnelle.

Verwendung eines YouTube-Videos

Ich frage Chat with RTX nach einem YouTube-Video, in dem das OnePlus 12 und das Google Pixel 8 Pro verglichen werden


Was Chat with RTX vor allem anderen übertrifft, was ich wirklich gesehen habe, ist die Art und Weise, wie es mit YouTube-Videos umgehen kann. Es verfügt über eine integrierte Unterstützung für das Herunterladen von Transkripten von YouTube-Videos und kann dann Fragen dazu beantworten, worum es in dem Video geht. Das Video muss zwar über genaue Transkriptionen verfügen, es ist jedoch eine großartige Möglichkeit, den allgemeinen Kern eines Videos zu verstehen, ohne sich das gesamte Video ansehen zu müssen.


Ich habe es in einem der YouTube-Videos von XDA verwendet und festgestellt, dass es auch ziemlich schnell ist. Es geht auf jeden Fall wesentlich schneller, als sich hinzusetzen und das Ganze anzuschauen, und Sie können mehr Fragen zum Video stellen als nur zum Schluss. Bei allen wichtigen Fragen sollten Sie jedoch überprüfen, ob die Antwort richtig ist. Die XML-Datei mit dem Text aus dem Transkript wird im Ordner „youtube_dataset“ unter „trt-llm-rag-windows-main“ abgelegt, sodass Sie diese Datei überprüfen können, anstatt das gesamte Video zur Überprüfung durchzugehen, wenn Sie möchten.

Chat mit RTX wird heruntergeladen

Es ist jetzt verfügbar

Nvidia hat Chat with RTX für jedermann zum Download bereitgestellt, und Sie haben auch Zugriff auf denselben Datensatz, den wir hier erhalten haben. Entwickler können RAG auf Wunsch in ihre eigenen Anwendungen integrieren. Wenn Sie jedoch einfach nur damit herumspielen möchten, können Sie es auf der Website von Nvidia herunterladen und ausprobieren. Es wird wahrscheinlich mit der Zeit besser werden und da es auf einem Open-Source-Projekt basiert, kann es von Entwicklern und der Community geändert werden, um auch Unterstützung für mehr KI-Modelle und andere Funktionen hinzuzufügen.


Probieren Sie Chat with RTX auf jeden Fall aus, wenn Sie sich für KI und LLMs interessieren. Wenn Sie danach Lust auf mehr haben, probieren Sie unbedingt LM Studio aus, eine der besten KI-Anwendungen auf dem Markt.

Chatten Sie mit dem RTX-Nvidia-Logo

Chatten Sie mit RTX

Mit Chat with RTX können Sie Datensätze erstellen oder YouTube-Videos aus einer lokal ausgeführten Anwendung auf jeder Karte der Nvidia RTX 30- oder 40-Serie abfragen. Sie müssen noch einige weitere Anforderungen erfüllen, aber es handelt sich um eine leistungsstarke Anwendung, die jeder kostenlos nutzen kann.



Source link