Tech News

Technik & Digital

Warum die KI-Verarbeitung auf SBCs enorm ist


Die zentralen Thesen

  • TOPS sind für KI-PCs von entscheidender Bedeutung, aber SBCs mit 4 TOPS überzeugen immer noch.
  • Datenschutz ist ein großer Vorteil der Ausführung von KI-Prozessen auf lokaler Hardware.
  • Die Open-Source-SBC-Community bietet unterhaltsame DIY-KI-Projekte mit vollständigen Anleitungen.


Wenn wir in ein Zeitalter der künstlichen Intelligenz eintreten, werden wir Computer sehen, die über eine Leistungsmessung namens „TOPS“ verfügen. Dies steht für „Trillion Operations Per Second“ und ist ein Maß dafür, wie gut ein PC mit auf künstlicher Intelligenz basierenden Aufgaben umgehen kann. In Zukunft wird dies wahrscheinlich häufiger vorkommen, da wir uns davon entfernen, Anfragen an ein KI-Modell zu senden, das auf einem externen Server ausgeführt wird, und diese Modelle mehr auf unserer eigenen Hardware ausführen.

Der Begriff „TOPS“ taucht immer wieder auf, wenn es um KI-PCs geht, bei denen es sich um Computer handelt, die über eine NPU verfügen, die KI-basierte Prozesse verarbeiten kann. Aber während wir uns mit dem TOPS-Krieg zwischen den großen NPU-Chipherstellern beschäftigten, veröffentlichte BeagleBoard einen Einplatinencomputer (SBC), der 4 TOPS ausgeben konnte. Obwohl 4 TOPS keine große Zahl sind (Intels Meteor Lake kann beispielsweise 34 TOPS ausgeben), ist dies dennoch ein spannendes Unterfangen, da SPCs mit einem KI-Prozessor für die Hobby-Community riesig sind.



Die Übertragung von KI-Prozessen auf lokale Hardware trägt zum Datenschutz bei

Kein Beamen Ihrer Daten mehr auf einen externen Server

Warum die KI-Verarbeitung auf SBCs enorm ist

Quelle: Unsplash

Warum machen wir uns also die Mühe, KI-Prozesse auf lokale Hardware zu übertragen? Es gibt einige Vorteile, aber einer der größten besteht darin, dass die Ausführung der KI auf Ihrer eigenen Hardware viel besser für Ihre Privatsphäre ist, als sie an einen Server zu senden. Datenschutzbewusste Benutzer könnten bei dem Gedanken zusammenzucken, alle ihre Daten zur Verarbeitung an einen externen Server senden zu lassen, und das gilt umso mehr, wenn ihre Antworten zum Trainieren und Verbessern eines KI-Modells verwendet werden, um besser auf andere reagieren zu können. Mit einer KI zu sprechen fühlt sich immer undurchsichtig an; Wohin gehen die Daten, die Sie senden, und wofür werden sie verwendet?

Der einfachste Weg, dieses Problem zu lösen, besteht darin, die Hardware zu besitzen, die die gesamte Verarbeitung übernimmt. Jetzt wissen Sie genau, wofür es verwendet wird; Schließlich richten Sie die Hardware ein. Und Sie müssen den Dienst nicht mit anderen teilen, sodass es zu keinen Verlangsamungen oder Ausfällen kommt.


Verwandt

Plagiiert ChatGPT?

Wenn Sie sich fragen, ob ChatGPT plagiiert, ist die Antwort etwas differenzierter als ein einfaches Ja oder Nein.

Sie können eine KI-Shell erstellen, die unabhängig von Ihrem PC ausgeführt wird

Sie müssen Ihren PC nicht ständig laufen lassen

Ein Raspberry Pi 5 mit angeschlossenem tragbarem Display

Okay, die Ausführung eines LLM auf einem SBC trägt also zum Datenschutz bei. Das Gleiche gilt jedoch auch für die Ausführung von LLMs auf jeder lokalen Hardware. Unabhängig davon, ob es sich auf einem Raspberry Pi oder Ihrem Haupt-PC befindet, respektiert es dennoch Ihre Privatsphäre und gibt Ihnen die Kontrolle darüber, wie die Daten verwendet werden.

Der Schlüssel zu LLMs auf einem SBC liegt jedoch darin, dass Sie den SBC zum „Zuhause“ Ihres LLM in Ihrem Netzwerk machen können. Wenn Sie einen Chatbot auf Ihrem PC ausführen, bearbeitet dieser Bot Ihre Anfragen nur, solange Ihr Computer eingeschaltet ist. Das mag für einige in Ordnung sein, aber für diejenigen, die ihren PC über Nacht ausschalten, ist es nicht ideal.


Bei einem SBC müssen Sie ihn nicht ausschalten. SBCs benötigen zum Betrieb nicht viel Strom, sodass Sie sie problemlos rund um die Uhr auf Ihrem Schreibtisch laufen lassen können. Verbinden Sie es mit Ihrem Netzwerk und Sie können ihm Anfragen stellen, unabhängig davon, welches Gerät Sie verwenden. Sie können es sogar auf Anfragen von außerhalb des Netzwerks reagieren lassen, sodass Sie ihm auch unterwegs Fragen stellen können.

Verwandt

So erstellen Sie einen Minecraft-Server auf Raspberry Pi

Riesige Minecraft-Welten in einem winzigen Raspberry Pi

Befolgen Sie die Anweisungen, um Ihre ganz eigene KI zu erstellen

Das Beste an AIs auf SBCs ist, wie Open-Source die Community ist. Wenn Sie ein cooles Raspberry-Pi-Projekt sehen, ist die Wahrscheinlichkeit groß, dass der Designer nicht nur eine vollständige Anleitung dazu geschrieben hat, wie man es erstellt, sondern Ihnen auch den gesamten Code gibt, wenn Sie nett fragen (und falls er ihn nicht bereits irgendwo hochgeladen hat). für jedermann nutzbar). Auf diese Weise können Menschen eine KI entwickeln, ein Projekt erstellen und dann sowohl die Baumaterialien als auch das KI-Modell anderen Menschen zum Herunterladen und Ausprobieren anbieten.


Wenn also KIs auf SBCs durchstarten, könnten Sie sich im Wesentlichen nach einem LLM umsehen, der die von Ihnen gewünschte Aufgabe erfüllt. Sobald Sie eines gefunden haben, können Sie es auf Ihren SBC stecken und es nach Ihren Wünschen zum Laufen bringen. In gewisser Weise wären es „selbstgebaute KIs“, die darauf ausgelegt sind, bestimmte Ziele zu erreichen, die die Menschen für sich selbst nutzen können.

Verwandt

So streamen Sie Spiele mit einem Raspberry Pi und Steam Link auf Ihren Fernseher

Die Verwendung eines Raspberry Pi ist eine großartige Alternative, wenn Ihr Fernseher Steam Link nicht nativ unterstützt.

KI auf SBCs: Sie wird nicht leistungsstark sein, aber sie wird Spaß machen

Es besteht kaum eine Chance, dass SBCs die KI-Hardware der Wahl werden. Im Moment ist die reine Rechenleistung das A und O, und das können Computer am besten. Aber für den Bastler, der an seiner eigenen KI basteln und ein lustiges kleines Projekt machen möchte, wird die Einbeziehung in SBCs riesig sein.



Source link