Tech News

Technik & Digital

Was sind AI TOPS? Erklärung eines weitgehend nichtssagenden Begriffs


Die zentralen Thesen

  • AI TOPS (Tera Operations Per Second) gibt aufgrund unterschiedlicher Genauigkeitsgrade der Operationen keinen Aufschluss über die gesamte Leistung eines Prozessors.
  • Die meisten KI-Aufgaben werden derzeit auf CPUs und nicht auf NPUs ausgeführt, weshalb es bei AI TOPS eher um Marketing als um tatsächliche Leistung geht.
  • Wenn Sie einen „KI-PC“ kaufen, sollten Sie einer leistungsstarken Grafikkarte den Vorzug vor AI TOPS geben, da GPUs nach wie vor am besten für die Ausführung von KI-Workloads geeignet sind.


In den letzten Jahren ist der Begriff „AI TOPS“ zu einem Schlagwort in der Technologiebranche geworden, insbesondere in Diskussionen rund um künstliche Intelligenz und maschinelles Lernen. Aber was bedeutet das eigentlich und warum wird es oft als weitgehend bedeutungsloser Begriff angesehen? Immer wenn Sie „TOPS“ in Bezug auf KI sehen, passiert hinter den Kulissen viel mehr, als den meisten Menschen bewusst ist.

TOPS steht für „Tera Operations Per Second“ oder „Billionen Operationen pro Sekunde“. Es ist ein Maß für die Rechenleistung und gibt an, wie viele Billionen Operationen ein Prozessor in einer einzigen Sekunde verarbeiten kann. Auf dem Papier scheint dies eine einfache Messgröße zu sein, um die Leistung verschiedener KI-Chips oder -Prozessoren zu vergleichen. Die Realität ist jedoch etwas komplexer.


Verwandt

Nach dem Gespräch mit Intel bin ich gespannt auf die Zukunft des „AI PC“

Wir haben Robert Hallock, Senior Director of Technical Marketing bei Intel, interviewt, um darüber zu sprechen, wie die Zukunft der KI für Intel aussieht.

Die Realität der TOPS-Messung

Es gibt viel mehr, als man auf den ersten Blick sieht

Funktionen und Verbesserungen des Apple M4

Quelle: Apple

Bei der Diskussion von KI-TOPS ist der Kontext entscheidend. KI-Aufgaben können hinsichtlich Komplexität und Ressourcenbedarf sehr unterschiedlich sein. Manche Aufgaben können beispielsweise stark auf Matrizenmultiplikationen angewiesen sein, während andere sich mehr auf Faltungen konzentrieren (wie im Fall von Convolutional Neural Networks oder CNNs). Die Art der ausgeführten Operationen kann die effektive Leistung eines Prozessors erheblich beeinflussen, wodurch eine einfache TOPS-Zahl etwas oberflächlich wird.

Aber auch ohne das steckt noch mehr dahinter. Ein kritischer Aspekt, der bei der Diskussion von AI TOPS besonders oft übersehen wird, ist die Präzision der durchgeführten Operationen. Präzision bezieht sich auf das Format und die Genauigkeit der verarbeiteten Daten. Bei KI und maschinellem Lernen können unterschiedliche Aufgaben unterschiedliche Präzisionsgrade erfordern, die normalerweise in Bits gemessen werden, z. B. 8-Bit-, 16-Bit- oder 32-Bit-Operationen. Als Einführung sind hier einige der gängigsten Bits für Präzisionsmessungen aufgeführt.


8-Bit-Präzision (INT8/FP8): Diese geringere Genauigkeit reicht für viele KI-Aufgaben oft aus, insbesondere für Inferenzaufgaben wie Bilderkennung oder Objekterkennung. Die Verwendung einer geringeren Genauigkeit verringert die erforderliche Rechenleistung und den Speicherbedarf und ermöglicht so schnellere Verarbeitungsgeschwindigkeiten.

16-Bit-Präzision (INT16/FP16): Dieser Grad an Präzision schafft ein Gleichgewicht zwischen Geschwindigkeit und Genauigkeit. Er wird häufig beim Training von KI-Modellen verwendet, um den Prozess zu beschleunigen, ohne die Genauigkeit wesentlich zu beeinträchtigen.

32-Bit-Präzision (INT32/FP32): Operationen mit dieser höheren Präzision sind genauer, erfordern aber auch viel mehr Rechenleistung. Dieses Präzisionsniveau ist für Aufgaben erforderlich, die höchste Genauigkeit erfordern, wie etwa wissenschaftliche Berechnungen und bestimmte Arten des Trainings neuronaler Netze.


Das Problem bei der Verwendung von TOPS als Leistungsmaß ist, dass es nicht die Genauigkeit der gezählten Operationen angibt. Ein Prozessor kann hohe TOPS erreichen, indem er eine große Anzahl von Operationen mit geringer Genauigkeit durchführt, die möglicherweise nicht direkt mit einem anderen Prozessor vergleichbar sind, der weniger Operationen mit hoher Genauigkeit durchführt. Der Großteil der Branche scheint sich mittlerweile auf INT8 zu standardisieren, aber Unternehmen wie Nvidia und Apple geben manchmal nicht an, welche Genauigkeit sie in ihren Berechnungen verwenden.

Hype versus Leistung in der Praxis

Warum eine NPU verwenden, wenn die CPU einwandfrei funktioniert?

Seitenansicht des MacBook Air M3 auf einem Tisch

Eine wenig bekannte Tatsache über KI ist, dass sie derzeit größtenteils auf CPUs und nicht auf NPUs läuft. Dies kann sich zwar in Zukunft ändern, aber Softwareentwickler wissen, dass sie sich bei der Ausführung ihrer Modelle und Algorithmen auf CPUs verlassen können. Durch die Standardisierung der CPUs müssen die unzähligen Konfigurationen der NPUs nicht mehr berücksichtigt werden, was die Entwicklung vereinfacht.


Daher geht es bei AI TOPS oft mehr um Marketing als um Substanz. In vielen Fällen nutzen die Entwickler nicht einmal die NPUs, die die Unternehmen stark bewerben. Entscheidendere Faktoren sind die Architektur des Prozessors, seine Energieeffizienz und wie gut er bestimmte Aufgaben bewältigt.

Beispielsweise nutzen die meisten KI-Anwendungen auf Macs nicht Apples Neural Engine. Tools wie LM Studio und die meisten offenen Implementierungen von Stable Diffusion laufen stattdessen auf der CPU und GPU. Dies macht die TOPS-Zahlen von Apples Neural Engine weniger relevant, da sie nicht die tatsächlichen KI-Arbeitslasten widerspiegeln, die diese Geräte bewältigen.

Anders verhält es sich bei Intel und AMD. Beide Unternehmen unterstützen die Entwicklung und Nutzung ihrer NPUs aktiv. Intel unterstützt bereits nativ über 500 Modelle auf seinen NPUs und unterstützt Entwickler bei deren Unterstützung. AMD ist ähnlich proaktiv. Apple hingegen unterstützt nur CoreML, eine API, die die Neural Engine in Apple Silicon nutzen kann, aber wesentliche Technologien für Modelle wie LLMs, wie etwa die Quantisierung, nicht vollständig unterstützt.


Darüber hinaus können Apples GPUs dank des einheitlichen Speichers mit derselben Geschwindigkeit auf denselben Speicherplatz zugreifen wie die Neural Engine, sodass Speicher- und Arbeitsspeicherengpässe unabhängig von der Ausführung von KI-Modellen bestehen bleiben. Daher ist ein Vergleich der NPU von Apple mit anderen nicht sehr aussagekräftig, auch wenn das Unternehmen weiterhin TOPS-Zahlen veröffentlicht, die mit Industriestandards vergleichbar sind.

Verwandt

iPad Pro (M4, 2024) Test: Das beste Tablet der Welt wird besser, aber um wie viel?

Das neue iPad Pro mit M4 ist das leistungsfähigste und leistungsstärkste Tablet auf dem Markt. Aber ist es wirklich so viel besser als das M2 iPad Pro?

Sollte TOPS Ihre nächste Kaufentscheidung beeinflussen?

Absolut nicht

Surface Pro 11-9

Während AI TOPS eine grobe Vorstellung von der Rechenleistung eines Prozessors im Bereich der künstlichen Intelligenz vermitteln kann, ist es bei weitem kein definitives Maß für seine tatsächliche Leistung. Es wird im Marketing oft verwendet, um ein Produkt von einem anderen zu unterscheiden, ohne es tatsächlich Bedeutung alles, bis zu dem Punkt, dass es die Gewässer rund um KI und was wichtig ist und was nicht, einfach trübt.


Wenn Sie einen „KI-PC“ jeglicher Art kaufen möchten, ist der beste KI-PC, den Sie kaufen können, einer mit einer leistungsstarken Grafikkarte, auch wenn Copilot+ seine eigenen Anforderungen hat. GPUs sind immer noch die beste Möglichkeit, so ziemlich alle KI-Workloads auszuführen, einschließlich LLMs und anderer geräteinterner Dinge. Unternehmen wie Qualcomm, Intel und AMD drängen auf CPU-interne NPUs, aber das ist nicht die beste Art, KI zu erleben.

Verwandt

Beste GPUs im Jahr 2024: Unsere Top-Grafikkarten-Empfehlungen

Angesichts der großen Auswahl auf dem Markt kann es schwierig sein, die richtige Grafikkarte auszuwählen. Hier sind die besten Grafikkarten, die Sie in Betracht ziehen sollten.



Source link