Tech News

Technik & Digital

Metas LlaMa 3 wird dieses Jahr erwartet und das sind 5 Dinge, die wir gerne sehen würden


Die zentralen Thesen

  • Llama 3 wird möglicherweise bald mit Verbesserungen wie einem größeren Kontextfenster auf den Markt kommen, um mit Top-KI-Konkurrenten wie Gemini mithalten zu können.

  • Wenn man das MoE-System von Mixtral in Betracht zieht, könnte Llama 3 einen ähnlichen Ansatz verfolgen, um die Recheneffizienz zu optimieren.

  • Mehrsprachige Unterstützung und Multimodalität sind erwartete Upgrades für Llama 3, um eine breitere Benutzerbasis effektiver bedienen zu können.

XDA-VIDEO DES TAGES

Scrollen Sie, um mit dem Inhalt fortzufahren

Das LLM-Rennen im Bereich der künstlichen Intelligenz hat seit seinem Start mit ChatGPT langsam Fahrt aufgenommen. Wir haben gesehen, wie aus Googles Bard Gemini wurde, aus Microsofts Bing Chat Copilot und wir haben gesehen, wie Meta sein Open-Source-Llama-2-Modell veröffentlicht hat, das jeder auf seinem eigenen Computer ausführen kann. Da die Konkurrenz nun voranschreitet, wird Meta voraussichtlich noch in diesem Jahr Llama 3 herausbringen – Berichten zufolge möglicherweise bereits im Juli.

Daher würden wir uns bei der Veröffentlichung von Llama 3 eine Reihe von Verbesserungen wünschen, damit es mit der Konkurrenz mithalten kann. Dies sind einige unserer am meisten gewünschten Funktionen und Verbesserungen.

1 Größeres Kontextfenster

Ein Teil dessen, was Zwillinge so mächtig macht

Metas LlaMa 3 wird dieses Jahr erwartet und das sind 5 Dinge, die wir gerne sehen würden

Quelle: Google

Ein Kontextfenster gibt im Wesentlichen an, wie viel ein LLM zu einem bestimmten Zeitpunkt „sehen“ kann, und ein Teil dessen, was Gemini so leistungsstark macht, ist seine Fähigkeit, ein Kontextfenster von bis zu 10 Millionen Token zu haben. Auch wenn der dafür erforderliche Speicherbedarf absurd ist, wäre ein größeres Kontextfenster dennoch erstaunlich. Laut der Modellkarte von LlaMa 2 verfügt es derzeit über ein Kontextfenster von nur 4K-Tokens, selbst bei seinem 70B-Parametermodell. Das ist nicht viel Kontext und bringt LlaMa 2 im Vergleich zu dem, was derzeit auf dem Markt ist, massiv ins Hintertreffen.

Wie bereits erwähnt, gibt es hier Speicherbeschränkungen, aber es gibt Fortschritte in diesem Bereich, die es Meta zumindest ermöglichen könnten Zunahme das Kontextfenster, auch wenn es nicht annähernd die 32-KB-Grenze von GPT-4 erreicht.

Verwandt

Googles Gemini 1.5 Ultra muss mit GPT-5 und nicht mit GPT-4 konkurrieren

Googles Gemini 1.5 Pro-Modell hat uns begeistert, und das Ultra-Modell könnte noch besser sein.

2 Mischung aus Experten

Wie Mixtral es schafft, mit GPT-3.5 zu konkurrieren

Mischung-von-Experten-Diagramm-Google

Quelle: Google

Meta könnte von Mixtral 8x7B lernen, einem Modell von Mistral AI, das es schafft, mit GPT-3.5 zu konkurrieren und lokal auf den Computern von Menschen ausgeführt werden kann. Das vollständige Mixtral 8x7B-Modell erfordert zum Betrieb unglaublich leistungsstarke Hardware, aber das gilt auch für LlaMa 2 70B.

Mixtral verwendet eine MoE-Architektur, um eingehende Token zu verarbeiten und sie je nach Relevanz an spezielle neuronale Netze innerhalb des Systems weiterzuleiten. Das Modell Mixtral 8x7B verfügt über acht solcher Experten. Insbesondere ist es möglich, diese Experten hierarchisch zu strukturieren, wobei ein Experte selbst ein weiteres MoE sein kann. Nach Erhalt einer Aufforderung nutzt Mixtral 8x7B ein Routing-Netzwerk, um den am besten geeigneten Experten für jeden Token zu ermitteln. Bei diesem Setup wird jeder Token von zwei Experten bewertet und die endgültige Antwort ist eine Mischung ihrer Ergebnisse.

Der MoE-Ansatz bietet mehrere Vorteile, insbesondere im Hinblick auf die Recheneffizienz während der anfänglichen Trainingsphase, obwohl er während der Feinabstimmungsphase anfällig für Überanpassungen sein kann. Eine Überanpassung tritt auf, wenn ein Modell zu sehr mit seinen Trainingsdaten vertraut wird, was zu einer Tendenz führt, diese in seinen Antworten genau zu reproduzieren. Ein weiterer Vorteil von MoEs ist ihr Potenzial für schnellere Inferenzzeiten, da sie für jede Abfrage nur eine Teilmenge von Experten aktivieren. Die Unterbringung eines Modells wie Mixtral mit seinen 47 Milliarden Parametern erfordert jedoch erheblichen RAM. Die Gesamtparameteranzahl des Modells beträgt 47 Milliarden statt 56 Milliarden, da viele Parameter von allen Experten gemeinsam genutzt werden und nicht einfach die sieben Milliarden Parameter jedes Experten mit acht multipliziert werden.

Mit diesem Ansatz könnte LlaMa 3 sogar ein MoE in kleineren Modellen nutzen, was die Inferenzzeit verkürzt und den erforderlichen RAM verringert. Sie benötigen immer noch einen leistungsstarken PC, aber nichts Unerreichbares.

Verwandt

Beste GPUs im Jahr 2024: Unsere Top-Grafikkartenauswahl

Angesichts der Vielzahl an Optionen auf dem Markt kann es schwierig sein, die richtige Grafikkarte auszuwählen. Hier sind die besten Grafikkarten, die Sie in Betracht ziehen sollten.

3 Mehrsprachige Unterstützung

Jede andere Sprache als Englisch ist derzeit „außerhalb des Geltungsbereichs“

Die beabsichtigte Verwendung von Meta für LlaMa 2 erfolgt nur auf Englisch

Quelle: Meta

Laut Modellkarte von LlaMa 2 ist jede Verwendung außerhalb der englischen Sprache nicht zulässig. Während die meisten LLMs auf der Grundlage von Daten ausgebildet werden, die überwiegend auf Englisch vorliegen, möchten sich internationale Benutzer dennoch auch mit einem LLM in ihrer eigenen Sprache unterhalten. ChatGPT, Google Gemini und sogar Mixtral unterstützen mehrere Sprachen, aber Meta berücksichtigt dies bei LlaMa 2 überhaupt nicht.

Sprache

Prozent

Sprache

Prozent

Englisch

89,70 %

ukrainisch

0,07 %

Unbekannt

8,38 %

Koreanisch

0,06 %

Deutsch

0,17 %

katalanisch

0,04 %

Französisch

0,16 %

serbisch

0,04 %

Schwedisch

0,15 %

Indonesisch

0,03 %

Vereinfachtes Chinesisch

0,13 %

Tschechisch

0,03 %

Spanisch

0,13 %

finnisch

0,03 %

Russisch

0,13 %

ungarisch

0,03 %

Niederländisch

0,12 %

norwegisch

0,03 %

Italienisch

0,11 %

rumänisch

0,03 %

japanisch

0,10 %

bulgarisch

0,02 %

Polieren

0,09 %

dänisch

0,02 %

Portugiesisch

0,09 %

Slowenisch

0,01 %

Vietnamesisch

0,08 %

kroatisch

0,01 %

Daher würden wir uns wünschen, dass sich dies mit Llama 3 ändert. Die obige Tabelle stammt aus der Forschungsarbeit zu LlaMa 2, in der „Unbekannt“ teilweise aus Programmierdaten besteht. Mit anderen Worten: Andere Sprachen verblassen in diesem Datensatz im Vergleich zum Englischen. Die Einbeziehung anderer Sprachen würde die Zahl der Menschen erhöhen, die LlaMa verwenden können, da es derzeit keinen Sinn macht, es für diejenigen zu verwenden, die kein Englisch sprechen.

4 Mutli-Modalität

Unterstützen Sie andere Medien als nur Text

Metas AnyMAL-Modell, unterstützt von LlaMa 2, identifiziert Objekte und reagiert auf multimodale Eingaben

Quelle: Meta

Meta hat bereits Sprachmodelle getestet, die mehrere Modalitäten unterstützen, und das Meta-Forschungsteam veröffentlichte im September letzten Jahres einen Artikel über „AnyMAL“. AnyMAL wird als „ein einheitliches Modell beschrieben, das über verschiedene Eingabemodalitätssignale (z. B. Text, Bild, Video, Audio, IMU-Bewegungssensor) argumentiert und Textantworten generiert“ und LlaMa 2 erbt. Da Meta bereits daran gearbeitet hat, ist es so Es ist wahrscheinlich, dass die hier erzielten Fortschritte in LlaMa 3 zu finden sein werden.

Warum es wichtig ist, bedeutet, dass Sie LlaMa 3 Daten in Form eines Bildes übergeben und es Ihnen mit dem Bild als Kontext antworten kann. Dazu gehört das Finden von Dingen in Bildern, das Finden von Problemen mit einem Foto oder das Verstehen von Video- und Audiodaten. Viele Plattformen beginnen, dies zu unterstützen, wenn sie dies nicht bereits tun, und das ist etwas, was Metas LlaMa 2 derzeit fehlt.

5 Eine eher mittelschwere Parameteroption

Warum nicht 30B?

Vergleiche von Llama 2 mit anderen Modellen

Quelle: Meta

LlaMa 2 ist derzeit in den Parameteroptionen 7B, 13B und 70B verfügbar. Offensichtlich gibt es dort einen gewaltigen Sprung bei den Parametern, und es wäre großartig, wenn Meta sich an den Wettbewerbern orientieren und ein Modell herausbringen würde, das etwa bei den 30B-Parametern liegt. Es ist immer noch ein riesiges Modell, aber es bedeutet, dass Enthusiasten mit bescheidenen Systemen immer noch am Spaß mit größeren Modellen teilhaben können, die lokal laufen.

In diesem Sinne könnte ein kleineres 1B- oder 2B-Modell, das mit Gemini Nano konkurriert, auch Spaß machen. So etwas würde im Grunde auf allem laufen, und es bedeutet, dass noch mehr Leute zum ersten Mal versuchen können, ein LLM zu betreiben. Da ein Teil von Metas Mission mit LlaMa darin besteht, KI-Modelle zu demokratisieren, gibt es keinen besseren Weg, dies zu erreichen, als sicherzustellen, dass so viele Menschen wie möglich sie ausprobieren können.

LlaMa 3 steht wahrscheinlich vor der Tür

Wir gehen davon aus, dass LlaMa 3 irgendwann im Sommer erscheinen wird, möglicherweise im Juli Die Information. Angesichts der Tatsache, dass LlaMas Ziel darin bestand, ein Open-Source-Modell zu sein, gehen wir davon aus, dass dies auch für Llama 3 der Fall sein wird. Wir sind gespannt auf den Start, denn Wettbewerb in diesem Bereich ist immer eine gute Sache. Hoffen wir, dass Meta es erheblich verbessert! Vorerst können Sie die anderen LlaMa 2-Modelle mit LM Studio ausprobieren.

Verwandt

Führen Sie dank LM Studio problemlos lokale LLMs auf Mac und Windows aus

Wenn Sie LLMs auf Ihrem PC oder Laptop ausführen möchten, ist dies dank des kostenlosen und leistungsstarken LM Studio so einfach wie noch nie. Hier erfahren Sie, wie Sie es verwenden



Source link