SPARKLE Arc Pro B60  Bild © SPARKLESPARKLE Arc Pro B60 (Bild © SPARKLE)

LLM-Scaler-vLLM ist Intels optimiertes Paket, das für die Ausführung und das Benchmarking von Large Language Model (LLM)-Inferenzen auf seiner Multi-GPU-Arc Pro-Plattform entwickelt wurde. Der Software-Stack wird als erweiterte, verbesserte vLLM-Version mit spezifischen Leistungsoptimierungen beschrieben, die auf Intels Hardware zugeschnitten sind. Er wird über einen Offline-Installer für die Basisumgebung und ein Docker-Image für Inferenz- und Testzwecke bereitgestellt.

Zwei wichtige Zeilen im Änderungsprotokoll fallen in Bezug auf Arc Pro B70 besonders auf:

  • 1.G31-Validierung hinzugefügt: Diese Version enthält eine Validierung für G31, wodurch dieses Update direkt mit der GPU-Referenz im selben offiziellen Dokument verknüpft wird.
  • 2.Wichtige Modellleistung auf einem „Nicht-Golden-Setup-B70-System”: Die Leistungsmessungen wurden auf einem Nicht-Golden-Setup-B70-System durchgeführt und mit G21 verglichen, wodurch die Bezeichnung B70 eindeutig mit der G31-GPU-Referenz verknüpft wird.

Trotz dieser Entwicklungen hat Intel noch keine offiziellen Produktseiten, Preisdetails oder regionale Verfügbarkeitsinformationen für Arc Pro B70 oder Arc Pro B65 veröffentlicht.