GPUUnlock für GeForce RTX 20 (Turing), RTX 30 (Ampere) und RTX 40 (Ada Lovelace): Nvidia-Tensor-Core-Beschränkungen aufheben

Derzeit haben drei separate Entwicklerprojekte diese Einschränkungen auf ausgewählten GeForce RTX 20 (Turing), RTX 30 (Ampere) und RTX 40 (Ada Lovelace)-Hardware erfolgreich umgangen. Diese Maßnahmen laufen in Linux-Umgebungen und stützen sich auf frühere Forschungen zur Firmware der Mining-Karten der Nvidia CMP-Serie.

Technischer Hintergrund der Tensor-Einschränkung

Die Einschränkung gilt nicht für alle Tensor-Operationen. Stattdessen zielt sie auf bestimmte Kombinationen aus Zahlenformaten und Akkumulationsmethoden ab. Besonders deutlich wird dies bei BF16, einem Format, das in modernen KI-Modellen weit verbreitet ist. Auf betroffenen GeForce-Karten werden BF16-Berechnungen mit FP32-Akkumulation zwangsweise über einen eingeschränkten Rechenpfad geleitet.

Die Umgehungsprojekte modifizieren die GPU-Konfiguration, damit die Tensor-Kerne bei diesen spezifischen Operationen mit einem höheren Durchsatz arbeiten können. Dabei werden weder neue Recheneinheiten hinzugefügt noch der Grafikspeicher erweitert. Die Implementierung für Ampere und Ada Lovelace nutzt ein Linux-Kernelmodul, das während der initramfs-Phase geladen wird. Dadurch kann das Modul ausgeführt werden, bevor der Standard-Nvidia-Treiber die Kontrolle über die GPU übernimmt. Das System startet eine signierte Nvidia-Firmware mit einer Nutzlast, die die Register der Streaming-Multiprozessoren auf eine höhere Rechenrate einstellt und die PCIe-Funktion zurücksetzt. Der ursprüngliche Nvidia-Treiber initialisiert die GPU anschließend wie gewohnt. Diese Methode erfordert kein modifiziertes VBIOS und keine gepatchten Treiber, allerdings sind die Änderungen flüchtig und müssen nach jedem Neustart erneut angewendet werden.

Ampere-Architektur und das gpu-unlock-Projekt

Die ausgereifteste Lösung bietet das von Zagitta entwickelte Projekt „gpu-unlock 1.0.0“. Dieses Kernel-Modul unterstützt Prozessoren von GA102 bis GA106 und deckt damit einen Großteil der RTX-30-Serie ab.

Die Leistungssteigerungen in synthetischen Tests sind beträchtlich. Auf einer GeForce RTX 3090 Ti mit einer Leistungsbegrenzung von 450 Watt stieg der BF16-Durchsatz von 87,5 auf 157,4 TFLOPS. Die TF32-Leistung verzeichnete einen noch größeren Sprung und stieg von 42,6 auf 82,6 TFLOPS.

Die Installation erfolgt automatisch über den Befehl „make install“, der ein Paket für die erkannte Linux-Distribution erstellt. Die Aktivierung erfolgt dann über den Kernel-Parameter „gpu_unlock.targets=all“. Nutzerberichte deuten darauf hin, dass das System auch dann stabil bleibt, wenn die GPU gleichzeitig einen Bildschirm ansteuert.

Ada Lovelace und das Projekt „gpu-unlock-ada“

Für die RTX-40-Serie zielt das Projekt „gpu-unlock-ada 1.1.1“ auf den AD102-Prozessor ab. Auf einer GeForce RTX 4090 hat sich der Durchsatz für FP16- und BF16-Berechnungen mit FP32-Akkumulation fast verdoppelt von 165,6 auf 331,6 TFLOPS. Es wurde auch experimentelle Unterstützung für die RTX 4070 Ti Super mit dem AD103-Prozessor dokumentiert. Während die FP16-, BF16- und TF32-Raten deutlich stiegen, zeigte der FP8-Durchsatz nur eine vernachlässigbare Verbesserung von lediglich 0,3 Prozent.

Turing-Architektur und experimenteller Stand

Die Entwicklung für die RTX-20-Serie ist noch nicht so weit fortgeschritten. Das „Turing-Unlock“-Projekt hat mithilfe einer Asus GeForce RTX 2080 Ti einen erfolgreichen Proof-of-Concept demonstriert. Im Gegensatz zu den Ampere- und Ada-Lösungen kommt hier ein EFI-Loader zum Einsatz, der vor dem Start des Betriebssystems ausgeführt wird. In theoretischen Tests stieg die FP16-Matrixberechnungsleistung auf der RTX 2080 Ti von 46,9 auf 93,7 TFLOPS. Ein cuBLAS-Matrixmultiplikationstest zeigte eine Leistungssteigerung von 77 Prozent. Derzeit gibt es keinen Installer für dieses Projekt, und es beschränkt sich weiterhin auf eine einzige dokumentierte Hardwarekonfiguration.

Auswirkungen auf lokale KI-Workloads und die Bildgenerierung

Ein höherer Tensor-Durchsatz führt nicht bei allen Aufgaben linear zu einer schnelleren KI-Leistung. Der Nutzen hängt davon ab, ob die jeweilige Arbeitslast durch Matrixoperationen oder durch die Speicherbandbreite begrenzt wird. Bei großen Sprachmodellen profitiert vor allem die „Prefill“-Phase – in der das Modell die anfängliche Eingabeaufforderung verarbeitet – am meisten. Nutzer haben in dieser Phase Geschwindigkeitssteigerungen zwischen 14 und 36 Prozent gemeldet. Die eigentliche Generierung von Text-Tokens zeigt jedoch kaum bis gar keine Verbesserung. Das liegt daran, dass die Token-Ausgabe in erster Linie durch die Speicherbandbreite des GDDR6X-VRAM begrenzt wird, an der diese Firmware-Optimierungen nichts ändern.

Bei der Bildgenerierung lassen sich deutlichere Gewinne erzielen. Bei Verwendung von ComfyUI mit BF16-Modellen auf einer RTX 3090 Ti stieg der Durchsatz um 47 bis 59 Prozent. Dies ist auf die sich wiederholenden, rechenintensiven Matrixberechnungen zurückzuführen, die während des Bildsynthesevorgangs erforderlich sind.

Getestete Grafikkarten:

Dies sind einige der Grafikkarten, die unlockbar sind:

• GeForce RTX 4090: 10de:2684AD102 +99–100%
• GeForce RTX 4070 Ti SUPER: 10de:2705AD103 +99%
• GeForce RTX 2080 Ti: 10de:1e07TU102 +36–64%
• GeForce RTX 3090 Ti: 10de:2203GA102
• GeForce RTX 3090: 10de:2204GA102
• GeForce RTX 3080 10 GB: 10de:2206GA102
• GeForce RTX 3080 20 GB (memory upgrade): 10de:2206GA102
• GeForce RTX 3070: 10de:2484GA104