AMD EPYC 9005 Turin Release  Bild © AMDAMD EPYC 9005 Turin Release (Bild © AMD)

Erfasse zunächst die sichtbare Topologie und beobachte einen unveränderten Auftrag. Danach lassen sich begrenzte Platzierungsversuche mit dieser Ausgangsmessung vergleichen.

Wer mit der Suchanfrage „amd server kaufen“ nach einer Plattform sucht, sollte deshalb neben Kernzahl und RAM auch CPU-Generation, Sockelbestückung und unterstützte NUMA-Einstellungen prüfen. Die Bezeichnung EPYC allein beschreibt weder die Zahl der Speicherdomänen noch die geeignete Einstellung für die eigene Anwendung.

Was ein NUMA-Knoten bedeutet

NUMA steht für Non-Uniform Memory Access. Das Betriebssystem unterscheidet dabei Speicherbereiche mit unterschiedlicher Nähe zu den ausführenden Prozessoren. Auf einem Mehrsockelsystem kann Speicher an einem anderen Prozessor hängen. Je nach Plattform und Firmware können aber auch innerhalb eines Sockels mehrere NUMA-Domänen sichtbar sein.

Der Begriff ist deshalb nicht mit „ein Prozessor gleich ein Knoten“ gleichzusetzen. Ebenso wenig sind Kern, Hardware-Thread und NUMA-Knoten austauschbar. Ein Kern kann mehrere logische Prozessoren bereitstellen, während ein Knoten viele Kerne und einen zugeordneten Speicherbereich umfasst. Wer diese Ebenen verwechselt, bindet einen Versuch leicht an die falschen Ressourcen.

Entscheidend ist, wo Threads laufen und häufig benötigte Speicherseiten liegen. Rechenlastige Anwendungen können anders reagieren als speicherintensive Auswertungen. Eine allgemein schnellste Zahl von NUMA-Knoten gibt es deshalb nicht.

AMD EPYC 9005 Turin Demo beim EventAMD EPYC 9005 Turin Demo beim Event (Bild © AMD)

NPS-Einstellungen sind generations- und modellspezifisch

AMD beschreibt im HPC-Tuning-Guide für EPYC 7002 die Einstellungen NUMA per Socket, kurz NPS. NPS1 stellt einen Knoten je Sockel bereit, NPS2 zwei und NPS4 vier. Der Guide weist zugleich darauf hin, dass nicht alle Prozessorvarianten sämtliche Einstellungen unterstützen. Diese Beschreibung darf deshalb nicht ungeprüft auf jede EPYC-Generation übertragen werden.

Bei zwei bestückten Sockeln und NPS2 wären in einer entsprechend konfigurierten Plattform vier NUMA-Knoten zu erwarten. Zusätzliche Firmwareoptionen können die Darstellung verändern. Maßgeblich sind deshalb das Handbuch des konkreten Servers und die vom laufenden Betriebssystem tatsächlich gemeldeten Werte. Ein Eintrag im Verkaufsangebot ersetzt diese Kontrolle nicht.

Vor BIOS-Änderungen werden Firmwarestand und bisherige Einstellungen dokumentiert. Ein Neustart kann die sichtbare Topologie und damit auch bisher passende Bindungen verändern. Wenn mehrere Dienste auf demselben Host laufen, betrifft eine solche Umstellung nicht nur den gerade untersuchten Benchmark. Ein freies Testsystem ist dafür geeigneter als ein bereits gemeinsam genutzter Produktivhost.

Die Topologie unter Linux erfassen

lscpu

zeigt eine Zusammenfassung der CPU-Topologie. Für die Zuordnung einzelner logischer CPUs eignet sich beispielsweise

lscpu -e=CPU,NODE,SOCKET,CORE

. So lässt sich erkennen, welche CPUs zu welchem Knoten, Sockel und Kern gehören. Die ausgegebenen CPU-Nummern sind Kennungen, keine Leistungsreihenfolge.

Mit

numactl --hardware

werden die verfügbaren Knoten, ihre CPUs und Speicherangaben angezeigt. Die zugehörige Dokumentation beschreibt außerdem die Distanzmatrix. Deren Werte sind relative Topologieinformationen und keine direkt gemessenen Nanosekunden. Ein höherer Eintrag darf deshalb nicht ohne Messung als exakter Faktor für die Laufzeit eines Programms interpretiert werden.

Halte die Ausgabe zusammen mit RAM-Bestückung und Firmwareeinstellungen fest. Auf einem virtualisierten System muss zusätzlich unterschieden werden, ob die Messung im Gast oder auf dem Host stattfindet. Eine VM kann eine andere Topologie sehen als die physische Maschine. Ein Gastbericht allein erklärt daher noch nicht die reale Speicherplatzierung des Hypervisors.

Speicherbelegung beobachten, bevor du sie erzwingst

Die Linux-Kerneldokumentation beschreibt als reguläre Standardstrategie eine bevorzugt lokale Speicherzuteilung mit möglichen Ausweichknoten. Genauere Richtlinien, cpusets und die Anwendung selbst können das Verhalten beeinflussen. Es genügt deshalb nicht, nur die CPU-Auslastung zu betrachten. Auch die Verteilung des Prozessspeichers auf die Knoten gehört zum Versuch.

numastat -p 1234

zeigt die Speicherzuordnung für den Prozess mit der Beispiel-PID 1234. Die echte PID muss passend eingesetzt werden. Die Anzeige ist eine Momentaufnahme der Belegung, kein direkter Zähler aller lokalen und entfernten Lesezugriffe. Ein großer Speicheranteil auf einem anderen Knoten ist deshalb ein Hinweis für weitere Tests, nicht automatisch der Beweis eines Leistungsfehlers.

Wichtig ist der Zeitpunkt. Erfasse die Werte nach dem Start, nach dem Einlesen der Arbeitsdaten und während einer stabilen Berechnungsphase. Wenn alle Seiten bereits angelegt wurden, verschiebt ein späteres Umsetzen der Threads sie nicht zwangsläufig passend mit. Für Platzierungsversuche sollte der Auftrag daher kontrolliert neu gestartet werden.

Ein begrenzter Vergleich mit einem unveränderten Auftrag

Der Ausgangslauf verwendet die vorhandenen Betriebssystemvorgaben. Anschließend kann ein isolierter Versuch CPU- und Speicherzuordnung auf denselben geeigneten Knoten beschränken. numactl unterscheidet dafür unter anderem

--cpunodebind

und

--membind

. Die konkrete Knotennummer wird aus der vorher erfassten Topologie gewählt, nicht aus einem fremden Beispiel kopiert. Bei einer strikten Speicherbindung darf die Anwendung nur auf den ausgewählten Knoten Speicher anfordern. Laut numactl-Handbuch kann eine Anforderung scheitern, wenn dort nicht genügend Speicher verfügbar ist. Freier RAM auf einem anderen Knoten hilft dann nicht automatisch. Solche Bindungen sind deshalb kein harmloser Standardschalter für jede Anwendung.

Ein hypothetischer Fall: Ein Auftrag benötigt zwölf physische Kerne und erreicht 48 GiB belegten Arbeitsspeicher. Ein Knoten mit 16 geeigneten Kernen und nur 40 GiB verfügbarem RAM reicht dafür trotz ausreichender Kernzahl nicht aus. Bei 60 GiB verfügbarem RAM könnte ein begrenzter Versuch sinnvoll sein, solange Reserven und weitere Verbraucher berücksichtigt werden. Die Rechnung beschreibt Kapazität, keinen garantierten Geschwindigkeitsgewinn.

Ein zweiter Versuch kann eine zur Anwendung passende Verteilung über mehrere Knoten prüfen. Interleaving verteilt Speicherzuteilungen, macht aber nicht alle Zugriffe lokal. Es ist daher ebenfalls eine zu messende Alternative und kein universelles Gegenmittel. Eine Einstellung wird nur übernommen, wenn sie beim eigenen Auftrag verlässlich hilft.

Welche Zahlen ins Testprotokoll gehören

  • Auftrag: identische Eingabedaten, Programmversion und Thread-Zahl.
  • Topologie: CPU-Modell, Sockel, NPS-Einstellung und sichtbare NUMA-Knoten.
  • Platzierung: vorhandene Vorgaben sowie ausdrücklich gesetzte CPU- und Speicherrichtlinien.
  • Ergebnis: abgeschlossene Arbeit pro Zeit oder Gesamtdauer, nicht nur die CPU-Auslastung.
  • Speicher: Spitze und Verteilung während einer vergleichbaren Arbeitsphase.

Jede Variante wird mehrfach ausgeführt. Einmalige Unterschiede durch Startvorgänge oder bereits eingelesene Daten rechtfertigen noch keine dauerhafte Umstellung. Entscheidend ist außerdem, dass das fachliche Ergebnis unverändert bleibt. Eine verkürzte Laufzeit mit ausgelassenen Daten ist keine Optimierung desselben Auftrags.

Für mehrere gleichzeitige Dienste zählt schließlich der Gesamtnutzen des Hosts. Eine starre Bindung kann einen einzelnen Test beschleunigen und zugleich Ressourcen für andere Aufgaben unnötig blockieren. Eine flexible Standardkonfiguration kann im gemischten Homelab daher sinnvoller sein als das Maximum eines isolierten Benchmarks.

Ein EPYC-System lässt sich erst dann vernünftig bewerten, wenn Kernzahl, Speichergröße und Topologie zusammen betrachtet werden. Die beste erste Änderung ist deshalb häufig noch keine BIOS-Option. Es ist ein sauber dokumentierter Ausgangslauf, an dem sich jeder spätere Eingriff messen lässt.