NVIDIA Rechenzentrums-GPUs

In der Praxis unterscheiden Sie die Generationen über die Compute Capability, die CUDA-Software abfragt: 6.1 bei der P40, 7.0 bei der V100, 7.5 bei der T4, 8.0 bei der A100, 8.6 bei A40 und RTX A6000, 8.9 bei der L4. Viele KI-Frameworks setzen eine Mindestversion voraus, und ältere Architekturen fallen mit neuen CUDA-Versionen nach und nach aus der Unterstützung. Prüfen Sie deshalb vor dem Kauf, was Ihre Software verlangt.

Rechenzentrums-GPU oder GeForce im Server?

CUDA läuft auf beiden. Im Server entscheiden aber vier Unterschiede:

• Passive Kühlung: Karten wie P40, V100, A100 oder A40 haben keinen Lüfter. Sie verlassen sich auf den Luftstrom von vorn nach hinten, den die Serverlüfter erzeugen. Consumer-Karten blasen ihre Abwärme mit eigenen Lüftern ins Gehäuse und sind oft höher, als ein PCIe-Steckplatz vorsieht – in einem 2U-Server mit Risern passen sie häufig nicht.
• ECC-Speicher: HBM2 auf V100 und A100 arbeitet ab Werk fehlerkorrigiert, bei GDDR-Karten wie T4, A40 oder L4 lässt sich ECC per nvidia-smi schalten. Bei tagelangen Trainingsläufen und Simulationen verhindert das stille Rechenfehler durch gekippte Bits.
• Treiber und Lizenzen: Rechenzentrumskarten nutzen den Datacenter-Treiberzweig und unterstützen je nach Modell vGPU (lizenzpflichtig) und MIG. Die Lizenzbedingungen der GeForce-Treiber schränken den Einsatz im Rechenzentrum ein; den aktuellen Stand prüfen Sie bei NVIDIA.
• Stromanschluss: Viele passive Karten werden über einen 8-poligen CPU-Stecker (EPS) versorgt, nicht über den PCIe-Stecker. Server mit GPU-Ausstattung bringen dafür passende Kabel mit.

Welche Karte für welchen Einsatz?

• LLM-Inferenz zum Einstieg: Tesla P40 mit 24 GB, aber langsam bei FP16. Den Vergleich mit V100 und L4 zieht der Ratgeber KI-Server für lokale LLMs.
• Inferenz und Video im 1U-Server: T4 oder L4, beide Low Profile und ohne Zusatzstromkabel.
• Training und HPC: V100 oder A100. Die A100 mit 80 GB fasst auch große Modelle und lässt sich per MIG in bis zu sieben Instanzen teilen.
• VDI und Rendering: A40 mit vGPU im Server, RTX A6000 in der Workstation.

Passende Server mit Platz, Strom und Luftführung für mehrere Karten finden Sie unter GPU-Server, etwa den Dell R740 mit 2× Tesla V100 oder Systeme von Supermicro für bis zu acht Karten. Ausgemusterte Karten nehmen wir im Ankauf entgegen.