Lagerware verlässt unser Lager in Deutschland innerhalb von 24 Stunden
GPU-Server und KI-Server sind darauf ausgelegt, mehrere Grafikbeschleuniger zuverlässig mit Strom, Kühlung und PCIe-Bandbreite zu versorgen. Typische Anwendungen sind Inferenz großer Sprachmodelle mit vLLM, Ollama oder llama.cpp, Training und Fine-Tuning, Rendering, virtuelle Desktops und Videotranskodierung. Wir bieten gebrauchte Systeme wie Dell PowerEdge R740 und R750xa, HPE ProLiant DL380 Gen10 sowie GPU-Server von Supermicro und Gigabyte mit zwei bis acht Steckplätzen für Doppel-Slot-Karten, auf Wunsch mit NVIDIA-GPUs bestückt. Entscheidend sind die Luftführung für passiv gekühlte Karten, die richtigen GPU-Stromkabel (meist 8-Pin-CPU bzw. EPS), ausreichend dimensionierte Netzteile und die PCIe-Generation: Gen3 bei Xeon Scalable der 1. und 2. Generation, Gen4 bei AMD EPYC 7002/7003 und Xeon der 3. Generation. Jedes System wird mit den bestellten GPUs geprüft und getestet.
Keine Produkte gefunden
Passen Sie die Filter an oder fragen Sie uns direkt – vieles beschaffen wir innerhalb weniger Tage.
Ein GPU-Server versorgt mehrere Beschleuniger mit Strom, Luft und PCIe-Lanes – genau das, was einem gewöhnlichen Server fehlt. Im Katalog finden Sie drei Klassen: einen 2U-Server mit zwei eingebauten Tesla V100 und zwei Systeme für bis zu acht Doppel-Slot-GPUs. Welche Plattform als KI-Server passt, hängt von Modellgröße, Kartenzahl und Aufstellort ab.
| Modell | Bauform | CPU-Plattform | GPU-Plätze | Netzteile |
|---|---|---|---|---|
| Dell R740 mit 2× V100 | 2U | 2× Xeon Gold, PCIe 3.0 | bis 3 Doppel-Slot, 2× V100 eingebaut | 2× 1600 bis 2400 W |
| Supermicro SYS-4029GP-TRT | 4U | 2× Xeon Scalable, PCIe 3.0, Dual-Root | 8 Doppel-Slot, Basis ohne GPUs | 4× 2000 W Titanium |
| Gigabyte G292-Z20 | 2U | 1× AMD EPYC 7002, PCIe 4.0 | 8 Doppel-Slot, Basis ohne GPUs | 2× 2200 W Platinum |
Der Dell R740 ist der Einstieg: ein normaler 2U-Server mit GPU-Kit, der im Rack wie jeder andere Host läuft und nebenbei VMs oder Datenbanken trägt. Mit zusammen 32 GB HBM2 reicht er für quantisierte Sprachmodelle bis etwa 30 Milliarden Parameter oder für LoRA-Fine-Tuning kleiner Modelle.
Beide Systeme nehmen acht doppelt breite Karten auf, unterscheiden sich aber in der Anbindung. Der SYS-4029GP-TRT verteilt die Steckplätze je zur Hälfte auf die beiden Xeon-CPUs. Das passt gut, wenn jede GPU eigene Jobs rechnet oder mehrere Modelle parallel laufen. Verteilen Sie ein einzelnes Modell per Tensor-Parallelität über alle acht Karten, läuft ein Teil des Verkehrs über die Verbindung zwischen den CPUs. Dafür bietet das 4U-Gehäuse 24 Laufwerksschächte, 24 DIMM-Slots und reichlich Luft.
Der G292-Z20 bringt acht Karten in nur 2U unter, alle an einer einzigen EPYC-CPU. PCIe 4.0 liefert pro x16-Steckplatz die doppelte Bandbreite von PCIe 3.0 – wichtig für A100, A40 oder L4 und für Training mit viel Datenaustausch. Der Preis der Dichte: sehr hohe Lüfterdrehzahlen und rund zwei Kilowatt Abwärme auf zwei Höheneinheiten.
Für die Kartenwahl zählt zuerst der Grafikspeicher, danach die Speicherbandbreite, denn sie bestimmt, wie schnell ein Sprachmodell Token erzeugt. Einen Vergleich von P40 bis A100 mit Rechenbeispielen enthält der Ratgeber KI-Server für lokale LLMs, alle Karten einzeln finden Sie unter Server-GPUs.
Pascal (P40) und Volta (V100) laufen mit aktuellen CUDA-12-Versionen, neuere CUDA-Hauptversionen setzen jedoch jüngere GPU-Generationen voraus. Für Projekte mit mehreren Jahren Laufzeit sind Ampere- und Ada-Karten die sicherere Wahl.
Ein GPU-Server gibt praktisch seine gesamte Leistungsaufnahme als Wärme ab: Acht Karten mit 250 bis 300 W ergeben allein 2 bis 2,4 kW. Das gehört in einen klimatisierten Serverraum, nicht ins Büro, denn unter Last laufen die Lüfter mit sehr hoher Drehzahl.
Ausgemusterte GPU-Server und Karten kaufen wir über den Ankauf an; ein Angebot erhalten Sie innerhalb von 48 Stunden.
Nein. Passiv gekühlte Karten wie Tesla P40, A100 oder A40 benötigen gerichteten Luftstrom durch den Kühlkörper, Hochleistungslüfter und häufig ein GPU-Enablement-Kit des Serverherstellers mit Luftleitblech und Stromkabel. In unseren GPU-Servern sind Kühlung, Kabel und Netzteile auf die bestellten Karten abgestimmt.
Als Faustregel braucht ein Modell in 4-Bit-Quantisierung etwa 0,6 bis 0,7 GB pro Milliarde Parameter plus Reserve für den Kontext. Ein 70B-Modell passt damit auf 48 GB, also eine A40 oder RTX A6000 oder zwei Karten mit je 24 GB. Training und Fine-Tuning benötigen deutlich mehr Speicher.
Rechnen Sie pro Doppel-Slot-GPU mit 250 bis 300 W zusätzlich zur Grundlast des Servers. Für zwei bis vier Karten sind in der Regel redundante Netzteile mit 1600 W oder mehr erforderlich; wir wählen sie passend zur Konfiguration.
Ratgeber · 8 Min. Lesezeit
Wie viel Grafikspeicher ein Sprachmodell braucht, welche Rechenzentrums-GPU zu welchem Budget passt und worauf es bei Kühlung, Strom und Software ankommt.
