Inferenz ist die Nutzung eines fertig trainierten KI-Modells: Jede Chat-Antwort, jede Bildanalyse, jede Vervollständigung ist ein Inferenzvorgang. Während das Training eines Modells einmalig gewaltige Rechenleistung verschlingt, fällt Inferenz laufend an — sie bestimmt im Dauerbetrieb Kosten, Latenz und Energiebedarf von KI-Anwendungen.
GPUs sind dafür die Arbeitspferde: Ihre tausenden parallelen Recheneinheiten passen zur Mathematik neuronaler Netze. Die strategische Frage für Unternehmen lautet: Inferenz als API einkaufen, in der Cloud mieten oder auf eigener Infrastruktur betreiben — mit direkten Folgen für Datenschutz, Kosten und Netzwerkdesign.
Warum GPUs — und was bei Inferenz zählt
Neuronale Netze bestehen aus Matrixoperationen, die sich massiv parallelisieren lassen — genau die Stärke von GPUs gegenüber CPUs. Beim Betrieb großer Sprachmodelle wird der Grafikspeicher (VRAM) zum limitierenden Faktor: Das Modell muss hineinpassen. Quantisierung — das Rechnen mit reduzierter Genauigkeit — verkleinert Modelle deutlich und macht viele Open-Weight-Modelle auf einzelnen Karten oder Workstations lauffähig.
Gemessen wird Inferenz an Latenz bis zum ersten Token, Durchsatz (Token pro Sekunde) und Kosten pro Anfrage. Optimierungen wie Batching, Caching und spezialisierte Inferenz-Server holen aus derselben Hardware ein Vielfaches heraus — und entscheiden, ob sich Eigenbetrieb gegenüber API-Preisen rechnet.
Die drei Betriebsmodelle
- API-Bezug: Spitzenmodelle ohne eigene Infrastruktur — schnellster Start, Daten fließen zum Anbieter, Kosten skalieren mit der Nutzung.
- GPU-Cloud: gemietete Beschleuniger (Hyperscaler oder EU-Anbieter) für eigene Modelle — Kontrolle über Modell und Daten ohne Hardware-Invest.
- On-Premises/Colocation: eigene GPU-Systeme für maximale Datenhoheit und planbare Dauerkosten — samt Strom-, Kühl- und Betriebsverantwortung.