von Die meisten Mittelständler diskutieren über KI-Modelle. Die eigentliche Rechnung entscheidet sich woanders: bei den Kosten pro Token in der sogenannten Inferenz — dem Moment, in dem ein Modell tatsächlich antwortet.
Wer diesen Posten ignoriert, zahlt für dieselbe Leistung schnell das Fünf- bis Zehnfache. Dieser Artikel zeigt, wo der Hebel liegt und wie Sie ihn in Ihrem Unternehmen bedienen.
Was die Daten zeigen
KI verursacht zwei Arten von Kosten: das einmalige Training eines Modells und die laufende Nutzung, die Inferenz. Für Anwenderunternehmen ist fast ausschließlich der zweite Posten relevant.
Jede Anfrage an ein Sprachmodell wird in Tokens abgerechnet — kleine Text-Einheiten, grob ein Token pro drei bis vier Zeichen. Eine typische Kundenanfrage samt Antwort bewegt sich zwischen 500 und 3.000 Tokens.
Der [NVIDIA-Analyse zur Inference-Software](https://blogs.nvidia.com/blog/category/enterprise/) zufolge liegt der Hebel für niedrige Kosten nicht allein in der Hardware, sondern im Zusammenspiel von Chip, Software-Stack und Modell-Optimierung. Der Punkt ist betriebswirtschaftlich zentral: Zwischen einer naiven und einer optimierten Inferenz-Umgebung liegen bei identischem Modell und identischer Ausgabequalität oft Faktor 5 bis 10 an Kosten.
Konkret heißt das: Ein Support-Assistent, der 50.000 Anfragen im Monat bearbeitet, kann in der einen Konfiguration 400 Euro kosten — und in der anderen 3.500 Euro. Gleiches Ergebnis für den Kunden, achtfacher Preis für das Unternehmen. Diese Spanne entsteht nicht durch bessere Antworten, sondern durch Effizienz im Hintergrund.
Warum die Kosten pro Token so weit auseinanderlaufen
Drei Faktoren treiben die Kosten pro Token auseinander.
Die Modellgröße
Große Modelle sind teurer pro Token und langsamer. Für viele Aufgaben — Klassifizierung, Zusammenfassung, Standardauskünfte — genügt ein kleineres, günstigeres Modell mit praktisch identischem Ergebnis. Wer pauschal das größte Modell einsetzt, verbrennt Budget für Präzision, die niemand braucht.
Die Auslastung
Inferenz-Hardware ist teuer im Leerlauf. Techniken wie Batching — das Bündeln vieler Anfragen — heben die Auslastung einer GPU von 15 auf über 80 Prozent. Der Software-Stack, den NVIDIA beschreibt, automatisiert genau solche Optimierungen. Für das Unternehmen bedeutet das: mehr Anfragen pro Euro Hardware.
Die Betriebsform
Cloud-APIs nach Verbrauch sind bei geringen Mengen günstig und ohne Vorlauf nutzbar. Ab einem gewissen Volumen kippt die Rechnung zugunsten eigener oder gemieteter Inferenz-Infrastruktur. Der Umschlagpunkt liegt für viele mittelständische Anwendungsfälle bei mehreren Millionen Tokens pro Tag.
Was die Ausnahmen zeigen
Die Unternehmen, die KI profitabel betreiben, behandeln Inferenz-Kosten wie jede andere Betriebskennzahl — nicht als Blackbox. Sie messen pro Anwendungsfall, was ein Vorgang tatsächlich kostet.
Ein Beispiel aus der Praxis: Ein Maschinenbauer mit 180 Mitarbeitern setzte zunächst für alle internen KI-Funktionen dasselbe große Modell ein. Nach einer Analyse teilte das Team die Aufgaben auf:
- Dokumentenklassifizierung und Datenextraktion liefen künftig über ein kleines Modell.
- Nur komplexe technische Recherchen liefen über das große Modell.
Das Ergebnis: 62 Prozent weniger Inferenz-Kosten bei gleicher Nutzerzufriedenheit. Die Umstellung dauerte drei Wochen und band einen halben Entwicklertag pro Woche.
Der Unterschied zu den anderen 80 Prozent ist keine bessere Technik. Es ist die Entscheidung, überhaupt hinzuschauen — statt die monatliche API-Rechnung als Naturgesetz zu akzeptieren.
Was das konkret für den Mittelstand bedeutet
Für ein Unternehmen mit 10 bis 500 Mitarbeitern hat das drei konkrete Konsequenzen.
Die Kosten sind planbar — wenn man sie misst
Anders als bei einer klassischen Softwarelizenz skalieren KI-Kosten mit der Nutzung. Das ist eine Chance (klein anfangen, mitwachsen) und ein Risiko (unkontrollierte Nutzung sprengt das Budget). Ein Kostendeckel und ein Monitoring pro Anwendungsfall sind Pflicht, nicht Kür.
Der Anbieter ist nicht das Ende der Optimierung
Viele CEOs glauben, der KI-Preis sei durch den gewählten Dienstleister fixiert. Tatsächlich liegt ein erheblicher Teil der Ersparnis in der eigenen Architektur: welches Modell für welche Aufgabe, wie lang die Prompts, wie viel Kontext mitgeschickt wird. Kürzere, präzisere Prompts senken die Token-Zahl direkt — oft der schnellste Hebel überhaupt.
Die Make-or-Buy-Frage stellt sich neu
Solange KI ein Experiment mit ein paar tausend Anfragen im Monat ist, ist die Cloud-API konkurrenzlos. Wird KI zum Kernprozess mit Millionen Anfragen, lohnt der Blick auf eigene Inferenz — mit entsprechendem Personal- und Wartungsaufwand. Diese Schwelle sollten CTO und Geschäftsführung bewusst festlegen, nicht dem Zufall überlassen.
Was das für Ihr Unternehmen bedeutet
Fünf Schritte, nach Wirkung und Aufwand priorisiert:
Die Kosten pro Token sind kein technisches Detail für die IT-Abteilung. Sie sind eine strategische Kennzahl, die entscheidet, ob KI in Ihrem Unternehmen ein profitables Werkzeug wird oder ein schleichender Kostentreiber. Der Unterschied liegt nicht in der Technik, sondern in der Entscheidung, hinzuschauen.
Quelle: [NVIDIA — Analyse zur Inference-Software](https://blogs.nvidia.com/blog/category/enterprise/)
