von Wer große KI-Sprachmodelle bisher selbst betreiben wollte, brauchte Spezial-Hardware für 20.000 Euro und mehr. Eine neue Technik namens AirLLM stellt diese Regel infrage: Sie lässt ein 70-Milliarden-Parameter-Modell auf einer Grafikkarte mit nur 4 GB Speicher laufen. Für den Mittelstand verschiebt sich damit eine zentrale Kostenfrage – aber nicht so, wie es das Marketing verspricht.
Warum große Sprachmodelle bisher teuer waren
Große Sprachmodelle wie Llama 3 mit 70 Milliarden Parametern (70B) brauchen normalerweise viel Grafikspeicher (VRAM). Als Faustregel gilt: Ein 70B-Modell belegt im Vollformat rund 140 GB, in komprimierter Form (Quantisierung) immer noch 40 bis 80 GB.
Solche Werte erreichen nur Profi-Karten wie die Nvidia A100 oder H100. Der Anschaffungspreis pro Stück liegt bei 15.000 bis 30.000 Euro – eine Hürde, an der die meisten Mittelständler den Gedanken an eigene KI-Hardware bisher verworfen haben.
Wie AirLLM die 4-GB-Grafikkarte möglich macht
Die in der Veröffentlichung [„Run 70B LLM Inference on a Single 4GB GPU with This NEW Technique“](https://huggingface.co/blog/lyogavin/airllm) beschriebene Methode senkt den Speicherbedarf radikal. Der zentrale Trick heißt Layer-by-Layer-Inference.
Schicht für Schicht statt alles auf einmal
Ein Sprachmodell besteht aus vielen gestapelten Schichten (Layern). Statt alle Schichten gleichzeitig in den Speicher zu laden, lädt AirLLM immer nur die eine Schicht, die gerade rechnet – und gibt den Speicher danach sofort wieder frei. So wandert die Berechnung Schicht für Schicht durch das Modell. Zu keinem Zeitpunkt müssen mehr als wenige Gigabyte im VRAM liegen.
Zwei Techniken kommen dazu
- Quantisierung: Die Zahlenwerte im Modell werden verkleinert, etwa von 16 auf 4 Bit. Das reduziert den Platzbedarf zusätzlich.
- Geschicktes Auslagern: Daten werden clever zwischen Grafikspeicher, Arbeitsspeicher und Festplatte verschoben.
Das Ergebnis: Eine 4-GB-Consumer-Grafikkarte, wie sie in vielen Büro-PCs steckt, kann ein Modell ausführen, das vorher Rechenzentrums-Hardware verlangte. Die Technik ist real, Open Source und frei verfügbar.
Der Haken: Geschwindigkeit
So beeindruckend die Technik ist – hier trennt sich Marketing von Praxis. Weil jede Schicht einzeln von Festplatte oder Arbeitsspeicher nachgeladen wird, ist die Antwortzeit drastisch langsamer als bei klassischer Hardware.
Statt mehrerer Antwort-Wörter (Token) pro Sekunde reden wir je nach System über mehrere Sekunden pro Token. Eine längere Antwort kann so Minuten statt Sekunden dauern.
Wofür sich die Methode eignet – und wofür nicht
- Geeignet: Stapelverarbeitung (Batch), die über Nacht oder im Hintergrund läuft. Etwa 500 Kundenanfragen klassifizieren, Dokumente zusammenfassen oder Verträge auf Klauseln prüfen.
- Nicht geeignet: Interaktive Echtzeit-Anwendungen wie ein Live-Chatbot auf der Website, bei dem der Kunde sofort eine Antwort erwartet.
Early Adopters sind aktuell vor allem Entwickler und KI-affine Firmen, die experimentieren wollen, ohne sofort vier- bis fünfstellige Hardware-Budgets freizugeben.
Was das für den Mittelstand bedeutet
Für ein Unternehmen mit 10 bis 500 Mitarbeitern liegt die eigentliche Bedeutung nicht in der Technik selbst, sondern in der veränderten Kostenrechnung. Drei Punkte sind entscheidend.
1. Die Einstiegshürde sinkt – beim Testen, nicht im Produktivbetrieb
Wer prüfen will, ob ein leistungsstarkes 70B-Modell die eigenen Aufgaben überhaupt sinnvoll löst, kann das jetzt mit vorhandener Hardware tun. Ein Proof of Concept kostet damit nahezu null Euro Hardware-Investment statt einer Vorab-Anschaffung von 15.000 Euro plus. Das senkt das Risiko einer Fehlinvestition erheblich.
2. Datenschutz wird bezahlbar
Der große Vorteil lokaler Modelle: Sensible Daten – Verträge, Personalakten, Kundendaten – verlassen nie das Haus. Bei Cloud-Diensten wie ChatGPT oder Claude wandern die Eingaben auf fremde Server, was in DSGVO-sensiblen Branchen wie Recht, Gesundheit oder Finanzen ein echtes Hindernis ist. Die neue Technik macht datenschutzkonforme KI-Verarbeitung auch ohne teures Rechenzentrum technisch möglich.
3. Die Rechnung muss man trotzdem nüchtern aufmachen
Genau hier liegt das Risiko. Die langsame Geschwindigkeit bedeutet: Was lokal über Nacht läuft, erledigt ein Cloud-Modell in Sekunden – für wenige Cent pro Anfrage.
Ein Rechenbeispiel: Wer monatlich 10.000 kurze Textaufgaben verarbeitet, zahlt bei einem Cloud-Anbieter oft unter 50 Euro im Monat. Eigene Hardware lohnt sich erst bei sehr hohem, dauerhaftem Volumen – oder wenn Datenschutz die Cloud schlicht ausschließt.
Die Technik ist also kein Spar-Wundermittel, sondern ein Möglichmacher für genau zwei Fälle: günstiges Experimentieren und datenschutzkritische Verarbeitung ohne Echtzeit-Anspruch.
Wann sollten Mittelständler handeln?
Die klare Empfehlung lautet: Jetzt beobachten und gezielt testen – aber nicht überstürzt auf Eigenbetrieb umstellen.
Für die meisten Mittelständler bleibt der schnellste Weg zu produktiver KI weiterhin die Cloud – etwa ChatGPT Team, Microsoft Copilot oder Claude for Work. Diese Dienste sind sofort einsatzbereit, schnell und ohne eigene Hardware-Investition nutzbar.
Lokale Modelle auf günstiger Hardware sind dann interessant, wenn einer der beiden Sonderfälle eintritt:
- Sie wollen ein leistungsstarkes Modell risikofrei ausprobieren, bevor Sie über Budgets entscheiden.
- Ihre Daten dürfen aus rechtlichen Gründen das Haus nicht verlassen und Echtzeit ist keine Anforderung.
Wer wissen will, wie sich Cloud- und lokale KI grundsätzlich unterscheiden, findet in unserem Beitrag [Cloud-KI oder lokale KI – was passt zum Mittelstand?](/ki-strategie/cloud-ki-oder-lokale-ki/) eine ausführliche Einordnung. Und wer zunächst einen sicheren Cloud-Einstieg sucht, dem hilft unser Leitfaden [DSGVO-konforme KI-Tools für Unternehmen](/ki-praxis/dsgvo-konforme-ki-tools/) bei der Auswahl.
Das Fazit: AirLLM senkt die Einstiegshürde für eigene KI spürbar – aber die kluge Entscheidung bleibt eine nüchterne Rechnung zwischen Geschwindigkeit, Kosten und Datenschutz.
Quelle: [Run 70B LLM Inference on a Single 4GB GPU with This NEW Technique](https://huggingface.co/blog/lyogavin/airllm)
