Die Rechnung, die niemand aufmacht

Zwei Leseebenen: Der laufende Text ist der rote Faden — für alle, ohne Vorwissen. Die eigens markierten Fachtiefe-Kästen sind Vertiefungen für Fachleute und lassen sich überspringen, ohne den Faden zu verlieren.

Jemand kauft eine Grafikkarte. Zweitausend, dreitausend Euro, ein Lüfter so groß wie ein Backstein. Der Gedanke dahinter ist immer derselbe und klingt vernünftig: Wenn das Ding erst mal hier steht, kostet mich jede Anfrage nichts mehr. Kein Abo, keine Token-Rechnung, kein amerikanischer Konzern, der mir am Monatsende die Hand aufhält. Es ist ein gutes Gefühl. Es ist auch, in den meisten Fällen, eine Fehlrechnung — und zwar nicht knapp, sondern deutlich.

Am Ende dieser Reihe weißt du, ob dein Fall lokal wirklich braucht — und wenn nicht, wo du stattdessen hingehst. Ohne Hype, ohne Panik, mit Zahlen, die ein Taschenrechner nicht widerlegt.

Ich nehme dafür die vier Gründe auseinander, die man üblicherweise für „lokal“ anführt — Preis, Leistung, Lizenz, Herkunft —, einen pro Teil. Übrig bleibt ein Kreis von Fällen, in denen lokal wirklich alternativlos ist — und der ist viel kleiner, als die Debatte glauben macht. Er lässt sich vorab bestimmen; wer ihn nicht bestimmt, kauft Hardware für ein Problem, das er gar nicht hat. Fangen wir beim Preis an, denn dort fängt fast jeder an.

Der Preis, den alle vergleichen — und warum er lügt

Öffne irgendeine Modell-Preisliste, und du siehst zwei Zahlen: so viel pro Million Eingabe-Token, so viel pro Million Ausgabe-Token. Das sieht aus wie ein Preisschild im Supermarkt, und genau so wird es benutzt: Modell A kostet drei Dollar, Modell B kostet zehn, also ist A billiger. Fertig.

Nur ist ein Token kein Kilogramm. Zwei Modelle können für dieselbe Aufgabe völlig verschiedene Mengen davon verbrauchen — und dann sagt der Stückpreis nichts mehr. Ein aktuelles Beispiel: Das chinesische Modell Kimi K3 kostet pro Token grob die Hälfte von OpenAIs GPT-5.6 Sol — drei statt fünf Dollar je Million Eingabe-Token, fünfzehn statt dreißig bei der Ausgabe. Auf dem Papier ein klarer Preisvorteil. Lässt man aber beide denselben Prüfparcours durchlaufen, schrumpft dieser Vorteil von der Hälfte auf ein paar Prozent: rund 2.700 gegen 2.800 Dollar für den kompletten Durchgang. Der Grund steht in den Messwerten des Analysehauses Artificial Analysis — Kimi ist geschwätzig. Es verbraucht 130 Millionen Token, wo GPT mit 70 Millionen auskommt und der Schnitt aller Modelle bei 63 Millionen liegt. Selbst das ohnehin nicht wortkarge Claude Fable 5 bleibt mit 87 Millionen darunter — Kimis niedriger Stückpreis wird vom hohen Verbrauch fast vollständig aufgefressen.

Das ist keine Spitzfindigkeit, es ist der ganze Punkt. Der Token-Preis ist die Zahl, die im Marketing steht. Die Zahl, die auf deiner Rechnung steht, ist eine andere.

Was die Aufgabe wirklich kostet

Die ehrlichere Größe ist also nicht „Euro pro Token“, sondern „Euro pro Aufgabe“. Artificial Analysis rechnet das aus: Ein durchschnittlich teures Spitzenmodell kostet, über einen ganzen Prüfparcours gemittelt, in der Größenordnung von gut zwei Dollar pro Aufgabe — nicht, weil der Token teuer wäre, sondern weil moderne Modelle denken, und Denken heißt Token verbrennen. Ein Modell, das lange grübelt, bevor es antwortet, ist bei identischem Stückpreis das teurere.

Für dich als Nutzer dreht das die Frage um. Nicht „Welches Modell hat den niedrigsten Token-Preis?“, sondern „Welches Modell erledigt meine Art von Aufgabe mit den wenigsten Token in ausreichender Qualität?”. Das ist eine Frage, die man messen muss, nicht überfliegen. Und es ist die erste Stelle, an der die naive Preisrechnung kippt: Ein geschwätziges Modell spart am Stückpreis und zahlt bei der Menge drauf — ganz gleich, wo es rechnet.

Die einzige Zahl, die zählt: was am Ende dasteht

Es gibt eine dritte Ebene, und sie ist die einzige, die wirklich zählt: Was hat die fertige Sache gekostet? Nicht der Token, nicht die einzelne Aufgabe — das komplette Projekt, von der ersten Zeile bis zum lauffähigen Ergebnis.

Ein Entwickler hat das kürzlich öffentlich durchgerechnet, indem er eine ganze App von einem KI-Modell bauen ließ und die Rechnung offenlegte: gut zehn Millionen Eingabe-Token, aber nur rund 70.000 Ausgabe-Token — und unterm Strich etwa zehn Dollar. Der Grund für den niedrigen Betrag ist unscheinbar und entscheidend: In diesem Fall waren rund vier von fünf Anfragen Wiederholungen, die das System aus einem Zwischenspeicher beantwortete, statt sie neu zu berechnen. Ein einzelner Cache-Effekt, den keine Preisliste ausweist, drückt die reale Rechnung um ein Vielfaches.

Und hier lohnt der Blick auf etwas, das die ersten beiden Kostenebenen offenließen: Wie viele Token ein Modell verbraucht und wie oft der Zwischenspeicher greift, entscheidet über die Modellwahl — nicht über den Standort. Beides reist mit dem Modell, ob es in der Cloud oder auf deiner Karte läuft. Genau eine Größe trennt lokal von Cloud, und sie steht auf keiner Preisliste: die Auslastung. Rechnen wir sie aus.

Die eigene Rechnung, aufgemacht

Nehmen wir ein realistisches Szenario: eine Maschine mit ordentlicher Grafikkarte für rund 5.000 Euro, abgeschrieben über drei Jahre, darauf ein gutes offenes Modell (Qwen3-30B), 600 Watt unter Last, deutscher Gewerbestrom zu 27,15 Cent die Kilowattstunde. Kein billiger Industrietarif. Was kostet dann die Million Token?

Auslastung der Karte	Kosten je Mio. Token
24/7 unter Volllast	0,51 €
8 Stunden × 250 Arbeitstage	1,44 €
10 % (durchlaufender Dienst für ein kleines Team, ~2 Std./Tag Last)	2,99 €
1 % (realistischer Büroalltag)	27,70 €

Die Spanne ist der ganze Punkt. Eine gekaufte Karte kostet dasselbe, ob sie rechnet oder stillsteht — die Anschaffung ist bezahlt, der Strom läuft, die Abschreibung tickt. Ihr Preis pro Token hängt deshalb fast vollständig davon ab, wie ausgelastet sie ist. Ein Rechenzentrum fährt seine Karten rund um die Uhr für hunderte Kunden gleichzeitig. Dein Bürorechner steht die meiste Zeit still — weil zwischen den Anfragen gelesen, getippt und nachgedacht wird und die Karte im Tagesmittel selten über ein Prozent Auslastung kommt. Bei diesem einen Prozent zahlst du nicht Centbeträge, sondern fast dreißig Euro pro Million Token.

Jetzt der faire Einwand, den ein Entwickler an dieser Stelle bringt: Die Workstation habe ich doch schon, mich kostet nur die Grafikkarte extra. Stimmt — rechnet man statt der ganzen Maschine nur eine GPU für rund 2.500 Euro, sinkt der Bestfall von 0,51 auf etwa 0,37 Euro pro Million Token. Und selbst dann bleibt die eigene Karte gegen das billigste Cloud-Modell (DeepSeek V4 Flash, 0,26 Euro, bei besserer Qualität) nicht vorn, sondern liegt leicht darüber. Klar gewinnt sie nur einen Vergleich: den gegen einen gleichwertigen, in Europa gemanagten Endpunkt. Der kostet für dasselbe Modell rund 2,70 Euro — die eigene Karte bei Volllast rund das Fünffache darunter.

Damit ist der einzige Fall, in dem der Preis wirklich für lokal spricht, sauber umrissen: eine Karte, die du ohnehin besitzt, die rund um die Uhr ausgelastet ist, verglichen mit dem europäischen Endpunkt statt mit dem billigsten Anbieter der Welt. Fehlt nur eine dieser drei Bedingungen — und am normalen Schreibtisch fehlen alle drei —, kippt die Rechnung. Wer lokal mit dem Preis begründet, muss also genau sagen, gegen wen er rechnet und wie voll seine Karte läuft. Sonst verliert er die Diskussion gegen einen Taschenrechner.

Fachtiefe · für Fachleute Die 0,51 Euro sind ein Bestfall mit zwei versteckten Annahmen. Erstens beruhen sie auf dem Einzelstrom-Durchsatz (192 Token/s) — ein Rechenzentrum bündelt viele Anfragen (Batching) und holt aus derselben Karte ein Vielfaches heraus, was seinen Preis zusätzlich drückt. Zweitens ist „Volllast rund um die Uhr“ für einen einzelnen Arbeitsplatz eine Fiktion. Merksatz, der die ganze Ökonomie trägt: Die aktiven Parameter eines Modells sind die Lohnkosten pro Auftrag, die Gesamtparameter sind die Hallenmiete. Ein „Mixture of Experts“ wie Qwen3-30B aktiviert pro Anfrage nur einen Bruchteil seiner Parameter (billiger Auftrag), muss aber trotzdem komplett in den teuren Speicher passen (volle Miete). Diese Zweischneidigkeit ist der Kern jeder lokalen Kostenfrage — und der Grund, warum Teil 2 sich ansieht, was auf deiner Maschine überhaupt hineinpasst.

Erst der Bedarf, dann das Modell

Wenn der Preis nicht das Argument ist — wo liegt dann die echte Ersparnis? Antwort: eine Stufe früher, bei der Frage, die kaum jemand stellt, bevor er ein Modell auswählt. Nämlich: Welche Aufgabe habe ich eigentlich, und wie groß muss das Werkzeug dafür wirklich sein?

Denn die teuerste Gewohnheit ist, für alles das größte Modell zu nehmen. Sehr viele Aufgaben in einem KI-System sind gar keine Denkaufgaben, sondern Sortieraufgaben: Text einordnen, weiterleiten, zusammenfassen. Ein winziges, auf genau diese eine Aufgabe nachtrainiertes Modell erreicht dabei Trefferquoten, an die ein siebzigmal größeres Allzweckmodell ohne Training nicht herankommt — bei einer halben GPU-Stunde Trainingsaufwand. Der Grafikkartenhersteller NVIDIA schätzt, dass sich in typischen KI-Agenten 40 bis 70 Prozent aller Modellaufrufe durch solche kleinen Spezialisten ersetzen lassen. Und die am solidesten belegte Einsparung ist noch schlichter: Wiederholte oder ähnliche Anfragen gar nicht erst neu berechnen, sondern aus einem Zwischenspeicher bedienen. Das senkt in einer sauber gemessenen Reihe die Kosten um 86 Prozent — bei über 90 Prozent Trefferquote.

Das ist die unromantische Wahrheit hinter der Kostenfrage: Die großen Ersparnisse kommen nicht daher, wo das Modell läuft, sondern daher, dass man das richtig dimensionierte Modell nimmt und sich unnötige Aufrufe spart. Beides geht in der Cloud genauso wie auf der eigenen Karte.

Fachtiefe · für Fachleute Vorsicht bei einer beliebten Zahl: „Modell-Routing spart 85 Prozent“ kursiert gern, ist aber der Bestwert eines einzelnen Benchmarks. In belastbaren Messungen bringt automatisches Routing real den Faktor 1,4 bis 3,7 — ordentlich, aber keine Größenordnung. Die 86 Prozent oben stammen dagegen nicht aus dem Routing, sondern aus dem semantischen Zwischenspeicher (semantic caching), gemessen an knapp 64.000 Anfragen. Wer Einsparungen plant, sollte die beiden nicht verwechseln — der Cache ist der verlässlichere Hebel.

Der unbequeme Einwand

Ehrlichkeit gehört dazu, auch wenn sie gegen die eigene Sympathie läuft. Es gibt nämlich einen Befund, der dem selbstgebauten, selbstgehosteten Ansatz insgesamt widerspricht — und er ist kein Randdetail. In der Praxis gehen zugekaufte KI-Lösungen deutlich häufiger tatsächlich in Produktion als selbstgebaute; in einer breiten Erhebung schaffte es rund zwei Drittel der eingekauften Projekte über die Ziellinie, aber nur etwa ein Drittel so viele der selbst entwickelten. Das ist keine Aussage über Technik, sondern über Aufwand, Wartung und darüber, wie oft ein ambitioniertes Eigenbau-Vorhaben irgendwo zwischen Prototyp und Alltag versandet.

Für die Kostenfrage heißt das: Zu den 0,51 oder 27,70 Euro pro Million Token gehört ein zweiter Posten, der auf keiner Stromrechnung auftaucht — die Person, die das alles betreibt. Diesen Posten rechnet Teil 2 aus. So viel vorweg: Er ist teurer als die Grafikkarte.

Was das für uns heißt

Der Preis ist damit als Argument für „lokal“ erledigt — nicht, weil lokale KI teuer wäre, sondern weil sie es nicht billiger macht als die naheliegende Alternative. Drei Gedanken zum Mitnehmen:

Vergleiche nie den Token-Preis allein. Er ist die Marketingzahl. Was zählt, ist der Verbrauch pro Aufgabe und die Rechnung fürs fertige Projekt — und die kann bei niedrigem Stückpreis höher ausfallen, bei hohem niedriger.
Auslastung schlägt Anschaffung. Eine eigene Karte lohnt sich preislich nur, wenn sie dir ohnehin gehört und fast nie stillsteht. Am typischen Arbeitsplatz steht sie fast immer still — und wird damit zum teuersten Weg, den es gibt.
Die echte Ersparnis liegt vor der Modellwahl. Das richtig dimensionierte Modell und ein Zwischenspeicher für Wiederholungen bringen mehr als jede Standort-Entscheidung — und beides gibt es in der Cloud wie zu Hause.

Wenn der Preis nicht der Grund ist, warum dann überhaupt lokal? Vielleicht wegen der Leistung — weil man das Beste haben will und glaubt, offene Modelle seien inzwischen ebenbürtig. Ob die Karte unter deinem Schreibtisch da wirklich mithält, und wie groß der Abstand zur Spitze wirklich ist, nehmen wir uns in Teil 2 vor.

Wenn dich der Beitrag zum Nachdenken gebracht hat, teile ihn gern — und frag dich beim nächsten Angebot, das mit „läuft komplett bei dir, spart die Cloud-Kosten“ wirbt, welche der drei Zahlen dir da eigentlich gezeigt wird: der Token-Preis, die Kosten pro Aufgabe, oder das, was am Ende wirklich auf der Rechnung steht. Diese Reihe hat noch vier Teile — Leistung, Lizenz, Herkunft, und was am Ende übrig bleibt. Wenn du keinen davon verpassen willst, abonniere den Newsletter: eine kurze Nachricht, sobald ein neuer Beitrag erscheint, kein Werbe-Newsletter, jederzeit mit einem Klick abbestellbar.

Quellen (Auswahl):

Artificial Analysis — Modellseiten Kimi K3, GPT-5.6 Sol und Claude Fable 5 (Intelligence Index v4.1: Token-Verbrauch Kimi 130 Mio. / GPT-5.6 Sol 70 Mio. / Fable 87 Mio. / Schnitt 63 Mio.; Gesamtkosten des Durchlaufs Kimi 2.709,75 $ vs. GPT-5.6 Sol 2.824,18 $; Preise Kimi 3/15 $, GPT-5.6 Sol 5/30 $ je Mio. Token): https://artificialanalysis.ai/models/kimi-k3 · https://artificialanalysis.ai/models/gpt-5-6-sol · https://artificialanalysis.ai/models/claude-fable-5
Eigene Kostenrechnung lokal (Qwen3-30B-A3B, 192,4 Token/s gemessen, 5.000 € / 3 Jahre, 600 W, Gewerbestrom 27,15 ct/kWh nach wattline/BDEW): 0,51 € (24/7) bis 27,70 € (1 % Auslastung) je Mio. Token.
DeepSeek V4 Flash — API-Preis rund 0,26 € je Mio. Token (Output-Preis, passend zum Output-Durchsatz der lokalen Rechnung), höherer Qualitätsindex als das lokal betriebene Modell.
OVHcloud AI Endpoints — gemanagtes EU-Hosting, Qwen3.6-27B rund 2,70 € je Mio. Token: https://ovhcloud.com/en/public-cloud/ai-endpoints/
NVIDIA — „Small Language Models are the Future of Agentic AI“ (40–70 % der Agenten-Modellaufrufe durch kleine Spezialmodelle ersetzbar).
AWS — „Semantic caching: Impact and benchmarks“ (−86,3 % Kosten bei 90,3 % Trefferquote und 91,2 % Genauigkeit, 63.796 Anfragen): https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/semantic-caching-benchmarks.html
arXiv 2505.16078 — nachtrainiertes Llama-3.2-1B schlägt 70B-Zero-Shot bei Klassifikation (0,999 / 0,892 / 0,865) bei 0,5 GPU-Stunden Training.
S&P Global / 451 Research (via genai-roi-Dossier) — zugekaufte KI-Lösungen gehen rund dreimal so häufig in Produktion wie selbstgebaute.