Was auf deiner Maschine wirklich läuft

Zwei Leseebenen: Der laufende Text ist der rote Faden — für alle, ohne Vorwissen. Die eigens markierten Fachtiefe-Kästen sind Vertiefungen für Fachleute und lassen sich überspringen, ohne den Faden zu verlieren.

Der Preis war es nicht — das war Teil 1. Bleibt der zweite Grund, mit dem man „lokal“ begründet, und er klingt besser: Leistung. Man will das Beste, man liest, dass die offenen Modelle inzwischen ebenbürtig seien, und man stellt sich vor, dieses Beste laufe künftig unter dem eigenen Schreibtisch, ohne Cloud, ohne Konzern, ohne Abhängigkeit. Ein schöner Gedanke. Er beruht auf einer Verwechslung — der zwischen „offen“ und „lokal“ —, und diese Verwechslung ist die ganze Geschichte dieses Teils.

Denn beide Aussagen sind wahr, nur nicht dieselbe: Es gibt ein offenes Modell fast auf Spitzenniveau. Und es läuft nicht auf deiner Maschine. Zwischen diesen beiden Sätzen liegt der Abstand, den kaum jemand ausrechnet — und den wir jetzt ausrechnen.

Drei Ligen, die man nicht vermengen darf

„Open Weights“ — frei herunterladbare Modelle — ist keine Größenklasse. Es ist ein Lizenzmerkmal, das quer durch drei völlig verschiedene Hardware-Welten geht. Wer sie in einen Topf wirft, produziert genau den Trugschluss, um den es hier geht.

Liga A — der Cluster. Modelle mit Hunderten Milliarden bis weit über einer Billion Parametern. Sie sind offen im Sinne von herunterladbar, aber betreiben lassen sie sich nur auf einem Stapel Rechenzentrums-Grafikkarten — acht Stück der teuersten Sorte aufwärts. Hier steht das beste offene Modell.
Liga B — die eine dicke Karte. Modelle um 120 Milliarden Parameter, die auf eine einzelne Profikarte oder einen Rechner mit sehr viel Arbeitsspeicher passen. Vier- bis fünfstellige Anschaffung, aber kein Rack.
Liga C — dein Schreibtisch. Alles, was auf eine Consumer-Grafikkarte mit 24 bis 32 Gigabyte Speicher passt — die „5090-Klasse“. Das ist es, was die meisten meinen, wenn sie „lokal“ sagen.

Und jetzt die Zahlen, gemessen vom Analysehaus Artificial Analysis in seinem Intelligence Index, einem Sammelmaß aus neun Prüfungen (Stand: Juli 2026):

Modell	Liga	Index	wo es läuft
Claude Fable 5 (geschlossen)	Spitze	60	Anbieter-Rechenzentrum
Kimi K3 (offen)	A	57	2,8 Billionen Parameter — Rechenzentrum
GLM-5.2 (offen)	A	51	Servercluster
Qwen3.6-27B (offen)	C	37	passt auf eine RTX 5090
gpt-oss-120b (offen)	B	24	eine Profikarte

Der Abstand vom weltbesten Modell (60) zum besten offenen Modell (57) beträgt drei Punkte — genau die Zahl, mit der die „Open Source hat aufgeschlossen“-Erzählung gefüttert wird. Nur gilt sie einem Modell mit 2,8 Billionen Parametern — der Gesamtzahl eines Mixture-of-Experts-Baus, die vollständig in den Speicher muss —, das in kein Gehäuse passt, das unter einem Schreibtisch steht. Der Abstand zu dem, was tatsächlich auf deine Karte passt (37), ist nicht drei, sondern rund dreiundzwanzig Punkte.

Das ist der ganze Trick der Debatte, in einem Bild: Man zeigt dir den Rückstand der Bundesliga auf die Champions League und verkauft ihn dir als den Rückstand deiner Zweitliga-Mannschaft. Beide Zahlen stimmen. Sie gehören nur zu verschiedenen Ligen.

Fachtiefe · für Fachleute Ein Detail macht die Sache noch anschaulicher. Das Modell gpt-oss-120b galt im August 2025 als „das intelligenteste Modell, das auf einer einzelnen H100 läuft“. Ein Jahr später steht es im selben Index bei 24 — unter dem 27-Milliarden-Modell von 2026, das auf eine sehr viel kleinere Karte passt. Der Fortschritt in der lokalen Klasse kam also nicht daher, dass die Hardware größer wurde, sondern daher, dass Architektur und Training besser wurden. Das ist die gute Nachricht — und zugleich die Falle: Wer heute eine Karte für „das lokale Spitzenmodell“ kauft, kauft ein Blech mit fester Kapazität in einen Markt hinein, der seine besten Modelle im Wochentakt neu zuschneidet. Sechs Labore haben binnen weniger Wochen ein Modell über die 50er- Marke gebracht; im Juni davor waren es zwei. Die Abschreibung deiner Grafikkarte läuft langsamer als der Fortschritt, den sie einfangen soll.

Die berühmte „2,7 %“ — und was sie wirklich sagt

Eine Zahl noch, bevor wir weitermessen, weil sie dir überall begegnet und fast immer falsch gedeutet wird. Der Stanford AI Index, eine viel zitierte Jahresübersicht, schreibt, das führende US-Modell liege „nur 2,7 % vorn“ gegenüber dem besten chinesischen. Daraus wird in Schlagzeilen: „China ist nur noch 2,7 Prozent schlechter.“ Beides misst allerdings Spitze gegen Spitze — zwei Rechenzentrums-Modelle — und nicht das, was uns hier beschäftigt: die Spitze gegen deine Karte. Schon deshalb ist es die falsche Zahl für unsere Frage.

Sie ist aber auch für sich genommen fragwürdig. Die 2,7 Prozent sind ein relativer Abstand auf einer Skala namens Arena-Elo — dem Wertungssystem aus dem Schach. Elo misst, wer gegen wen gewinnt, nicht, wie gut jemand in absoluten Punkten ist; die Skala hat keinen Nullpunkt. Einen Prozentsatz darauf zu bilden ist so tragfähig wie der Satz „20 Grad Celsius sind doppelt so warm wie 10 Grad“: arithmetisch machbar, inhaltlich nichts. Wer die Elo-Differenz als Fähigkeits-Prozente liest, hat die Skala missverstanden. (Zum Stand der Dinge: Zwischen dem besten US- und dem besten chinesischen Modell liegen aktuell noch 21 Elo-Punkte — auch das kein Prozentsatz, sondern eine Rangzahl.)

Die Zahl, die zu unserer Frage passt, steht nicht in der Elo-Tabelle, sondern in der Index-Tabelle oben: 60 gegen 37 in der Klasse, die dich betrifft. Sie zählt nicht Siege gegen Niederlagen, sondern gelöste Aufgaben — und dieser Abstand hat eine bestimmte Form.

Wo der Abstand herkommt: nicht dümmer, sondern kurzatmiger

Man könnte meinen, ein Modell mit Index 37 sei schlicht „dümmer“ als eines mit 60. So einfach ist es nicht — und die Unterscheidung ist wichtig, weil sie festlegt, wofür lokale Modelle taugen und wofür nicht.

Stellt man einem guten lokalen Modell eine einzelne, klar umrissene Frage — eine Matheaufgabe, eine Wissensfrage, eine Zusammenfassung —, ist es oft erstaunlich nah dran. In seriösen Messungen auf genau der Zielhardware löst das lokale Qwen3-30B Mathematik-Wettbewerbsaufgaben auf einem Niveau, das zwischen zwei namhaften Cloud-Modellen liegt. Bei Standard-Wissenstests trennt es vom Spitzenmodell eine spürbare, aber keine kategoriale Lücke.

Der Abstand öffnet sich woanders: bei Aufgaben, die über viele Schritte laufen. Ein moderner KI-Agent, der ein Problem eigenständig zerlegt, Werkzeuge aufruft, Zwischenergebnisse prüft und über dreißig, vierzig Schritte durchhält — das ist die Disziplin, in der die lokale Klasse aus dem Blick gerät. In der Bestenliste eines maßgeblichen Agenten-Benchmarks (Terminal-Bench) taucht unter den besten zehn Einträgen kein einziges offenes Modell auf. Das heißt nicht, dass die lokalen Modelle dort durchfallen — sie sind schlicht nicht vertreten, weil die Spitzenplätze eine Ausdauer verlangen, die erst weit oben in Liga A beginnt.

Die Formel, die man sich merken sollte: Das lokale Modell ist nicht dümmer, es ist kurzatmiger. Bei einer Frage ist es nah dran. Bei einer Aufgabe über vierzig Schritte ist es nicht mehr im Rennen.

Was überhaupt auf die Karte passt

Bis hierher haben wir über Qualität geredet. Jetzt kommt die physische Hürde, und sie ist unerbittlicher, als die Werbung glauben macht. Ein Modell muss in den Speicher der Grafikkarte passen — und zwar nicht nur seine Gewichte, sondern auch sein „Kurzzeitgedächtnis“, der sogenannte KV-Cache, in dem der laufende Kontext liegt. Und dieser Zwischenspeicher wächst mit der Länge des Textes, den das Modell im Blick behalten soll.

Hier die Falle, sauber ausgerechnet. Ein solides 32-Milliarden-Modell aus dem Jahr 2025 belegt mit seinen Gewichten schon rund zwanzig Gigabyte. Will man ihm einen langen Kontext von 128.000 Token geben — ungefähr ein dickes Buch —, kommen allein für den KV-Cache noch einmal zweiunddreißig Gigabyte obendrauf. Zusammen über fünfzig Gigabyte, auf einer Karte mit zweiunddreißig. Es passt nicht. Beide Werbeaussagen — „läuft auf einer 5090“ und „128.000 Token Kontext“ — können für sich stimmen. Gleichzeitig stimmen sie nicht.

Die gute Nachricht ist auch hier, dass die Lösung nicht aus mehr Hardware kam, sondern aus besserer Architektur. Die 2026er-Modelle sind so umgebaut, dass ihr Kontext-Speicher drastisch schrumpft: Dasselbe Kontextfenster, das beim alten 32-Milliarden-Modell zweiunddreißig Gigabyte fraß, kostet beim neuen 27er nur noch rund acht — ein Viertel; die noch sparsamere Bauart desselben Jahrgangs kommt sogar auf unter drei, ein Zehntel. Genau deshalb passt Qwen3.6-27B mit langem Kontext auf eine 5090 und sein Vorgänger nicht — nicht wegen der Karte, sondern wegen dessen, was hineingebaut wurde.

Fachtiefe · für Fachleute Ein zweiter, hartnäckiger Irrtum betrifft lange Kontexte selbst dort, wo sie technisch hineinpassen. Ein Modell, das mit „128k Kontext“ wirbt, verarbeitet diese 128.000 Token nicht unbedingt auch gut. Der Benchmark NoLiMa hat das systematisch geprüft: Von dreizehn Modellen, die 128k beanspruchen, fallen elf schon bei 32.000 Token unter die Hälfte ihrer Leistung im kurzen Kontext. Der Grund ist mechanisch: Ohne wörtliche Übereinstimmung zwischen Frage und Textstelle findet der Aufmerksamkeitsmechanismus die richtige Information nicht mehr zuverlässig. „Passt in den Speicher“ heißt also nicht „wird auch gelesen“. Wer ein lokales Modell mit Riesen-Kontext plant, um ganze Aktenberge zu durchsuchen, sollte diese Grenze kennen, bevor er die Karte kauft.

Und selbst wenn ein Modell passt: Die Zahl, mit der Privatleute ihre Karte an mehrere Kollegen hängen wollen — „fünf Nutzer gleichzeitig, kein Problem“ —, hält der Messung nicht stand. Die Software, die zu Hause verbreitet ist, gewinnt beim gleichzeitigen Bedienen mehrerer Nutzer fast nichts; die Rechenzentrums-Software holt aus derselben Karte ein Vielfaches heraus. Wer eine 5090 mit dem bequemen Heim-Werkzeug an fünf Kollegen hängt, betreibt faktisch einen Einzelplatzrechner mit Warteschlange.

Der Trick, mit dem es trotzdem passt — und was er kostet

Damit ein großes Modell auf eine kleine Karte passt, rechnet man es klein: Quantisierung. Statt jedes Gewicht mit voller Präzision zu speichern, speichert man es gröber — sechzehn Bit werden zu vier. Das Modell schrumpft um etwa das Vierfache, und erstaunlicherweise passiert bei diesem Schritt qualitativ fast nichts. Bei vier Bit ist der Verlust so klein, dass er im Messrauschen verschwindet. Deshalb ist „Q4“ der Standard, mit dem lokale Modelle laufen.

Das Problem beginnt eine Stufe darunter, wenn der Speicher trotzdem nicht reicht und man auf drei Bit geht. Eine systematische Auswertung an einem verbreiteten 8-Milliarden-Modell zeigt: Beim Sprung auf drei Bit bricht die Trefferquote bei Mathematikaufgaben um über neun Punkte ein — von rund 78 auf 68 Prozent. Und jetzt kommt das Tückische: Die Standardkennzahl, mit der man Quantisierung üblicherweise misst — ein statistisches Maß namens Perplexität —, steigt dabei nur wenig, viel weniger, als der Mathe-Einbruch vermuten ließe. Wer nur auf sie schaut, sieht den Schaden nicht. Und es kommt darauf an, was man kleinrechnet: Solange nur die Gewichte auf vier Bit gehen, bleibt das Modell stabil — genau das ist der Grund, warum Q4 als sicher gilt. Presst man aber zusätzlich auch die laufenden Zwischenrechnungen auf vier Bit zusammen, fällt die Quote auf einem schweren Mathe-Wettbewerb auf unter vier Prozent. Das ist kein Widerspruch zum sicheren Q4, sondern seine Kehrseite: vier Bit bei den Gewichten trägt, vier Bit überall nicht.

Das führt zur unbequemsten Eigenschaft eines kleingerechneten Modells, und sie ist wichtiger als jede Einzelzahl: Ein degradiertes Modell rauscht nicht wie eine schlechte MP3. Bei einer schlechten Audiokompression hörst du das Zischen, du weißt, dass etwas fehlt. Ein zu stark quantisiertes Modell klingt weiter souverän — es formuliert flüssig, wirkt sicher und liegt öfter daneben. Der Schaden ist unsichtbar, solange man ihn nicht mit den richtigen Aufgaben herauskitzelt. Und leichte Fragen kitzeln ihn nicht heraus: Genau die Tests, die ein Laie zur Kontrolle stellt, sind die, bei denen auch das beschädigte Modell noch glänzt.

Fachtiefe · für Fachleute Die praktische Regel lautet deshalb nicht „so groß wie möglich“, sondern „das größte Modell, das noch in Q4 passt“. Mehr Parameter schlagen mehr Präzision — aber nur bis etwa drei Bit. Wer ein 70-Milliarden-Modell auf zwei Bit presst, um es ins Notebook zu quetschen, bekommt kein großes Modell mit kleinen Fehlern, sondern ein beschädigtes. Und noch eine Falle steckt im Kleingedruckten: Wenn ein Datenblatt „128k Kontext“ nennt, ist das oft nicht die native Länge, mit der das Modell trainiert wurde, sondern eine rechnerische Streckung — die Qualität auf den letzten Zehntausenden Token ist dann noch einmal eine eigene Frage. „Läuft auf der Karte“ und „liefert auf voller Länge“ sind zwei Versprechen, nicht eines.

Der Streber, der die Musterlösung auswendig kann

Ein zweiter Trick lässt kleine Modelle überraschend klug wirken: Destillation. Ein kleines Modell wird nicht auf rohem Text trainiert, sondern darauf, ein großes nachzuahmen — es lernt vom „Lehrer“, indem es dessen Antworten und Denkwege kopiert. So brachte man 2025 winzige Modelle dazu, plötzlich zu rechnen. Es funktioniert, und es hat einen Preis, den kaum jemand nennt.

Eine Untersuchung dazu hat den Mechanismus schön herausgearbeitet. Wenn ein Modell selbst denkt und sich dabei unsicher ist, verbalisiert es diese Unsicherheit — mit Füllwörtern wie „warte“, „hmm“, „vielleicht doch anders“. Das sind keine Marotten, das ist das Modell beim Prüfen der eigenen Hypothese. Ein destilliertes Modell verliert genau das. Denn der Lehrer, dessen Denkweg es kopiert, kannte die Lösung bereits — sein aufgeschriebener Gedankengang ist deshalb glatt, zielstrebig und frei von echter Unsicherheit. Der Schüler ahmt diese Selbstsicherheit nach, ohne das Wissen zu besitzen, das sie rechtfertigt.

Ein destilliertes Modell ist damit wie ein Schüler, der die Musterlösungen auswendig gelernt hat. In der Klausur, die der Lehrer gestellt hätte, glänzt er. Bei einer Frage, die keiner Musterlösung ähnelt, fällt auf, dass er nie verstanden hat, warum. Das ist dieselbe Kurzatmigkeit wie oben, nur von der anderen Seite betrachtet: nah dran im Vertrauten, verloren im Ungewohnten.

Der zweite Posten, den Teil 1 angekündigt hat

Am Ende von Teil 1 stand ein Versprechen: Zur Stromrechnung der eigenen Karte gehört ein zweiter Posten, der auf keiner Preisliste steht — die Person, die das alles betreibt. Hier ist er, ausgerechnet.

Ein lokales Setup ist kein Gerät, das man kauft und hinstellt. Es ist ein Betrieb. Das Modell will aktualisiert werden — und ein Update ist 2026 nicht „neue Datei laden“, sondern potenziell neue Laufzeitsoftware, neue Quantisierung, neue Kapazitätsrechnung, weil sich zwischen zwei Jahrgängen die ganze Architektur geändert hat. Die Software, die die Modelle bedient, bewegt sich im gleichen Takt: Ein Referenz-Serverwerkzeug, das Hugging Face vor kurzem noch selbst pflegte, steht heute im Wartungsmodus — von der eigenen Community überholt und still eingemottet. Wer 2024 darauf gesetzt hat, migriert 2026.

Das kostet Arbeitszeit, und Arbeitszeit hat einen Preis. Eine Fachkraft, die solche Systeme betreut, verdient in Deutschland im Schnitt etwa 75.000 Euro im Jahr; mit Arbeitgeberkosten sind es gut 90.000. Nimmt man an, so ein System frisst nur zehn Prozent dieser Stelle — einen halben Tag pro Woche —, kostet dieser halbe Tag im Jahr rund das 2,4-fache einer teuren Grafikkarte. Er übertrifft damit schon im ersten Jahr die komplette 5.000-Euro-Maschine aus Teil 1 — und über drei Jahre kostet die halbe Wochenstunde ein Vielfaches der gesamten Hardware.

Damit steht die Zahl, die Teil 1 versprochen hat, schwarz auf weiß: Die Grafikkarte ist nicht der Kostentreiber. Der Mensch, der sie betreut, ist es. Und dieser Mensch taucht in keinem der Hardware-Vergleiche auf, mit denen für „lokal“ geworben wird.

Was das für uns heißt

Die Leistung ist damit als Argument für „lokal“ erledigt — nicht, weil offene Modelle schlecht wären, sondern weil das offene Spitzenmodell und das lokal betreibbare Modell zwei verschiedene Dinge sind. Und dort, wo die lokale Klasse tatsächlich genügt — bei einzelnen, klar umrissenen Fragen —, läuft dasselbe Modell in der Cloud mindestens ebenso gut und meist billiger (das war Teil 1). Leistung spricht also nie für das eigene Betreiben; sie spricht bestenfalls nicht dagegen. Drei Gedanken zum Mitnehmen:

„Offen“ ist nicht „lokal“. Der kleine 3-Punkte-Abstand zur Spitze gehört einem Modell im Rechenzentrum. Was auf deine Karte passt, liegt rund 23 Punkte zurück. Wer mit dem einen Abstand wirbt und das andere Modell meint, vergleicht Ligen.
Der Abstand ist Ausdauer, nicht Dummheit. Für eine einzelne Frage taugt die lokale Klasse gut. Für lange, mehrstufige Aufgaben bricht sie weg — und geschrumpfte Modelle verbergen ihren Schaden hinter souveräner Formulierung. Miss mit deinen schweren Aufgaben, nicht mit leichten.
Der Betrieb schlägt die Anschaffung. Die Karte ist der billige Teil. Der teure Teil ist der Mensch, der Updates, Quantisierung und Ausfälle im Griff behält — und der steht auf keiner Hardware-Rechnung.

Wenn also weder der Preis noch die Leistung das eigene Betreiben rechtfertigen — warum dann überhaupt? Vielleicht wegen der Freiheit: weil ein offenes Modell dir gehört, du damit machen darfst, was du willst, und niemand dir hineinredet. Ob das stimmt, hängt an einem Wort, das die meisten überlesen — „offen“. Denn offen heißt nicht frei, und was in den Lizenzen wirklich steht, nehmen wir uns in Teil 3 vor.

Wenn dich der Beitrag zum Nachdenken gebracht hat, teile ihn gern — und frag beim nächsten Angebot, das „läuft lokal, Spitzenleistung inklusive“ verspricht, nach zwei Zahlen: In welcher Liga spielt das Modell, das du auf deine Karte bekommst — und mit welchen Aufgaben wurde es getestet, mit leichten oder mit deinen? Diese Reihe hat noch drei Teile — Lizenz, Herkunft, und was am Ende übrig bleibt. Wenn du keinen davon verpassen willst, abonniere den Newsletter: eine kurze Nachricht, sobald ein neuer Beitrag erscheint, kein Werbe-Newsletter, jederzeit mit einem Klick abbestellbar.

Quellen (Auswahl):

Artificial Analysis — Intelligence Index v4.1 (neun Prüfungen), Stand Juli 2026: Claude Fable 5 ≈ 60, Kimi K3 ≈ 57 (offen, 2,8 Bio. Parameter), GLM-5.2 ≈ 51, Qwen3.6-27B ≈ 37, gpt-oss-120b ≈ 24: https://artificialanalysis.ai/models/open-source
Artificial Analysis — „gpt-oss-120b: das intelligenteste Modell auf einer einzelnen H100“ (August 2025) sowie Marktdynamik („sechs Labore über Index 50, im Juni waren es zwei“): https://artificialanalysis.ai/articles/analysis-openai-gpt-oss-models
Snorkel AI — Terminal-Bench-2.1-Leaderboard (kein offenes Modell unter den Spitzenrängen): https://snorkel.ai/leaderboard/terminal-bench-2-1/
Stanford AI Index — „the top U.S. model leads by 2.7%“: relativer Abstand auf der Arena-Elo-Skala (Anthropic ≈ 1.503, Alibaba ≈ 1.449, Stand März 2026; aktueller Arena-Abstand ≈ 21 Elo-Punkte), kein Fähigkeits-Prozentpunkt.
arXiv 2502.05167 — NoLiMa: Long-Context Evaluation Beyond Literal Matching (ICML 2025): 11 von 13 „128k“-Modellen fallen bereits bei 32k unter 50 % ihrer Kurzkontext-Leistung: https://arxiv.org/pdf/2502.05167
Eigene KV-Cache-Rechnung aus den config.json der Modelle (HuggingFace): Qwen3-32B (2025) 32 GiB KV-Cache bei 128k; Qwen3.6-27B (2026, Hybrid-Attention) ~8 GiB (Faktor 4); die noch sparsamere MoE-Variante Qwen3.6-35B-A3B 2,5 GiB (Faktor ~13).
arXiv 2601.14277 — Which Quantization Should I Use? (Llama-3.1-8B, GGUF): GSM8K bricht bei Q3_K_S um 9,32 Punkte ein (77,63 → 68,31), während die Perplexität kaum steigt: https://arxiv.org/html/2601.14277v1
arXiv 2504.04823 — Quantization Hurts Reasoning? (COLM 2025): Reasoning-Modelle sind quantisierungsempfindlich; unter W4A4KV4 fällt AIME-120 auf 3,9 %: https://arxiv.org/html/2504.04823v1
arXiv 2603.24472 (Microsoft Research/KAIST/SNU, via bdtechtalks 13.04.2026) — Destillation unterdrückt die „epistemische Verbalisierung“ (das Prüf-Vokabular „warte/hmm“), weil der Lehrer die Lösung bereits kennt: https://bdtechtalks.com/2026/04/13/llm-self-distillation-tradeoffs/
Red Hat Developer, 15.06.2026 — vLLM ≈ 44× llama.cpp bei 64 parallelen Nutzern; Hugging Faces TGI „now in maintenance mode“: https://developers.redhat.com/articles/2026/06/15/llamacpp-vs-vllm-choosing-right-local-llm-inference-engine
jobvector / Glassdoor (2026) — MLOps-Gehalt Deutschland Ø ~75.000 €; mit Arbeitgeberkosten ~90.000 €/Jahr. Eigene Rechnung: 10 % einer Stelle ≈ 2,4× RTX 5090 (Median 3.800 €, März 2026, ComputerBase) pro Jahr.