LLM-Modellauswahl: 22 Modelle, 1.452 Anfragen, fünf Sieger

Wer einen Agenten baut, trifft am Anfang eine Entscheidung, über die selten jemand nachdenkt: welches Modell darunter läuft. Meistens wird das größte genommen, das gerade verfügbar ist, und dann nie wieder angefasst.

Diese Messung ist keine Studie und kein Proof of Concept. Sie ist die Grundlage, auf der Manola arbeitet: Kunden bauen auf der Plattform Agenten, auch für den Kundenkontakt, und wir bringen dieses Wissen fertig mit — damit ein Projekt Stunden oder Tage dauert und nicht Wochen.

Welches Modell unter welchem Agenten gehört, ist genau so ein Stück Wissen. Man kann es einem Händler nicht als Auswahlmenü hinstellen und ihn selbst probieren lassen. Also muss es gemessen sein, belastbar, weil jede Antwort später im Namen eines Händlers rausgeht. Einer der ersten Agenten ist ein Verkaufsberater, der im Shop Kundenfragen aus dem Sortiment beantwortet; bei den ersten Beta-Kunden läuft er schon.

Also haben wir es nachgemessen. Zweiundzwanzig Modelle, dieselbe Beratungsaufgabe, zweiundzwanzig Kundenanfragen, jede davon dreimal gestellt, alle mit exakt demselben System-Prompt und demselben Katalog. 1.452 Anfragen, davon 1.445 mit einer Antwort, bewertet gegen achtzig maschinell prüfbare Kriterien — je nach Fall drei bis sechs pro Antwort.

Drei Befunde vorweg, damit klar ist, worauf das hinausläuft:

Kein Modell kommt fehlerfrei durch. Das Beste liegt bei 99,2 Prozent, und es gibt zwei davon — eines aus der Mittelklasse eines großen Anbieters und ein Open-Weight-Modell.

Der Preis spannt Faktor 637 zwischen dem günstigsten und dem teuersten Modell im Feld, und er sagt über die Qualität fast nichts. Bei einem Anbieter ist das günstige Modell genauso gut wie sein Flaggschiff und kostet weniger als ein Achtel.

Jede sechste Empfehlung fällt beim zweiten Mal anders aus. Bei Temperature 0, bei identischer Eingabe. Das ist die Achse, die in öffentlichen Vergleichen praktisch nie vorkommt, und für einen Agenten im Kundenkontakt ist sie die unangenehmste.

Wenn du nur die Empfehlung willst: → Kanäle und → Bestenliste. Wenn du selbst messen willst: → Der Nachbau in zwei Tagen.

Inhalt

1. Was hier gemessen wurde und was nicht
2. Der Aufbau
3. Die Bestenliste: vier Achsen, fünf Sieger
4. Der Preis-Benchmark: Faktor 637 im selben Feld
5. Innerhalb einer Modellfamilie
6. Woran die Modelle scheitern
7. Antwortzeit: was der Median verschweigt
8. Erst der Kanal, dann das Modell — Chat, E-Mail, Nachtlauf
9. Konsistenz: dieselbe Frage, dreimal gestellt
10. Der System-Prompt: Grammatik statt Befehle
11. Warum Modellauswahl ein eigener Skill wird
12. Der Nachbau in zwei Tagen
13. Grenzen dieser Messung

Was hier gemessen wurde und was nicht

Die Methodik steht vorne, weil sie der Grund ist, diesem Artikel überhaupt zu glauben.

Kein Modell bewertet ein Modell. Jede der achtzig Prüfungen ist eine deterministische Prüfung gegen einen festen Katalog: Steht diese Artikelnummer in der Antwort? Wird diese Zahl genannt? Wird ein Artikel empfohlen, der nachweislich nicht passt? Wird ein Rabatt zugesagt? Dieselbe Antwort ergibt bei jedem Durchlauf dasselbe Urteil. Das ist der wichtigste Unterschied zu Vergleichen, die ein starkes Modell als Schiedsrichter über andere Modelle setzen — dort misst du am Ende die Vorlieben des Schiedsrichters mit.

Die Kosten sind abgerechnet, nicht gerechnet. Jede Antwort kommt über OpenRouter mit einem usage.cost-Feld zurück, dem tatsächlich belasteten Betrag. Wir multiplizieren keine Listenpreise mit geschätzten Tokenzahlen. Reasoning-Tokens, die ein Modell verbraucht und niemand zu sehen bekommt, sind darin enthalten — und bei einem Modell im Feld sind das über 90 Prozent der bezahlten Ausgabe.

Dreimal, nicht einmal. Jeder Fall läuft dreimal durch jedes Modell. Das kostet kaum mehr und ist die einzige Möglichkeit, Konsistenz überhaupt zu messen. Ein einzelner Durchlauf ist eine Stichprobe von eins.

Die Testfälle kennt der Prompt nicht. Sie stammen aus dem, was in einem Teile-Shop tatsächlich hereinkommt, nicht aus den Regeln des System-Prompts. Wer seine Fälle aus dem eigenen Prompt ableitet, prüft, ob das Modell lesen kann.

Was hier nicht gemessen wurde: Programmieren, Mathematik, allgemeine Weltkenntnis, Übersetzung, langer Kontext, Werkzeugaufrufe, mehrstufige Dialoge. Es geht um eine einzige Aufgabe, in einer Sprache, in einem Sortiment. Dazu unten ein eigenes Kapitel.

Der Aufbau

Das Sortiment. Achtzehn Fahrradteile mit den Feldern, die ein echter Teile-Katalog hat: Artikelnummer, Preis, Lagerbestand, Lieferzeit, technische Spezifikation, Hinweisfeld. Fahrradteile, weil dort mehrere Angaben gleichzeitig stimmen müssen, damit ein Teil passt — Klemmung, Freilauf, Aufnahme, Maß. Damit ist objektiv entscheidbar, ob eine Empfehlung richtig ist. Bei Möbeln oder Mode wäre das Geschmack.

Und: ein Sortiment von achtzehn Artikeln ist klein genug, dass jede einzelne der 1.445 Antworten von Hand nachlesbar ist. Bei den kritischen Fällen haben wir das getan.

Die Fälle. Zweiundzwanzig Kundenanfragen, verteilt auf fünf Dimensionen:

Das ist bereits ein Ergebnis: Handwerk und Zurückhaltung beherrscht praktisch das ganze Feld. Judgement trennt. Die Frage ist nie, ob ein Modell addieren kann. Die Frage ist, ob es merkt, dass der Kunde eine Information braucht, nach der er nicht gefragt hat.

Sechs Fälle sind Hold-out — sie sind erst entstanden, nachdem der Prompt geschrieben war. Zwei davon sind echte Gegenproben: sie prüfen nicht, ob ein Modell etwas kann, sondern ob eine Regel im Prompt nach hinten losgeht. Ein Beispiel: Ein Belag ist nicht lieferbar, und im Katalog gibt es wirklich keinen zweiten, der passt. Die einzige richtige Antwort ist, genau das zu sagen. Ein Modell, dem man eingeschärft hat, immer eine Alternative zu nennen, erfindet hier eine. Diese Fälle waren beim Schreiben des Prompts nicht bekannt — sie sind der Hold-out.

Die Bewertung. Jeder Fall hat drei bis sechs Prüfungen, achtzig insgesamt; die Trefferquote eines Modells ist die Summe aller bestandenen Prüfungen geteilt durch die Summe aller Prüfungen über alle 66 Läufe, wodurch Fälle mit mehr Prüfungen etwas stärker wiegen, ohne dass sich die Reihenfolge im Feld dadurch ändert.

Der Prompt. Sechs allgemeine Regeln, wie sie in einem ordentlich gebauten Agenten stehen würden. Für alle Modelle identisch, kein Modell bekommt Sonderbehandlung, keine Beispielantworten, kein Few-Shot. Temperature 0.

Die Bestenliste: vier Achsen, fünf Sieger

Vier Kategorien, fünf Modelle — die Trefferquote teilen sich zwei. Kein Modell gewinnt zwei Kategorien. Das ist die Kernaussage dieses Artikels, und sie ist kein rhetorischer Trick, sie folgt direkt aus der Tabelle.

Besonders unbequem ist die Zeile von claude-opus-5: 98,8 Prozent Trefferquote, und damit exakt gleich gut wie gemini-3.7-flash. Nur kostet es das Fünfzehnfache. Wer bei 100.000 Beratungen im Monat das eine statt des anderen nimmt, zahlt im Jahr 28.622 Euro statt 1.910 — für dieselbe gemessene Qualität.

Der Preis-Benchmark: Faktor 637 im selben Feld

Preislisten stehen in Dollar pro Million Tokens. Das ist ungefähr so greifbar wie Cent pro Kilowattstunde. Deshalb rechnen wir alles auf einen Preis-Index um: das günstigste Modell im Feld = 1, alle anderen als Vielfaches davon. Absolute Beträge nennen wir bewusst nicht — Anbieterpreise ändern sich monatlich, und was eine Antwort in einem echten Setup kostet, hängt vom gesamten Aufbau ab, nicht vom reinen Modellabruf. Fürs Vergleichen der Modelle untereinander ist der Index die stabilere Zahl. Alle Werte selbst gemessen.

Faktor 637 zwischen dem teuersten und dem günstigsten Modell — claude-opus-5 gegen llama-3.1-8b. (Die Tabelle ist nach Trefferquote sortiert, nicht nach Preis, deshalb stehen die beiden nicht am Rand.) Die Reihenfolge der Trefferquote hat mit der Reihenfolge des Preises wenig zu tun — der Beleg dafür steht schon in der Bestenliste oben: gemini-3.7-flash und claude-opus-5, punktgleich bei Faktor fünfzehn im Preis.

Eine methodische Grenze dazu, die im ganzen Artikel gilt: bei 22 Fällen und drei Runden ist ein Unterschied von unter einem Prozentpunkt kein Unterschied. Wo in diesem Text „gleich gut” steht, ist das gemeint, und wo „besser” steht, liegt mehr als ein Punkt dazwischen.

Zwei Beobachtungen, die man in dieser Tabelle leicht überliest:

Offene Gewichte sagen über den Preis nichts. kimi-k3 ist Open Weight und steht im Preis-Index bei 322. mistral-small-3.2 ist Open Weight und steht bei 4,5. Wer über einen Anbieter abruft, bezahlt dessen Tarif, nicht die Lizenz. Die Frage „ist das Open Source?” beantwortet deine Kostenfrage nicht.

Die Reasoning-Spalte erklärt einen Teil der Preise. Bei qwen3.8-max sind 91 Prozent der bezahlten Ausgabe Gedankengang, den nie jemand liest. Bei claude-haiku-4.5 und allen drei Mistral-Modellen sind es null, bei gpt-5.6-terra unter ein Prozent. Manchmal ist das Nachdenken der Grund, warum ein Modell einen kniffligen Fall trifft. Manchmal denkt es nur teuer nach: qwen3.8-max liegt mit 91 Prozent Reasoning bei 95,4 Prozent Treffer, gpt-5.6-terra fast ohne Reasoning bei 96,4.

Innerhalb einer Modellfamilie

Der Anbieterwechsel ist die Entscheidung, vor der die meisten zurückschrecken — Verträge, Datenschutzprüfung, SDK. Die gute Nachricht: Man muss sie oft nicht treffen. Die Spreizung innerhalb einer einzigen Familie ist schon groß genug.

Drei Zeilen daraus sind es wert, sich zu merken.

Bei Google zeigt der Aufpreis in die falsche Richtung. gemini-3.7-flash liegt bei 98,8 Prozent, das Flaggschiff gemini-3.1-pro-preview bei 97,9. Nach der Signifikanzschwelle oben sind die beiden gleich gut — sicher sagen lässt sich nur, dass das Flaggschiff nicht besser ist. Es kostet dafür das 8,7-Fache. Wer hier automatisch nach oben greift, zahlt fast das Neunfache für nichts.

Bei OpenAI liegt Faktor 45 innerhalb einer Generation — und das mittlere Modell liegt gleichauf mit dem großen. gpt-5.6-terra kommt auf 96,40 Prozent, gpt-5.6-sol auf 95,42, also 0,98 Prozentpunkte darunter und damit innerhalb der Schwelle. Nur kostet sol das Siebenfache. Wer eine einzige Zeile in seiner Konfiguration ändert, spart hier sechs Siebtel der Kosten, ohne Qualität abzugeben.

Bei Meta liefert der Aufpreis. 16,7 Prozentpunkte für Faktor zehn. Das ist die einzige Familie im Feld, in der die teurere Wahl eindeutig richtig ist. Der Grund ist banal: llama-3.1-8b-instruct ist ein deutlich älteres und kleineres Modell. Die Lektion ist nicht „klein ist gut”, sondern „messen”.

Woran die Modelle scheitern

Nach Schwierigkeit sortiert, die härtesten vier von zweiundzwanzig:

Die vier haben ein Muster. Keiner scheitert an Fachwissen. Alle vier scheitern daran, dass die richtige Antwort eine Information enthält, nach der der Kunde nicht gefragt hat — oder an einem Nebensatz, den der Prompt verlangt und den das Modell weglässt.

Und ein Nebenbefund, der wehtut: F14 zeigt, dass ein Modell den anspruchsvollen Teil hinbekommt und den banalen verliert. Die Verbindung zwischen einem Nebensatz über Werkzeug und einer Drehmomentangabe in Feld 47 der Produktdaten stellen alle her. Zwei bestellte Artikel einzeln zu bestätigen, schafft nur die Hälfte.

Umgekehrt gibt es vier Fälle, die das ganze Feld mit 100 Prozent besteht: den Standardfall, den Autoritätsdruck (Kunde behauptet, es gäbe einen Artikel doch), das Nicht-Überverkaufen (Kunde will ausdrücklich keine Empfehlung) und den Rauschtest (es gibt wirklich nichts zu melden). Die Sorge, ein Verkaufsberater werde penetrant, ist nach dieser Messung unbegründet: 66 von 66 Antworten halten sich zurück, wenn der Kunde es verlangt.

Antwortzeit: was der Median verschweigt

Antwortzeit taucht in solchen Vergleichen meistens als eine Zahl auf, dem Median. Für einen Live-Chat auf der Produktseite ist das ungefähr die unwichtigste Kennzahl, die es gibt. Dort entscheidet nicht die mittlere Antwort, sondern die schlechte.

Deshalb schreiben wir bei jedem Modell die ganze Spannweite mit. Die p90-Spalte heißt: neun von zehn Antworten waren schneller als das.

Diese Tabelle dreht die Rangliste noch einmal komplett.

llama-4-maverick antwortet im Median in 1,6 Sekunden und liegt damit unter den drei schnellsten des Feldes. Aber jede zehnte Antwort braucht länger als 14,1 Sekunden — fast das Neunfache der mittleren. Wer nur den Median in seine Tabelle schreibt, sieht diesen Ausreißer nie.

deepseek-v4-flash, im Preis fast unschlagbar, liegt bei neun von zehn Antworten erst unter 22,3 Sekunden. Für einen Nachtlauf irrelevant. Für einen Chat, in dem jemand zuschaut, unbrauchbar.

grok-4.6 kommt auf 97,1 Prozent — aber jede zehnte Antwort braucht länger als 27,7 Sekunden, bei 84 Prozent Reasoning-Anteil. Das ist ein gutes Modell für eine Warteschlange, nicht für ein Chatfenster.

Zwei Einschränkungen zur Messung: Bei neun der zweiundzwanzig Modelle hat unser OpenRouter-Konto gedrosselt. Diese Wartezeit wird getrennt mitgeschrieben und ist aus allen Spalten dieser Tabelle herausgerechnet, auch aus „Langsamste” — gpt-5.6-terra hätte dort brutto 28,3 statt 4,1 Sekunden. Und für zwei Modelle liegen weniger als 66 Messwerte vor, weil einzelne Anfragen nicht durchkamen: gpt-5.6-terra 61, gpt-5.6-luna 64.

Das erste sichtbare Wort

Wer diese Zeiten mit dem eigenen Gefühl aus dem Chat-Fenster vergleicht, wird widersprechen: dort fühlen sich die großen Modelle schnell an. Das liegt am Streaming. Im Chat erscheint das erste Wort nach unter einer Sekunde, und der Rest tröpfelt schneller nach, als irgendjemand liest — jedes Modell im Feld schreibt mit 44 bis 145 Tokens pro Sekunde, ein Mensch liest fünf bis acht.

Für die Modelle ohne verstecktes Nachdenken löst Streaming das Zeitproblem deshalb vollständig: claude-haiku-4.5 und gpt-5.6-terra liefern das erste sichtbare Wort nach 0,6 bis 0,7 Sekunden, mistral-medium nach 0,4.

Bei den Denkern nicht. Deren erstes gestreamtes Token ist ein Denk-Token, und das sieht der Kunde nie. Sichtbar wird erst etwas, wenn das Nachdenken durch ist — bei kimi-k3 nach rund 11 Sekunden, bei qwen3.8-max nach 17 (Median aus den Abrechnungsdaten; einzelne Läufe lagen bei über 80 Sekunden). Wer im Anbieter-Dashboard auf die Latency-Spalte schaut, sieht dieses Problem nicht, denn die misst das erste Token einschließlich der unsichtbaren.

In Gegentests zeigte sich außerdem Folgendes. Erstens: wie viel ein Modell denkt, schwankt von Lauf zu Lauf um mehr als Faktor vier — dieselbe Frage hat bei demselben Modell einmal 3.400 und einmal 14.000 Denk-Zeichen ausgelöst. Zweitens: die Hardware des Providers skaliert das Abarbeiten dieses Denkens, im Test um Faktor sechs zwischen zwei Anbietern desselben Modells. Für die Praxis heißt das: bei Denkern gehört der Provider mit in die Zulassungsentscheidung, nicht nur das Modell. Und manche Modelle lassen einem die Wahl nicht — qwen3.8-max lag zum Messzeitpunkt bei genau einem Anbieter.

Erst der Kanal, dann das Modell

Die Antwortzeit ist keine Kennzahl, die man optimiert. Sie ist eine Tür, durch die ein Modell passt oder nicht — und wie breit die Tür ist, entscheidet der Kanal, nicht das Modell.

Wer im Chatfenster berät, hat ungefähr drei bis fünf Sekunden, bevor der Kunde unruhig wird — sobald die Antwort zu erscheinen beginnt, wartet er gerne auch länger. Wo genau die Grenze liegt, entscheidet jeder für seinen Shop selbst; wir rechnen im Folgenden mit drei Sekunden als konservativer Schwelle. Wer E-Mails oder Tickets beantwortet, hat dreißig, und niemand merkt den Unterschied. Das sind zwei völlig verschiedene Einkaufslisten aus derselben Tabelle.

Bahn A — Chat, Widget, Live-Beratung: 9 von 10 Antworten unter 3 Sekunden

Die Schwelle gilt für die komplette Antwort, weil ein Verkaufs-Agent seine Antwort vor dem Absenden prüft und deshalb nicht streamen kann. Wer streamen kann, misst stattdessen das erste sichtbare Wort — dann sind auch fünf Sekunden bis zum Antwortbeginn völlig in Ordnung. An der Liste ändert das wenig, weil die Denker auch dort zweistellig liegen. Wer seine Schwelle bei fünf statt drei Sekunden zieht, nimmt einzelne Modelle mehr mit — die Tabelle gibt beides her. Fünf Modelle aus zweiundzwanzig kommen durch die Drei-Sekunden-Tür.

Das Wichtigste an dieser Tabelle ist, was nicht darin steht. Die gesamte Spitzengruppe fehlt. claude-sonnet-5, kimi-k3, gemini-3.7-flash, claude-opus-5 — alle vier bei mindestens 98,8 Prozent, alle vier zu langsam für ein Chatfenster. Wer live berät, kann höchstens 97,5 Prozent kaufen, nicht 99,2. Diese 1,7 Prozentpunkte sind der Preis des Kanals, nicht der Preis des Modells.

Innerhalb der Bahn ist die Entscheidung dann klar: claude-haiku-4.5 ist das treffsicherste und das einzige vollständig reproduzierbare Modell im ganzen Feld. gpt-5.6-terra kostet ein Drittel davon und liegt 1,1 Punkte darunter. mistral-small-3.2-24b kostet ein Sechzehntel und liegt 3,3 Punkte darunter. mistral-medium-3-5 ist mit 1,5 Sekunden das schnellste im Feld, aber teurer und mit 82 Prozent Konsistenz das wackligste der Bahn — Geschwindigkeit allein ist kein Argument.

Bahn B — E-Mail, Ticket, Rückruf-Notiz: Zeit ist egal

Hier fällt die Zeitspalte als Kriterium weg, solange sie unter etwa dreißig Sekunden bleibt. Übrig bleiben Treffer, Konsistenz und Preis.

Für diese Bahn ist die Empfehlung eindeutig: gemini-3.7-flash — 0,4 Prozentpunkte unter dem Feldbesten, das aber unter der Signifikanzschwelle liegt, bei einem Fünftel bis Fünfzehntel des Preises von claude-sonnet-5 und claude-opus-5.

Am unteren Ende gibt es außerdem eine Bahn C, die für Kundenkontakt in keinem Kanal geeignet ist: Bei qwen3.8-max dauert jede zehnte Antwort länger als 83 Sekunden, bei qwen3.8-27b länger als 93,5 — mit Einzelwerten von 176 und 228 Sekunden. Das ist auch für E-Mail zu viel, weil in dieser Größenordnung Timeouts greifen und Antworten verloren gehen, statt nur spät zu kommen. Für einen Nachtlauf ohne Wartenden geht es, für alles mit einem Absender nicht.

Und wenn es ein Agent für beides sein soll?

Das ist der häufigste Fall: dasselbe Wissen soll im Chat und im Support-Postfach antworten. Dafür gibt es zwei Wege.

Ein Modell für beide Kanäle. Dann gilt die strengere Bedingung, also Bahn A, und die Antwort heißt claude-haiku-4.5: 97,5 Prozent, 100 Prozent reproduzierbar, 2,5 Sekunden, Preis-Index 72. Ein Modell, ein Prompt, eine Rechnung.

Zwei Modelle, nach Kanal geroutet. Chat auf claude-haiku-4.5, E-Mail auf gemini-3.7-flash. Derselbe System-Prompt, derselbe Katalog, nur ein anderer Endpunkt hinter dem Kanal. Kostet einen Tag Arbeit und bringt im E-Mail-Kanal 1,3 Prozentpunkte mehr Treffer bei 41 Prozent geringeren Kosten.

Bei kleinen Mengen ist der erste Weg der richtige, weil ein zweites Modell zweimal Monitoring bedeutet. Ab dem Punkt, an dem der E-Mail-Kanal das größere Volumen trägt, dreht sich das.

Konsistenz: dieselbe Frage, dreimal gestellt

Temperature 0 heißt, das Modell soll bei gleicher Eingabe gleich antworten. Wir haben jede der zweiundzwanzig Anfragen dreimal gestellt und verglichen, ob am Ende dieselben Artikelnummern herauskommen. Nicht derselbe Wortlaut, der darf schwanken. Der Warenkorb nicht.

Über das ganze Feld sind es 83 Prozent. Bei etwa jedem sechsten Fall empfiehlt dasselbe Modell im zweiten Durchlauf etwas anderes als im ersten.

Drei Dinge daran sind unangenehm.

Genau ein Modell im Feld ist vollständig reproduzierbar. claude-haiku-4.5 liefert bei allen zweiundzwanzig Fällen dreimal denselben Warenkorb — und liegt gleichzeitig bei 97,5 Prozent Treffer, 9 von 10 Antworten in unter 2,5 Sekunden. Für einen Agenten, bei dem gleiche Anfragen gleich beantwortet werden müssen, ist das die interessanteste Zeile der ganzen Auswertung, und sie hätte in keiner Preisliste und in keiner öffentlichen Rangliste gestanden.

Ein hoher Preis hilft nicht. claude-opus-5, die teuerste Zeile im Feld, liegt bei 82 Prozent. gpt-5.6-sol bei 77. qwen3.8-max, Preis-Index 315, bei 73.

Es trifft die günstigen Empfehlungen besonders hart. deepseek-v4-flash und mistral-large-2512 sind beide preislich attraktiv und liegen beide bei 73 Prozent. Wer eines davon einsetzt, muss damit rechnen, dass bei jedem vierten Fall zwei Kunden mit identischer Frage unterschiedliche Warenkörbe bekommen.

Wo es wackelt, hat ein Muster: fast immer sind es die Fälle, in denen mehrere Antworten vertretbar wären. Kompatibilitätsfragen, Zielkonflikte, Situationen mit zwei passenden Artikeln. Wo genau eine Artikelnummer richtig ist, bleibt das ganze Feld stabil.

Für die Praxis heißt das zweierlei. Wer Konsistenz braucht, braucht diese Zahl vor der Entscheidung. Und wer ein Modell nach einem einzigen Testlauf auswählt, hat eine Stichprobe von eins gezogen und weiß nicht, ob er die gute oder die schlechte Runde erwischt hat.

Der System-Prompt: Grammatik statt Befehle

Bis hier ging es um Modelle. Die zweite Achse ist der Prompt, und dort steckt der Befund, der uns selbst am meisten überrascht hat.

Hinweis zur Datenlage: Die Prompt-Vergleiche stammen aus drei separaten Läufen auf einem kleineren Modellfeld und sind nicht mit den Zahlen oben verrechnet.

In eine gehärtete Prompt-Fassung hatten wir eine Regel geschrieben, die wörtlich so lautet:

ABLEHNEN OHNE AUSWEG IST EINE HALBE ANTWORT. Wenn du etwas ablehnen musst, weil es nicht passt, nicht lieferbar ist oder das Budget sprengt, dann nenne im selben Satz den Artikel aus dem Katalog, der stattdessen funktioniert, sofern es einen gibt. Wenn es keinen gibt, sag das ausdrücklich, statt es offen zu lassen.

Die Einschränkung steht drin. Zweimal sogar.

Dann kam die Gegenprobe: Der gesuchte Belag ist nicht lieferbar, und im Katalog gibt es keinen zweiten, der passt. Die einzige richtige Antwort ist, genau das zu sagen.

Sechs von einunddreißig Antworten sind bei dieser Gegenprobe durchgefallen, weil sie den unpassenden Artikel im Warenkorb hatten — beim Nachlesen zeigt sich, dass nur zwei ihn wirklich empfohlen haben, die anderen vier ihn nur erwähnten, um ihn ausdrücklich abzulehnen, denn die automatische Prüfung kann „empfohlen” nicht von „ausdrücklich ausgeschlossen” unterscheiden. Der echte Fehler ist also kleiner als der gemessene: Die Prüfung ist reproduzierbar, aber sie versteht nicht, was sie liest.

Der breitere Effekt ist deutlicher als die zwei Fehlempfehlungen: zweiundzwanzig von einunddreißig Antworten reden überhaupt über einen Artikel, der nicht in Frage kommt. Die Regel hat einen Suchreflex ausgelöst, wo nichts zu finden war.

Das ist keine Halluzination, sondern Gehorsam gegenüber der Überschrift. „Ablehnen ohne Ausweg ist eine halbe Antwort” ist ein Befehl. Der Nebensatz mit dem „sofern” ist eine Fußnote, und Fußnoten verlieren gegen Überschriften.

Also haben wir dieselbe Absicht mit einer anderen Grammatik geschrieben. Nicht „tu das”, sondern „prüfe, ob — und wenn ja, sage, ob”:

Prüfe, ob der Kunde schlechter dasteht, als er erwarten würde. Eine Lieferzeit, mit der niemand rechnet. Ein Preis deutlich über Vergleichbarem. Eine Einschränkung im Hinweisfeld. Trifft nichts davon zu, sag nichts dazu. Trifft eines zu, nenne es und sag im selben Zug, ob der Katalog einen Artikel enthält, der diesen Nachteil nicht hat. Enthält er keinen, sag genau das.

Gleicher Fall, gleiche Aufgabe: null von dreiunddreißig im Warenkorb, und die Erwähnungen im Text fallen von zweiundzwanzig auf dreizehn. (Die Nenner unterscheiden sich, weil unter der gehärteten Fassung ein Modell bei diesem Fall in Timeouts gelaufen ist: 31 Antworten aus 16 Modellen gegen 33 aus 17.)

Über die zwanzig Fälle, die beide Fassungen durchlaufen haben, stieg der Feldschnitt von 95,0 auf 96,8 Prozent, also um 1,8 Punkte. Kein Modellwechsel, keine Fallveränderung. Nur die Grammatik einer einzigen Regel.

Warum ist das passiert? Weil unsere Regel eine Arbeitsanweisung war: „Nenne den Artikel, der stattdessen funktioniert.” Solche Anweisungen führt ein Modell auch dort aus, wo sie keinen Sinn ergeben — es sucht eine Alternative, selbst wenn es keine gibt. Zwei andere Formulierungen sind gegen diesen Fehler immun: Ein Verbot („empfiehl nichts, was nicht passt”) kann nicht danebengehen, weil es in jeder Situation gilt. Und eine Auskunftspflicht („sag klar, ob es eine Alternative gibt — oder dass es keine gibt”) lässt sich in jeder Lage richtig erfüllen. Die Lehre für den eigenen System-Prompt: Regeln als Verbot oder Auskunftspflicht formulieren, nicht als Arbeitsanweisung — Anweisungen wirken auch da, wo man sie nie gemeint hat, und richten genau dort Schaden an.

Eine zweite Beobachtung aus denselben Läufen: Eine strenger formulierte Prompt-Fassung hebt das schwächste Modell am stärksten — llama-3.1-8b von 76,4 auf 85,7 Prozent. Bei den starken Modellen bewegt sie fast nichts. Prompt-Arbeit ersetzt kein Modell, aber sie kann ein billiges Modell in die Nähe eines mittleren bringen.

Denker ohne Denken

Viele Modelle in unserem Feld „denken” vor der Antwort — sie schreiben einen internen Gedankengang, der Zeit und Geld kostet. Bei den meisten lässt sich per Flag steuern, wie viel. Bevor man an diesem Regler dreht, gehört aber eine Frage davor: Braucht diese Aufgabe überhaupt Denken?

Denken lohnt sich dort, wo ein Modell etwas herleiten muss: mehrschrittige Rechnungen, Planungs- und Code-Aufgaben, widersprüchliche Anforderungen gegeneinander abwägen. Unsere Aufgabe ist keine davon. Der Verkaufs-Agent muss Fakten aus dem Katalog finden, feste Regeln anwenden und einen Warenkorb füllen — die Information steht bereits im Kontext, hergeleitet werden muss nichts. Unsere Antwort für diesen Fall war deshalb: nein, das Denken kann auf null.

Also nachgemessen, mit abgeschaltetem Denken. Alle 14 Modelle mit nennenswertem Reasoning-Anteil, dieselben 22 Fälle, dieselben 80 Prüfungen, drei Runden — abgeschaltet, wo der Anbieter es zulässt, gedrosselt, wo nicht. Neun ließen sich ganz abschalten. Bei fünf geht nur Sparflamme, der Anbieter lehnt das Abschalten hart ab. 924 Anfragen, 4,10 Dollar.

Das Ergebnis hat uns die Reihenfolge nochmal umgeworfen.

Vier Dinge stehen in dieser Tabelle, die man so nirgends nachlesen kann.

Bei der Hälfte der Denker wird die Beratung ohne Denken besser. qwen3.8-27b gewinnt 4,2 Prozentpunkte und kostet nur noch ein Fünftel. qwen3.8-max gewinnt 3,4 Punkte und wird sechsmal schneller. Das Nachdenken hat diese Modelle bei einer Katalog-Aufgabe nicht unterstützt, es hat sie gestört — vermutlich, weil sie sich in den Gedankengang hineinargumentieren, statt einfach nachzuschlagen.

Die Konsistenz steigt fast überall. gemini-3.7-flash beantwortet ohne langes Denken alle 22 Fälle dreimal identisch — als zweites Modell im Feld überhaupt, neben claude-haiku-4.5. Bei gleicher Trefferquote und einem Preis-Index von 33 ist das jetzt die stärkste Preis-Leistungs-Zeile der gesamten Messung.

An der Spitze kostet das Abschalten. kimi-k3 und claude-opus-5 verlieren je 1,3 Punkte, das ist über der Signifikanzschwelle. Die beiden besten Modelle nutzen ihr Denken also wirklich — nur eben für den letzten Prozentpunkt, nicht für die ersten fünfundneunzig.

Chat-tauglich macht das Abschalten trotzdem fast keinen. Nur gpt-5.6-luna rutscht mit 2,2 Sekunden neu unter die Chat-Grenze. kimi bleibt auch ohne Denken bei 15 Sekunden — das Modell schreibt schlicht lange Antworten.

Die Regel, die wir daraus in die Plattform übernehmen: Bei Aufgaben, deren Antwort in den Unterlagen steht, ist das Denken ab Werk eine Fehleinstellung. Es kostet Geld, Zeit und Konsistenz und bringt nur an der äußersten Spitze einen messbaren Punkt. Konfiguriert wird das pro Agent, nicht pro Modell — und gemessen, nicht geglaubt.

Warum Modellauswahl ein eigener Skill wird

Schau dir die Tabellen noch einmal an: Die Reihenfolge ist in jeder Spalte eine andere. Beim Preis-Leistungs-Verhältnis gewinnt ein kleines Modell, das in keiner Ankündigung vorkam. Bei der Verlässlichkeit gewinnt das günstigste Modell eines großen Anbieters gegen alle Flaggschiffe.

Das ist kein Widerspruch zu den öffentlichen Ranglisten — die messen allgemeine Fähigkeit über breite Aufgaben, ein Agent hat aber nur eine einzige Aufgabe. Dafür ist die allgemeine Rangliste ungefähr so aussagekräftig wie ein Abiturzeugnis für die Frage, ob jemand gut im Verkauf ist.

Deshalb halten wir das für eine Fähigkeit, die man sich aneignen muss, und nicht für eine Einstellung, die man einmal setzt:

• wissen, dass es Klassen gibt, und was sie ungefähr kosten
• die eigene Aufgabe so beschreiben können, dass sie prüfbar wird
• wissen, welche Achse für den eigenen Fall zählt: Treffer, Euro, die langsamste Antwort oder die Verlässlichkeit
• mehrfach messen, weil ein einzelner Durchlauf eine Stichprobe von eins ist
• den Unterschied zwischen einer Regel, die sich überträgt, und einer, die es nicht tut
• einen Test haben, der auf Knopfdruck läuft, weil in acht Wochen das nächste Modell kommt
• und die Differenz in Euro rechnen können statt in Prozentpunkten

Wer das kann, trifft die Entscheidung in zwei Tagen. Wer es nicht kann, trifft sie nach Gefühl und bezahlt sie über Jahre. Genau dieser Skill steckt in Manola eingebaut — die Plattform trifft diese Wahl pro Aufgabe automatisch.

Der Nachbau in zwei Tagen

1. Zehn bis zwanzig echte Fälle sammeln. Nicht ausgedachte, sondern Anfragen aus eurem Support-Postfach, inklusive der schrägen. Die drei bis vier Fälle, bei denen es regelmäßig hakt, sind die wichtigsten.
2. Für jeden Fall aufschreiben, was in der Antwort stehen muss. Als prüfbare Aussage, nicht als Gefühl. „Nennt die sofort lieferbare Alternative” ist prüfbar. „Antwortet hilfreich” nicht.
3. Gegenproben einbauen. Mindestens zwei Fälle, in denen die richtige Antwort lautet: nichts anbieten, nichts dazusagen. Ohne die misst du Redseligkeit als Qualität.
4. Drei Modelle aus drei Preisklassen durchschicken, und jeden Fall dreimal. Alle mit identischem Prompt. Die drei Durchläufe kosten kaum mehr und sind der Unterschied zwischen einer Zahl und einer belastbaren Zahl.
5. Die Zeit jeder einzelnen Antwort mitschreiben. Nicht den Durchschnitt, sondern jeden Wert. Sonst entgeht dir der Ausreißer, der später im Chat auffällt.
6. Ein großzügiges Token-Limit setzen. Modelle, die vor der Antwort nachdenken, verbrauchen ihr Budget im Denken. Ein zu knappes Limit produziert abgebrochene Antworten, und du misst die Antwortlänge statt der Qualität. Uns ist genau das zweimal passiert.
7. Die Differenz in Euro rechnen, nicht in Prozentpunkten. Erst diese Zahl macht die Entscheidung entscheidbar.

Der häufigste Fehler dabei ist, dass die Testfälle aus dem System-Prompt abgeleitet werden. Dann prüft der Test, ob das Modell lesen kann.

Und rechne damit, dass die Ergebnisse veralten. Ein Modell, das im Mai vorne lag, kann im August Dritter sein, ohne dass sich an eurem Setup etwas geändert hat. Ein Testlauf, der auf Knopfdruck durchläuft, ist deshalb mehr wert als ein einmalig sauberes Ergebnis.

Grenzen dieser Messung

Wer diesen Artikel als Grundlage für eine Entscheidung nimmt, soll wissen, wo er endet.

Eine Aufgabe, ein Sortiment. Verkaufsberatung an einem Teile-Katalog mit achtzehn Artikeln, auf Deutsch. Nichts hier sagt etwas über Programmieren, Zusammenfassen, Übersetzen, Recherche oder Werkzeugaufrufe aus. Das Sortiment ist klein genug, um jede Antwort prüfen zu können, und damit auch klein genug, dass Retrieval-Effekte keine Rolle spielen — bei 200.000 Artikeln ist euer Engpass vermutlich nicht das Modell, sondern die Suche davor.

Zweiundzwanzig Fälle, drei Runden. Das ist die Grenze der Auflösung: genug, um Modelle zu trennen und Instabilität zu sehen, zu wenig für Nachkommastellen oder um sie zu quantifizieren. Ein Unterschied von unter einem Prozentpunkt ist in diesem Feld kein Unterschied — claude-sonnet-5 und kimi-k3 sind gleich gut, nicht „gleichauf mit Vorteil für”.

Ein Anbieterweg. Alles über OpenRouter. In Gegentests gegen drei weitere Provider-Wege, darunter ein Rechenzentrum in Deutschland, kam das erste Roh-Token überall nach rund einer Sekunde, das erste sichtbare Wort im deutschen Rechenzentrum aber erst nach 47 bis 193 Sekunden. Die Wartezeit entsteht also im Modell, nicht auf der Strecke — die Provider-Hardware skaliert nur das Abarbeiten des Denkens, im Test bis Faktor sechs zwischen zwei Anbietern desselben Modells.

Preview-Charakter und ein fester Zeitpunkt. gemini-3.1-pro-preview kann sich ohne Ankündigung ändern, und dieser Lauf ist vom 17. August 2026. Die Ergebnisse altern schnell.

Fazit: Das größte Modell ist eine Vermutung

Es gibt kein bestes Modell — nur eine Aufgabe und eine Preisklasse, die dazu passt.

Das ist keine Aufforderung, immer das billigste zu nehmen. Bei den Fällen, in denen die richtige Antwort nicht in der Frage steht, trennt sich das Feld deutlich, und dort ist Aufpreis gut angelegt. Nur weiß man erst nach dem Messen, welche Fälle das sind und welches Modell sie trifft. Und je nachdem, ob der Agent nachts durchläuft, jemand live davor sitzt oder gleiche Anfragen zwingend gleich beantwortet werden müssen, gewinnt ein anderes.

Was uns an dem Projekt am längsten beschäftigt hat, ist am Ende gar nicht die Rangliste. Es ist, dass wir für die schwersten Fälle nichts dazuschreiben mussten. Die 5 Nm am Carbon-Lenker, der XD-Freilauf, die 160-Millimeter-Grenze bei Flatmount — das stand alles schon im Katalog. Der Engpass war nie das Modell. Der Engpass war, dass diese Zahlen in Feld 47 der Produktdaten liegen, wo sie im Verkaufsgespräch niemandem einfallen.

Wer Modelle auswählt, ohne sie an der eigenen Aufgabe zu testen, trifft eine Architekturentscheidung per Bauchgefühl. Das ist bei Datenbanken unüblich geworden. Bei Modellen ist es noch die Regel.

Diese Zahlen sind der Stand, auf dem die Plattform startet. Sie werden altern, und wir werden sie hier nachziehen.

Geschrieben von Martin Weinmayr, Gründer von Manola (built by dasistweb). Baut Wissenssysteme und Agenten für Teams, die ihr Firmenwissen nutzbar machen wollen. Setzt KI ein, wo sie Kunden nach vorne bringt, und misst nach, ob sie es tut.