Built for agents.Judged by experts.
Wir messen, wie verlässlich Modelle und Agenten in regulierten Fächern arbeiten, und liefern das Material, das sie dort präziser macht, wo sie heute noch danebenliegen.
Talk to Research
Rubrik-Score
0,0 %
15 Kriterien · 12 bestanden · 3 verfehlt, davon 2 kritisch
80 % korrekt. Und trotzdem nicht verwertbar.
FIG 1.0
Die fehlende Instanz.
Sprachmodelle sind in der Lage, plausibel klingende Ergebnisse zu erzeugen. Doch echte Facharbeit ist mehr als eine Antwort. Sie besteht aus Abwägungen, Entscheidungen und Kontext, die nur erfahrene Fachleute treffen können.
Dieses Wissen wurde nie erfasst. Es steht in keinem Handbuch und in keiner Datenbank — es existiert nur in der Art, wie erfahrene Fachleute denken. Und genau deshalb fehlt es in fast allen Evaluationen, mit denen heute gemessen wird, wie gut KI wirklich arbeitet.
Was fehlt, ist das menschliche Fachurteil.
Warum das jetzt gemessen werden muss.
KI-Agenten gehen gerade dort in Produktion, wo Ergebnisse verantwortet werden müssen — in Steuerberatungen, Ingenieurbüros, Kanzleien. Ein Fehler bedeutet dort einen falschen Bescheid, eine falsche Buchung, einen Nachweis, den niemand unterschreibt. In Recht, Steuern und Verwaltung setzen inzwischen 40 % der Organisationen KI ein, fast doppelt so viele wie im Vorjahr. Nur 18 % wissen, ob ihr Nutzen überhaupt gemessen wird. Und die Anbieter schreiben selbst dazu, dass Ergebnisse fachlich zu prüfen sind.
Quelle: Thomson Reuters Institute, AI in Professional Services Report 2026.
Was fehlt, ist ein unabhängiger Maßstab. Damit seine Zahlen tragen, gelten drei Regeln:
Fachpraxis
Aufgaben und Bewertungskriterien stammen von Fachexperten mit mindestens fünf Jahren Praxis, nicht von Crowdworkern.
Konstruierte Fälle
Jeder Fall ist vollständig erfunden — keine Mandate, keine Kundendaten, auch nicht abgewandelt. Nur deshalb kann jemand mitarbeiten, der einer Verschwiegenheitspflicht unterliegt.
Gegenlesen
Jede Aufgabe wird von einem zweiten Fachexperten geprüft, der an ihrer Entstehung nicht beteiligt war. Erst danach zählt sie in einer Auswertung.
Messen, verbessern, nachmessen.
Wir arbeiten mit Fachexperten zusammen, die seit Jahren in ihrem Gebiet arbeiten und für ihre Ergebnisse einstehen müssen. Sie bringen das ein, was in keinem Handbuch steht: woran sie erkennen, dass eine Lösung richtig ist.
Methode und Ablauf bleiben gleich, nur die Fälle wechseln mit dem Fachgebiet.
Messen
Wo steht der Agent heute.
Befund
Ihr Agent bearbeitet Fälle aus Ihrem Fachgebiet. Sie bekommen zwei Kennzahlen, die Punkte und den Anteil verwertbarer Antworten, und jede Stelle, an der ein Ergebnis danebenliegt, mit der Begründung des Fachexperten.
Fachbenchmark
Realistische Fälle aus Ihrem Fachgebiet, konstruiert von praktizierenden Fachleuten, jeweils mit Musterlösung und gewichteten Prüfkriterien. Unabhängig und wiederholbar bei jedem Modellwechsel.
Verbessern
Material, das Ihren Agenten dort präziser macht, wo er heute danebenliegt. So müssen Ihre Fachleute weniger nachprüfen.
Für Kontext und Abläufe
Musterlösungen, gewichtete Prüfkriterien sowie Beispiele für Prompts und Retrieval. Damit lässt sich ein Agent verbessern, ohne das Modell selbst zu trainieren.
Für das Training
Verläufe für Supervised Fine-Tuning, Bewertungsraster für Reinforcement Learning und Umgebungen für Agentenläufe über APIs und MCP. Für Teams, die ihr Modell selbst trainieren.
Nachmessen
Beleg, dass er es wurde.
Laufende Messung
Jeder neue Versionsstand und jeder Modellwechsel läuft gegen dieselben Fälle. Sie sehen nicht nur, ob Ihr Agent besser geworden ist, sondern an welcher Stelle.
Häufige Fragen.
Für wen ist das gemacht?+
Für Unternehmen, die einen KI-Agenten in einem Fachgebiet betreiben und wissen müssen, ob seine Ergebnisse verwendbar sind. Und für Fachexperten, die ihr Urteil in Kriterien fassen wollen, an denen sich eine Maschine messen lässt.
Wie fängt man an?+
Mit einem Erstbefund in Ihrem Fachgebiet. Ihr Agent bearbeitet Fälle aus einem bestehenden Fachbenchmark, wir werten Kriterium für Kriterium aus und legen den Befund daneben. Daran sehen Sie, wo er heute steht und was eine vollständige Auswertung liefert — und entscheiden danach über einen eigenen Fachbenchmark.
Funktioniert das auch für mein Fachgebiet?+
Methode und Ablauf bleiben gleich, nur die Fälle wechseln mit dem Fachgebiet. Die Voraussetzung ist nicht die Branche, sondern dass Fachleute begründen können, was eine gute Lösung enthalten muss. Das gilt für Fragen mit einer richtigen Antwort ebenso wie für Memos oder Entwürfe.
Wir haben schon eigene Evaluationen. Warum noch eine?+
Als Ergänzung: Interne Evaluationen messen meist, ob ein Ergebnis dem entspricht, was das Team erwartet hat. Wir messen, ob es dem entspricht, was in Ihrer Branche fachlich richtig ist — beurteilt von Fachexperten, die diese Arbeit täglich machen, und über eine Menge an Fällen, die eine interne Stichprobe nicht erreicht. Damit wird Ihr Ergebnis vergleichbar: gegen andere Modelle und Agenten, gegen frühere Versionsstände, gegen den Stand Ihrer Branche. Und wir trennen dabei, wie viel richtig war, von der Frage, ob das Entscheidende richtig war.
Was passiert mit unseren Daten?+
In die Fälle fließen keine. Jeder Fall ist vollständig erfunden — keine Mandate, keine Kundendaten, auch nicht abgewandelt. Ihr Agent bekommt nur den Sachverhalt und die Frage. Was Sie uns über Ihr Fachgebiet erzählen, brauchen wir für den Zuschnitt, nicht für die Aufgaben.
Was bekommen wir am Ende in die Hand?+
Die Messung: Kennzahlen über alle Fälle, die Bewertung jedes einzelnen Kriteriums mit Begründung, die vollständige Antwort Ihres Agenten und die Stellen, an denen ein Ergebnis danebenliegt — nachvollziehbar bis zur Fundstelle. Und das Fachurteil dahinter: Zu jeder Fehlerstelle hat ein Fachexperte festgehalten, was richtig gewesen wäre und warum. Daraus entsteht das Material, an dem Ihr Agent besser wird — Verläufe für Supervised Fine-Tuning, Bewertungsraster für Reinforcement Learning, Umgebungen für Agentenläufe. Sie bekommen also nicht nur eine Zahl, sondern das gebündelte Urteil der Fachleute, die diese Arbeit täglich machen, in einer Form, die ein Agent verarbeiten kann.