System Design · Watchdog-Kolumne

Die Wahrheit auf Prozent genau

In jedem ernsthaften System läuft ein Watchdog mit: eine kleine, störrische Komponente, die anschlägt, wenn der Hauptprozess hängt. Dieser Artikel macht dasselbe mit der Sprache, in der gerade über KI gesprochen wird. Er prüft populäre KI-Slogans und fragt, was von ihnen übrig bleibt, sobald man sie ernst nimmt.

KI ist unübersichtlich genug. Da ist die Versuchung groß, sie auf einen Satz einzudampfen, der in eine Vorstandspräsentation passt. Ein guter Slogan kann helfen. Manchmal ist er aber nur eine Brücke, die auf den Abgrund gemalt wurde.

Viele KI-Sprüche, die durch Vorstandsetagen, LinkedIn-Feeds und Konferenz-Keynotes wandern, sind weder sauber falsch noch sauber richtig. Sie sind teilweise wahr. Genau deshalb setzen sie sich fest. Eine plumpe Lüge fällt irgendwann auf; eine Halbwahrheit bringt ihren eigenen Anker mit.

Dieser Watchdog erlaubt sich eine Zumutung: Jeder Slogan bekommt eine Prozentzahl. Zu wie viel Prozent stimmt die Verkürzung? Das ist kein Messwert, sondern ein begründetes Urteil. Die Zahl zwingt nur dazu, beim „Ja, aber“ konkret zu werden, statt sich hinter „kommt darauf an“ zu verstecken. Wie sie zustande kommt, steht im Anhang. Erst das Urteil, dann der Maschinenraum.

I. Die Sätze, die Verantwortung verschieben

„Die KI hat entschieden.“ trifft zu 10%

Es gibt einen schmalen, technisch korrekten Sinn, in dem das stimmt: Ein probabilistisches Modell hat zur Laufzeit einen Ausführungspfad gewählt, den kein Mensch Zeile für Zeile vorausberechnet hat. So weit die 10 %.

Die restlichen 90 % sind Verantwortungsflucht. Menschen haben das System gebaut, das Modell ausgewählt, Leitplanken gesetzt oder weggelassen, Schwellenwerte definiert und entschieden, wie viel Aufsicht genügt. „Die KI hat entschieden“ ist die moderne Form von „Da kann man nichts machen“: ein grammatikalischer Trick, der menschliches Handeln wie ein Naturereignis aussehen lässt. Vor einem Haftungsrichter trägt dieser Satz nicht weit. Es gibt nun einmal kein Stromkabel, an dem man die KI verklagen könnte.

„Human in the Loop reicht.“ trifft zu 45%

Im Prinzip richtig, in der Praxis oft Dekoration. Ein Mensch in der Schleife kontrolliert nur dann wirklich, wenn vier Dinge zusammenkommen: Zeit, Kontext, Kompetenz und Eingriffsmacht. Fehlt eines davon, steht der Mensch zwar im Diagramm, aber nicht mehr im Weg.

Der Gegner heißt Automation Bias. Wer zweihundert Mal am Tag eine KI-Empfehlung prüft und in 199 Fällen nichts Auffälliges sieht, klickt beim zweihundertsten Fall leichter auf Freigeben. Genau dort lag vielleicht der Fehler. Das Risiko agentischer Systeme ist eben nicht nur die Halluzination der Maschine, sondern auch die eingeübte Bequemlichkeit des Menschen, der sie abnicken soll. „Human in the Loop“ beschreibt eine Architektur. Ob sie wirkt, zeigt sich daran, ob der Mensch im Loop noch wach ist.

II. Die Sätze über das Wesen der Agenten

Hier liegt der falsche Gegensatz, an dem viele Diskussionen hängen bleiben.

„Ein KI-Agent ist ein digitaler Kollege.“ trifft zu 20%

Die 20 % sind real und werden oft unterschätzt. Ein Agent handelt. Er sendet Mails, schließt Tickets, ruft APIs auf, schreibt in Datenbanken, deployt Code. Er hat Gedächtnis, verfolgt Ziele über mehrere Schritte und entscheidet zur Laufzeit über den nächsten Ablauf. In diesem Verhaltenssinn ähnelt er einem Mitarbeiter stärker als einem Hammer.

Die Metapher schmuggelt allerdings etwas ein, das fehlt: Urteilskraft, Absicht und Haftung. Ein Kollege kann persönlich einstehen, moralisch und rechtlich. Ein Agent ist ein Ausführungspfad. Sein Verhalten gehört am Ende zur Systemarchitektur und damit zum Betreiber. Wer den Agenten zum Kollegen erklärt, schiebt Haftung an eine Stelle, an der sie niemand tragen kann. Diese Vermenschlichung ist kein netter Tonfall, sondern ein Compliance-Risiko.

„KI ist doch nur ein Werkzeug.“ trifft zu 55%

Die beruhigende Gegenthese ist auch zu kurz. Sie stimmt in einem wichtigen Punkt: Es ist Software, sie hat keinen Eigenwillen, die Verantwortung bleibt beim Menschen. Gut so.

„Nur ein Werkzeug“ unterschätzt, was passiert, sobald ein Werkzeug zwischen Absicht und Wirkung eigene Schritte einfügt. Ein Hammer schreibt keine E-Mails, startet keine Schleife über zwanzig API-Calls und verändert keine Produktivdaten, während jemand wegsieht. Der Unterschied liegt nicht bloß in der Komplexität. Er liegt in der Wirkungsreichweite ohne erneute menschliche Freigabe. Ein Werkzeug, das selbst Handlungsketten ausführt, braucht andere Kontrollen als ein Werkzeug, das man in der Hand führt.

Die bessere Formulierung liegt zwischen den beiden Slogans: Agenten sind handlungsfähige Werkzeuge in menschlich verantworteten Systemen. „Nur Werkzeug“ unterschätzt sie, „Kollege“ überschätzt sie. Beides ist bequem. Beides kostet.

„Agenten sind bloß aufgebohrte Chatbots.“ trifft zu 25%

Verständlich, weil viele Agenten dieselbe Chat-Oberfläche tragen. Ein Chatbot ist eine Ein- und Ausgabeschnittstelle mit linearem Textfluss. Ein Agent ist ein Systemdesign: Modell, Zustandshaltung, Gedächtnis, Werkzeuge sowie eine Planungs- und Routing-Komponente, die zur Laufzeit über den nächsten Schritt entscheidet. Wer beides gleichsetzt, plant das System falsch und testet es gleich mit falsch.

III. Die Sätze über Können und Karriere

„Prompting ist die neue Programmiersprache.“ trifft zu 30%

Eine wahre Schicht gibt es: Natürliche Sprache ist tatsächlich zu einer Schnittstelle geworden, mit der man Maschinen steuert. Das senkt eine Einstiegshürde. Prompting ist eine nützliche Fertigkeit.

Eine Programmiersprache ist deterministisch, versionierbar, testbar und komponierbar. Prompts leisten das nicht zuverlässig. Prompt Engineering allein ist keine Strategie; ohne Domänenwissen, Systemdesign und Kontrolle bleibt es sprachliche Kosmetik. Das eigentliche Engineering steckt nicht in der schönen Formulierung, sondern in dem, was darum herum gebaut wird: Schnittstellen, Tool-Integration, Zustandsmaschinen, Validierungs-Schemata und Evaluations-Pipelines. Wer Prompting für die Kernkompetenz der Zukunft hält, verwechselt das Lenkrad mit dem Auto.

„KI ersetzt dich nicht – aber jemand, der KI nutzt, ersetzt dich.“ trifft zu 65%

Das ist derzeit vielleicht der wirkmächtigste Slogan und zugleich einer mit hohem Wahrheitsanteil. Im Kern stimmt er: Relevanz verschiebt sich vom reinen Erledigen einer Aufgabe hin zur Fähigkeit, sie mit Hebel zu erledigen. In vielen Wissensberufen ist das schon Realität.

Die fehlenden 35 % stecken in der Bequemlichkeit des Satzes. Er tut so, als reiche die Beherrschung des Werkzeugs. Der Hebel wirkt aber nur dort, wo das darunterliegende Urteil schon vorhanden ist. Ein schlechter Analyst mit KI ist erst einmal ein schnellerer schlechter Analyst. Außerdem gilt der Satz nicht für jeden Beruf gleich. Er ist ein Slogan über Wissensarbeit, der so klingt, als beschreibe er die ganze Wirtschaft. Stark, aber selbstgefällig.

IV. Die Sätze über Daten und Governance

„Daten sind das neue Öl.“ trifft zu 40%

Der Spruch (Clive Humby, 2006) lebt lange, weil er eine echte Einsicht enthält: Daten können Rohstoff sein. Wert entsteht aber erst, wenn man sie raffiniert; ungenutzt verursachen sie vor allem Lagerkosten. So weit trägt die Analogie.

Dann bricht sie. Öl ist knapp, rivalisierend und verbraucht sich. Daten sind kopierbar, nicht-rivalisierend und gewinnen oft erst in Kombination an Wert. Öl ist überall ungefähr Öl; Daten sind nur im konkreten Kontext wertvoll und anderswo wertlos oder giftig, etwa wegen Datenschutz, Bias oder Altlasten. Die Metapher hat eine Generation von „Data Lakes“ befördert, die sich als Datensümpfe entpuppten: teuer befüllt, nie raffiniert. Eine schöne Halbwahrheit mit hohen Folgekosten.

„Erst Data Governance, dann KI.“ trifft zu 50%

Die klassische Beraterweisheit ist ungefähr zur Hälfte richtig. In hochregulierten, sensiblen Datenräumen ist sie kaum verhandelbar: Wer mit personenbezogenen oder sicherheitskritischen Daten ohne Governance startet, betreibt Roulette.

Die andere Hälfte ist eine Lähmungsmaschine. Data-Governance-Programme in Großorganisationen werden schnell zu jahrelangen Papiermonstern, an deren Ende sich die Welt weitergedreht hat. Der Satz übersieht außerdem, dass moderne Modelle selbst ein starkes Werkzeug zur Strukturierung und Bereinigung jener unordentlichen Altdaten sein können. KI ist hier oft Enabler von Governance, nicht nur deren Abnehmer. Die bessere Frage lautet nicht „Governance oder KI?“, sondern: welche Daten, welcher Anwendungsfall, welche Risikoklasse? Zugespitzt: Governance ohne Anwendungsfall wird Bürokratie. KI ohne Risikoklasse wird Fahrlässigkeit.

„Wir haben ISO 42001 – also ist unsere KI sicher.“ trifft zu 35%

Ein Zertifikat zeigt, dass Prozesse dokumentiert und Verantwortlichkeiten benannt sind. Das ist nicht nichts; nach außen ist es sogar viel. Formale Compliance ist aber nicht dasselbe wie empirische Qualität. Ein Managementsystem-Zertifikat macht ein schlechtes Modell nicht besser. Es kann das Versagen nur ordentlich protokollieren. Wer Zertifikat, Benchmarking und kontinuierliche Evaluation verwechselt, kauft sich ein gutes Gefühl, keine gute Entscheidung.

V. Die Sätze über Geld und Zukunft

„Ein KI-Agent arbeitet rund um die Uhr – quasi kostenlos.“ trifft zu 25%

Die Verfügbarkeit stimmt: keine Pausen, keine Schichtzuschläge. Die „quasi kostenlos“-Hälfte ist eine Milchmädchenrechnung. Komplexe, mehrstufige Agenten-Workflows mit Retrieval, mehrfachen Modellaufrufen, Reasoning-Schritten und Verifikationsschleifen verbrennen pro Durchlauf spürbar Tokens und Compute. Ohne aktives Kostenmanagement, also Model-Routing, Caching und Rundenlimits, frisst der Betrieb die Einsparung, die er erzeugen sollte. Es passiert öfter, als man denkt: Man ersetzt billige Routinearbeit durch teure Token-Verschwendung und nennt es Effizienz.

„Halluzinationen verschwinden bald.“ trifft zu 15%

Reduzieren: ja, deutlich, und das wird weitergehen. Verschwinden: nein. Konfabulation ist kein abschaltbarer Betriebsunfall, sondern eine strukturelle Eigenschaft von Systemen, die plausible Fortsetzungen erzeugen, statt Fakten nachzuschlagen. Man kann sie eingrenzen, mit Quellen unterlegen und überprüfbar machen. Die ehrliche Haltung bleibt: Halluzination ist kein Bug, der weggepatcht wird, sondern ein Nutzungsrisiko, das man einplanen muss. Wer auf das Verschwinden wartet, baut seine Kontrollen auf einem Versprechen.

„AI-first.“ trifft zu 45%

Als Haltung ist der Slogan (Sundar Pichai prägte ihn 2016/17) ernst zu nehmen: KI nicht als Anhängsel, sondern als frühen Reflex beim Produktdesign. Als Dogma kippt er ins Komische, sobald aus „AI-first“ ein „AI-only“ wird und jemand ein Problem mit einem Sprachmodell erschlägt, das eine Datenbankabfrage und drei Zeilen Code billiger gelöst hätten. Das Beste an „first“ ist, dass es eben nicht „always“ heißt. Genau das geht im Hype meist verloren.

„AGI steht vor der Tür.“ n/a · unprüfbar

Hier versagt die Prozent-Methode mit Absicht. Niemand kann diesen Satz seriös beziffern, solange weder der Begriff (was genau ist „AGI“?) noch der Zeithorizont („vor der Tür“) definiert sind. Ein unfalsifizierbarer Slogan ist kein Wissen, sondern Stimmung. Er taugt zum Spendeneinwerben und zum Gruseln, nicht zur Planung. Die belastbarste Bewertung lautet: Wer dir eine präzise Prozentzahl auf diese Frage gibt, verkauft dir etwas.

Das Tableau auf einen Blick

Alle Sätze unter Aufsicht. Der schraffierte Streifen markiert die 40–60-%-Zone. Dort wohnen die bequemsten Halbwahrheiten.

Gefahrenzone 40–60 %: hier wohnen die Halbwahrheiten ·  n/a = unfalsifizierbar, daher nicht bewertbar

Der Befund

Drei Muster ziehen sich durch die Zahlen. Erstens: Gefährlich sind nicht die Sätze mit 5 %, sondern die mit 50 %. Eine glatte Lüge wird aussortiert; eine Halbwahrheit kann zur Unternehmensstrategie werden. Zweitens: Auffällig viele Slogans machen den handelnden Menschen unsichtbar, etwa „die KI hat entschieden“, „der Agent ist ein Kollege“ oder „Governance erledigt das System“. Wo ein Slogan Verantwortung verdampfen lässt, lohnt das genaue Hinsehen. Drittens: Fast jeder dieser Sätze verkürzt eine richtige Beobachtung so stark, dass sie am Ende das Gegenteil ermöglichen kann.

Damit dieser Artikel nicht selbst zur bequemen Liste wird, an der alle nicken, noch ein letzter Satz. Diesmal gegen die Vorsichtigen im Raum, nicht gegen die Euphoriker:

„Wer KI aus Vorsicht gar nicht einsetzt, hat auch entschieden. Nur für eine Entscheidung, für die sich selten jemand rechtfertigen muss.“ Trifft zu, würde ich sagen, zu ungefähr 60 %. Über die fehlenden 40 % dürfen Sie gern streiten. Das ist ja der Sinn der Übung.