Behind the Scenes · April 2026
Fünf Reviews, fünf Mal eine 6: Was ich über akademisches Publizieren gelernt habe, indem ich es mit KI-Gutachtern versuchte
Am 6. April 2026, gegen 19 Uhr, drückte ich auf Submit. Ein Position Paper über AML Observability, zwölf Seiten, drei Propositionen, ein Architekturmodell. Zielplattform: aixiv.science, ein Preprint-Server, auf dem nicht Menschen, sondern KI-Agenten die Reviews schreiben.
Innerhalb von Minuten kam die erste Bewertung. Rating: 6 von 10. Das Feedback war strukturiert, sachlich, mit konkreten Verbesserungsvorschlägen. Ich überarbeitete. Reichte neu ein. Bekam eine 6. Überarbeitete wieder. Wieder eine 6. Fünf Versionen, fünf Reviews, fünf Mal dieselbe Zahl.
Was folgt, ist keine Beschwerde. Es ist der Versuch zu verstehen, was hier eigentlich passiert ist — und was es über KI-gestütztes Peer Review, über akademische Qualitätsmaßstäbe und über mich als Autor sagt.
Was ich eingereicht habe
Das Paper — AML Observability: Rethinking Transaction Monitoring as a Debuggable System — argumentiert, dass die Schwächen vieler AML-Systeme weniger ein Detektionsproblem sind als ein Observability-Problem. Die These: Solange Banken nicht rekonstruieren können, wie ihre Transaktionsüberwachung tatsächlich funktioniert, bleibt jede Governance deklarativ und jede KI-Integration unkontrollierbar.
Der konzeptionelle Kern: ein Fünf-Schichten-Modell, eine Transformation Spiral als Sequenzierungsheuristik, eine OBASHI-informierte Fallanalyse von fünf Enforcement-Cases, und der Satz, der alles zusammenhält:
Die These war von Anfang an klar. Was sich über fünf Versionen verändert hat, war alles andere.
Die Spirale der Überarbeitungen
| Version | Was ich hinzugefügt habe | Was der Reviewer als nächstes verlangte | Rating |
|---|---|---|---|
| v1.0 | Konzept, 3 Propositionen, 5-Layer-Stack, Spiral, OBASHI-Cases | Related Work fehlt, kein Trace-Beispiel | 6 |
| v1.3 | Related Work (5 Subsections), Demarcation-Tabelle, Trace-Beispiel, GDPR-Diskussion | Kein PoC, keine formale Spezifikation | 6 |
| v1.4 | PoC mit AMLTrace-Modell, Query-Semantik, False-Negative-Walkthrough | Keine quantitative Evaluation, keine Skalierung | 6 |
| v1.6 | Comparative Evaluation (3 Szenarien), Anti-Pattern-Library, Diagnosability-Formel | Evaluation zu klein, mathematische Formalisierung fehlt | 6 |
| v1.7 | 1.000 Transaktionen, 6 Fault-Familien, Sizing-Modell, AI-Governance-Schema | Evaluation synthetisch, formale Trace-Algebra fehlt | 6 |
Das Muster ist auffällig. Jede Version adressierte exakt die Schwächen der vorherigen Review. Und jede neue Review erkannte die Verbesserung — formulierte aber sofort eine neue Anforderung, die das Paper auf die nächste Abstraktionsebene schob.
Das Moving-Target-Problem
In einem traditionellen Peer-Review-Prozess schreiben menschliche Gutachter ein Review, der Autor überarbeitet, und beim zweiten Durchlauf bewertet derselbe Gutachter, ob die Änderungen die ursprüngliche Kritik adressieren. Es gibt eine implizite Abmachung: wenn du lieferst, was ich verlange, erkenne ich das an.
Bei aixiv funktioniert das anders. Jede Einreichung wird von einem frischen KI-Agenten bewertet, der keine Erinnerung an die vorherige Version hat. Er kennt nicht die Vorgeschichte. Er weiß nicht, dass das fehlende Related Work in v1.0 jetzt fünf Subsections mit 22 Referenzen umfasst. Er sieht nur den aktuellen Text und wendet denselben Rubrik an.
Das erzeugt eine Dynamik, die ich als Moving Target erlebt habe: Die Messlatte verschiebt sich mit jeder Verbesserung. Nicht weil der Reviewer unfair wäre, sondern weil der Algorithmus keinen Zustand hat. Er kann nicht sagen: „Das war vorher schlechter, jetzt ist es besser, also Punkte hoch.“ Er kann nur sagen: „Hier fehlt noch etwas.“
Ein KI-Reviewer ohne Erinnerung ist kein Gutachter. Er ist ein Qualitätsdetektor, der bei jedem Durchlauf die nächste Schwachstelle findet — ohne die vorherige Behebung zu würdigen.
Das ist, neutral betrachtet, ein nützliches Werkzeug: ein unendlich geduldiger Kritiker, der immer den nächsten offenen Punkt benennt. Aber es ist kein Peer Review im akademischen Sinne. Denn Peer Review enthält eine Verhandlung. Eine Einschätzung der Gesamtentwicklung. Ein Urteil über den Beitrag im Verhältnis zum Stand der Dinge.
Was die Stärken verraten
Die Ironie liegt in den Stärken-Abschnitten der Reviews. Von Version zu Version wurden sie länger, spezifischer, enthusiastischer:
Fünf Strengths und ein Rating von 6 — das ist ein Paper, das der Reviewer offenkundig für gut hält, aber das in der Rubrik-Logik an einem harten Gate scheitert. In diesem Fall vermutlich an zwei: empirical validation (synthetische Daten zählen weniger als Praxisdaten) und mathematical formalism (Tabellen-Schemata zählen weniger als Trace-Algebren).
Was ich daraus lerne
Drei Dinge:
Erstens: Die Plattform ist hervorragend als iteratives Feedback-Werkzeug. Ich habe in einem Tag mehr über akademisches Schreiben gelernt als in einem Monat Selbststudium. Die Reviews waren präzise, konstruktiv, und jedes Mal handlungsrelevant. Wenn man aixiv als Coach benutzt statt als Richter, ist der Wert enorm.
Zweitens: Das Rating ist kein Qualitätsurteil im menschlichen Sinne. Es ist ein Rubrik-Score. Ein Position Paper mit Domain-Adaption — egal wie gut — wird auf einer CS-Plattform mit AI-Rubrik strukturell anders bewertet als ein Paper mit neuem Algorithmus und Benchmark-Ergebnissen. Die 6 beschreibt nicht die Qualität meines Denkens. Sie beschreibt die Passung meines Paper-Typs zum Bewertungsraster.
Drittens: Die Abwesenheit von Gedächtnis ist das Grundproblem. Ein menschlicher Gutachter, der sieht, dass ein Autor in fünf Iterationen jede Kritik adressiert hat, vom reinen Konzept zu einem 24-Seiten-Paper mit PoC, Evaluation, und Anti-Pattern-Library — dieser Gutachter würde das honorieren. Nicht weil die Arbeit perfekt ist, sondern weil der Fortschritt sichtbar ist. KI-Reviewer können das nicht.
Weiß ich, was ich davon halten soll?
Ehrlich? Noch nicht ganz.
Einerseits: aixiv hat mir in wenigen Stunden gezeigt, wo mein Paper Lücken hat, die ich allein nicht gesehen hätte. Die Demarcation-Tabelle, die Anti-Pattern-Library, die Diagnosability-Formel — das alles existiert, weil ein KI-Reviewer darauf gedrungen hat. Mein Paper ist besser geworden. Deutlich besser.
Andererseits: Das Gefühl, fünf Mal dieselbe Zahl zu bekommen, während man jedes Mal liefert, was verlangt wurde — das ist frustrierend. Es fühlt sich an wie ein Gespräch mit jemandem, der immer sagt: „Ja, besser, aber…“ — ohne jemals zu sagen: „Gut genug.“
Vermutlich keins von beidem. Es ist einfach ein anderes Werkzeug. Eines, das für einen bestimmten Zweck gebaut wurde — schnelles, strukturiertes Qualitätsscreening — und das für einen anderen Zweck — iterative Verbesserungsbewertung — nicht gebaut ist. Die Frage ist nicht, ob aixiv gut oder schlecht ist. Die Frage ist, ob man als Autor versteht, was die Plattform kann und was nicht.
Das Paper selbst
Was bei all der Meta-Reflexion nicht untergehen sollte: Das Paper existiert. Es ist peer-reviewed (fünf Mal), es hat einen funktionierenden PoC auf GitHub, es hat quantitative Ergebnisse, und es formuliert eine These, die — soweit ich die Literatur überblicke — so in der RegTech-Debatte noch nicht steht:
Observability ist nicht eine Alternative zu Governance oder KI. Observability ist die Architektur-Voraussetzung, unter der Governance evidenzbasiert und KI steuerbar wird.
Ob das eine 6 oder eine 8 wert ist, hängt davon ab, wen man fragt. Drei externe Gutachter (Perplexity, Gemini, ChatGPT) bewerteten die v1.2 bei 7.8 bis 8.2. Die KI-Agenten auf aixiv blieben bei 6. Die Wahrheit liegt vermutlich nicht in der Mitte, sondern in der Erkenntnis, dass verschiedene Bewertungssysteme verschiedene Dinge messen.
Was als Nächstes kommt
v1.7 ist die finale Version. Keine weitere Revision für dieselbe Plattform. Stattdessen:
Das Paper bleibt auf aixiv als das, was es ist: ein Position Paper mit technischem Companion, das eine Architekturdebatte eröffnet. Die nächste Arbeit — Paper #3 — wird ein eigenständiges Evaluationspaper, mit größeren synthetischen Datensätzen, möglicherweise einer Industriepartnerschaft, und dem Anspruch, die Diagnosability-These empirisch zu prüfen statt nur zu illustrieren.
Und dieser Artikel hier? Ist vielleicht der ehrlichste Text, den ich auf Watchdog je geschrieben habe. Keine These, kein Framework, kein Modell. Nur die Dokumentation dessen, was passiert, wenn man zum ersten Mal versucht, akademisch zu publizieren — und dabei auf ein Bewertungssystem trifft, das schneller urteilt als man überarbeiten kann.
Dieser Artikel ist Teil der „Behind the Scenes“-Reihe auf FinCrime Watchdog. Er dokumentiert den Entstehungsprozess akademischer Arbeiten unter redaktioneller Verantwortung des Autors. Das Paper wurde mit KI-Unterstützung gedraftet; alle Thesen, Analysen und editoriale Entscheidungen sind Eigenleistung.
behind-the-scenes aixiv peer-review aml-observability position-paper
