Im Juni 2023 stand ein Anwalt in New York vor einem Bundesrichter und zitierte sechs Gerichtsentscheidungen, die den Fall seines Mandanten stützen sollten. Es gab nur ein Problem: Keine davon war echt. Er hatte ChatGPT gebeten, Präzedenzfälle zu recherchieren. Das Modell lieferte ihm sechs selbstsicher formulierte, korrekt formatierte und vollständig erfundene Fundstellen, einschließlich frei erfundener Zitate und Aktenzeichen. Der Richter verhängte eine Geldstrafe von 5.000 $. Die Geschichte ging als warnendes Beispiel um die Welt.
Drei Jahre später ist daraus mehr als ein warnendes Beispiel geworden. Es ist ein Muster. Damien Charlotin, Forscher an der HEC Paris, führt eine öffentliche Datenbank mit Gerichtsverfahren, in denen jemand von KI erfundene Inhalte eingereicht hat und dabei aufgeflogen ist. Die Liste umfasst inzwischen mehr als 1.700 Entscheidungen aus Dutzenden Ländern. Jede Woche kommen mehrere hinzu. Aus der anfänglichen Geldstrafe von 5.000 $ sind inzwischen sechsstellige Sanktionen geworden. Mehrere Anwälte wurden zudem vorübergehend von der Berufsausübung ausgeschlossen.
Ein Aspekt daran sollte jeden beunruhigen, der in der Compliance arbeitet. Anwälte fliegen auf, weil sich eine erfundene Fundstelle überprüfen lässt. Ein Blick in die Entscheidungssammlung oder eine Suche im Gerichtsregister genügt, und die Erfindung fällt innerhalb weniger Minuten auseinander. In Compliance-Abläufen ist ein solches Sicherheitsnetz selten eingebaut. Wenn ein KI-Tool einen Geschäftspartner als unbedenklich einstuft oder einem Gründer einen Risikowert von 22 von 100 zuweist, fragt kaum jemand genauer nach. Das Ergebnis wird abgelegt, und das Team arbeitet weiter. War es falsch, erfahren Sie das meist erst später: wenn eine Aufsichtsbehörde, ein Journalist oder ein eingetretener Schaden den Fehler für Sie aufdeckt.
Hinter der Frage „Kann ich KI in der Compliance vertrauen?“ steckt daher eine andere: Können Sie ihre Arbeit überprüfen? Wie intelligent das Modell ist, ist nicht der entscheidende Punkt. Heutige Modelle sind äußerst intelligent. Doch in einem regulierten Bereich ist eine Antwort, die Sie nicht verifizieren können, kein Vorteil. Sie ist ein Risiko mit guter Grammatik.
Das Problem ist nicht, dass KI Fehler macht. Es ist die Sicherheit, mit der sie das tut.
Große Sprachmodelle schlagen selbst nie etwas nach. Sie sagen Text voraus. Sie geben dem Modell einen Prompt, und es erzeugt die statistisch wahrscheinlichste Fortsetzung. Das Ergebnis ist meistens richtig und gelegentlich auf denkbar flüssige Weise falsch. Die Branche hat sich für solche Fehlleistungen auf den Begriff Halluzinationen geeinigt. Doch diese Bezeichnung verharmlost ihre Gefährlichkeit. Eine Halluzination kündigt sich nicht an. Sie trägt keinen Warnhinweis und keinen niedrigeren Konfidenzwert, der Sie aufmerksam machen könnte. Sie sieht genauso aus wie eine korrekte Antwort. Ihr Ton ist ebenso ruhig und verbindlich wie bei allem anderen, was das Modell ausgibt.
In den meisten Zusammenhängen ist das eine kleine Unannehmlichkeit. In einem regulierten Umfeld ist es ein Risiko. Warum, zeigen die beiden Arten, auf die ein Screening-Tool versagen kann. Erfindet ein Tool einen Sanktionslistentreffer, kostet Sie das einen Nachmittag. Ein Analyst geht dem vermeintlichen Treffer nach, stellt fest, dass nichts dahintersteckt, und schließt den Vorgang. Das ist frustrierend, aber klar sichtbar und korrigiert sich im Prüfprozess. Erfindet ein Tool dagegen ein unbedenkliches Ergebnis, verhält es sich genau umgekehrt. Es versagt unbemerkt. Niemand untersucht eine grüne Ampel. Der übersehene Treffer bleibt in Ihrer Akte und sieht wie eine sorgfältige Prüfung aus. Bis eines Tages deutlich wird, dass er das nicht war.
Diese Fehlerarten lassen sich unmittelbar auf die Compliance-Arbeit übertragen. Denken Sie an eine Prüfung auf negative Medienberichte (Adverse Media), die einen Betrugsfall der falschen Person zuordnet, nur weil sie denselben Namen trägt. Oder an eine Zusammenfassung der wirtschaftlich Berechtigten, die eine Eigentümerstruktur mit völliger Sicherheit beschreibt und dabei einen kleinen, aber entscheidenden Fehler macht. Oder an eine überzeugend formulierte Risikobegründung, deren Belege sich nirgends finden lassen. All das sieht nach relevanten Hinweisen aus. Tatsächlich ist nichts davon einer.
Und das Problem beschränkt sich nicht auf Chatbots für Verbraucher, auch wenn Anbieter Sie in diesem Punkt beruhigen möchten. Eine viel zitierte Stanford-Studie untersuchte speziell entwickelte Tools für die juristische Recherche. Diese werden ausdrücklich mit einem Zuverlässigkeitsversprechen an Fachleute verkauft. Dennoch fand die Studie bei einem erheblichen Anteil der Anfragen falsche oder irreführende Antworten. Ein Modell auf eine Branche mit hohen Anforderungen auszurichten, schaltet Halluzinationen nicht ab. Es erhöht lediglich die Kosten dafür, so zu tun, als sei das Problem gelöst.
Zwei Arten von KI, aber nur eine lässt sich rechtfertigen
KI, die derzeit in die Compliance-Arbeit einzieht, gibt es im Wesentlichen in zwei Varianten. Sie unterscheiden zu können, zählt mehr als jede Genauigkeitskennzahl in einer Hochglanzpräsentation.
Da ist zunächst die Blackbox. Sie geben ihr eine Entität, und sie liefert ein Urteil, meist als einzelne Zahl. Risiko: 82. Diese Zahl entsteht durch eine Bewertungslogik, die in einem Modell eingeschlossen ist, in das Sie nicht hineinsehen können. Sie beruht auf Daten, die Ihnen verborgen bleiben. Die Gewichtung folgt Faktoren, die selbst der Anbieter oft kaum erklären kann. Solange der Wert stimmt, wirkt das fast wie Zauberei. Liegt er daneben, stehen Sie mit leeren Händen da. Sie können den Fehler weder erkennen noch anfechten, weil Sie nicht nachvollziehen können, wie das Tool zu seinem Ergebnis kam. Eine Schlussfolgerung, die Sie nicht nachvollziehen können, können Sie auch nicht vertreten: weder vor Ihrem eigenen Ausschuss noch vor anderen.
Dann gibt es KI mit Quellenbelegen. Statt eines Urteils liefert sie einen Befund samt den Belegen, aus denen er hervorgeht. Diese Person steht auf dieser Sanktionsliste. Dieses Unternehmen wird in dieser eingereichten Unterlage genannt. Diese Behauptung stammt aus diesem Nachrichtenartikel, einschließlich Datum und Link zur Originalquelle. Die KI übernimmt weiterhin die Hauptarbeit. Sie liest Hunderttausende Dokumente, filtert Irrelevantes heraus, ordnet Entitäten einander zu und verdichtet die relevanten Informationen. Entscheidend ist: Jeder Hinweis, den sie hervorhebt, verweist auf Material, das ein Mensch direkt aufrufen und prüfen kann.
Dieser Unterschied ist keine Nebensache. Er zeigt sich genau dann, wenn es darauf ankommt: wenn die KI falschliegt, denn das wird bei beiden Varianten gelegentlich passieren. Bei einer Blackbox bleibt der Fehler unsichtbar, verborgen in einer Zahl, die genauso vertrauenswürdig wirkt wie jede andere. Bei einem Ergebnis mit Quellenbelegen führt dagegen ein Link zu einer Quelle, die nicht aussagt, was das Tool behauptet hat. Ein Prüfer erkennt das in weniger als einer Minute. Ein System versagt unbemerkt. Das andere versagt so, dass der Fehler sicher erkannt werden kann. Für eine Funktion, deren gesamte Aufgabe darin besteht, Versäumnisse anderer aufzudecken, ist dieser Unterschied kein Detail. Er ist die Grundlage der gesamten Systemgestaltung.
„Zeigen Sie Ihren Lösungsweg“ wird zur gesetzlichen Pflicht
Lange Zeit nahm man Intransparenz einfach hin. Man setzte ein Modell ein und stützte sich auf dessen Ausgabe. Nur wenige fragten nach, wie die Schlussfolgerung zustande gekommen war. Diese Zeit geht rasch zu Ende.
Das zeigt sich gut am EU AI Act. Er gilt seit August 2026 grundsätzlich und geht davon aus, dass Transparenz nicht verhandelbar ist. Je höher die Risiken, desto weiter reichen die Anforderungen. Seine Hochrisikokategorie umfasst Anwendungen wie die Kreditwürdigkeitsbewertung. Solche Systeme müssen transparent genug sein, damit die Menschen, die sich darauf stützen, ihre Ausgaben richtig interpretieren und sachgerecht nutzen können. Bei Verstößen drohen Geldbußen in zweistelliger Millionenhöhe. Über den Zeitpunkt, ab dem einzelne Bestimmungen greifen, lässt sich streiten. Über die Richtung kaum: Die Aufsichtsbehörden wollen die Begründung sehen.
Europa ist dabei nur ein Beispiel für eine Entwicklung, die schon vor der aktuellen KI-Welle begonnen hat. Die GDPR gibt Menschen bereits das Recht, rein maschinellen Entscheidungen zu widersprechen, wenn diese erhebliche Folgen für sie haben. Sie können außerdem aussagekräftige Informationen über die zugrunde liegende Logik verlangen. In den USA verpflichten Vorschriften zur fairen Kreditvergabe Kreditgeber seit Jahrzehnten dazu, jede Ablehnung konkret zu begründen. „Der Algorithmus hat entschieden“ war dabei nie eine zulässige Begründung. Dieselbe Logik gilt für die Geldwäscheprävention (AML). Die FATF-Standards, auf denen die AML-Regelwerke fast überall beruhen, verlangen im Kern Aufzeichnungen und nachvollziehbar begründete Entscheidungen. Eine Aufsichtsbehörde wie FinCEN in den USA erwartet, dass Unternehmen Risiken erkennen, darauf reagieren und Unterlagen aufbewahren, die einer Prüfung standhalten.
Verschiedene Aufsichtsbehörden sind also von unterschiedlichen Ausgangspunkten zur selben Erwartung gelangt. Wenn KI an Ihrer Entscheidung beteiligt war, müssen Sie die Entscheidung erklären und die zugehörigen Belege vorlegen können. Eine Blackbox erfüllt diesen Anspruch nicht. Ein System mit Quellenbelegen erfüllt ihn ohne zusätzlichen Aufwand, weil die Belege von Anfang an vorhanden waren.
In der Prüfung scheitert die Blackbox
Lassen wir die Theorie beiseite und stellen uns einen gewöhnlichen Dienstag vor. Eine Aufsichtsbehörde, die interne Revision oder ein besorgter Fondsinvestor stellt eine einfache Frage: Warum haben Sie dieses Unternehmen vor vierzehn Monaten freigegeben? Inzwischen ist es Gegenstand einer belastenden Recherche geworden. Nun möchte jemand wissen, was Sie wussten und wann Sie es wussten.
War Ihr Tool eine Blackbox, haben Sie eine über ein Jahr alte Zahl und kaum etwas, womit Sie diese erklären könnten. Sie können die berücksichtigten Quellen nicht vorlegen, weil das Tool sie Ihnen nie gezeigt hat. Sie können keine angemessene Due Diligence nachweisen, weil Sie die zugrunde liegende Begründung nie einsehen konnten. Ihnen bleibt nur der Versuch, eine Entscheidung zu erklären, die Sie nicht rekonstruieren können. Das ist nahezu die schlechteste Ausgangslage für eine aufsichtsrechtliche Prüfung. Sie haben sich am Tag des Toolkaufs dafür entschieden, ob Ihnen das bewusst war oder nicht.
Hatte Ihr Tool Quellenbelege, rufen Sie einfach den Vorgang wieder auf. Das waren die damals vorliegenden Hinweise. Das sind die Quellen hinter jedem einzelnen. Diese Informationen waren damals öffentlich bekannt. Jene kamen erst später ans Licht und konnten vernünftigerweise noch nicht auf Ihrem Radar sein. Die Entscheidung lässt sich rechtfertigen, weil Sie die Belege darlegen können, auf denen sie beruhte. Darin liegt der Unterschied zwischen einer Kontrolle, für die Sie tatsächlich einstehen können, und einer Vermutung, der Sie vor über einem Jahr an einem Dienstag vertraut haben.
Prüfbarkeit ist keine Eigenschaft, die Sie an einem gewöhnlichen Tag besonders schätzen. Sie bleibt unauffällig im Hintergrund und macht die Demo nicht eindrucksvoller. Aber an dem einen schlechten Tag werden Sie sich wünschen, sie zu haben. Dann ist es viel zu spät, sie nachzurüsten.
Was vertrauenswürdige Compliance-KI ausmacht
Sie müssen dafür keinem Anbieter einfach glauben, auch uns nicht. Mit einer kurzen, praktischen Prüfung können Sie jedes KI-Tool bewerten, das regulierte Entscheidungen beeinflusst, bevor Sie etwas unterschreiben.
- Jeder Befund verweist auf eine Primärquelle, die Sie selbst öffnen und lesen können. Ohne Link kein Vertrauen. Dieser Punkt ist der wichtigste. Alles Weitere folgt daraus.
- Die KI fasst zusammen und klassifiziert, stellt aber keine Tatsache fest, für die sie keinen Beleg zeigen kann. Was sie nicht belegen kann, sollte sie nicht behaupten.
- Die Zuordnung von Entitäten ist überprüfbar. Sie können sehen, warum das Tool diesen „John Smith“ für jene Person hält. Sie müssen die Zuordnung nicht ungeprüft hinnehmen.
- Jede Entscheidung hinterlässt einen mit Zeitstempel versehenen Datensatz, den Sie Monate später wieder aufrufen können, ohne ein Projekt zur Datenwiederherstellung anzustoßen.
- Ein Mensch bleibt eingebunden. Das Tool soll Risiken aufzeigen und belegen. Das abschließende Urteil darf es nicht allein fällen.
Bei keinem dieser Punkte geht es darum, die KI leistungsfähiger zu machen. Es geht darum, ihre Arbeit nachvollziehbar und überprüfbar zu machen. Die Branche hat jahrelang Modelle entwickelt, die immer selbstsicherer klingen. Ein Compliance-Team braucht das Gegenteil: eine KI, die bescheiden genug ist, Ihnen für jede Information die Herkunft zu zeigen. So können Sie diese prüfen und die Entscheidung selbst verantworten.
Was ehrlicherweise dazugehört
Es wäre bequem, abschließend zu behaupten, KI mit Quellenbelegen mache keine Fehler. Doch natürlich tut sie das. Eine Quelle kann veralten. Ein Register kann einen falschen Eintrag enthalten. Ein Prüfer kann die vorgelegten Belege falsch einschätzen. Jeden Hinweis mit seiner Quelle zu verknüpfen, schafft kein perfektes System. Wer Ihnen als Anbieter Perfektion verspricht, zeigt genau jene Selbstüberschätzung, die den Anwälten zu Beginn zum Verhängnis wurde.
Die tatsächliche Aussage ist bescheidener und hält einer Überprüfung stand. Überprüfbare KI macht Fehler so, dass Sie diese erkennen können. Blackbox-KI macht Fehler so, dass Sie diese nicht erkennen können. Wenn ein unbemerkter Fehler ein Aufsichtsverfahren, negative Schlagzeilen oder einen siebenstelligen Schaden nach sich ziehen kann, ist Erkennbarkeit keine nette Zusatzfunktion mehr. Sie ist der eigentliche Grund für diesen gesamten Ansatz.
Häufig gestellte Fragen
Können Sie KI in der Compliance also vertrauen?
Vertrauen ist letztlich der falsche Maßstab. Einem Tool, das seine Arbeit offenlegt, müssen Sie nicht einfach vertrauen. Ebenso wenig müssen Sie einem Taschenrechner vertrauen, dessen Ergebnis Sie von Hand nachrechnen können. Sie prüfen es, brauchen dafür wenige Sekunden und arbeiten weiter. Genau diese Möglichkeit eröffnet die Verknüpfung mit Quellen. Und genau diese Möglichkeit nimmt Ihnen eine Blackbox-Bewertung, ohne darauf hinzuweisen.
Beady baut auf diesem Prinzip auf. Es prüft Entitäten anhand von mehr als 100.000 öffentlichen Quellen, filtert rund 95 % der irrelevanten Informationen heraus und verknüpft jeden Hinweis mit seiner Originalquelle. So können Ihr Team und eine Aufsichtsbehörde jeden Befund aus der Sanktionslistenprüfung und der Prüfung auf negative Medienberichte unabhängig überprüfen. Es fasst zusammen und klassifiziert. Es erfindet nichts.
Wenn Sie sehen möchten, wie überprüfbare Risikoinformationen für Ihren eigenen Bestand aussehen, buchen Sie eine Demo. Wir zeigen es Ihnen, mit den zugehörigen Quellen.
