En junio de 2023, un abogado de Nueva York compareció ante un juez federal y citó seis resoluciones judiciales que supuestamente respaldaban el caso de su cliente. Había un solo problema: ninguna era real. Le había pedido a ChatGPT que buscara precedentes, y el modelo le entregó seis citas presentadas con seguridad, con el formato correcto y completamente inventadas, incluidas las citas textuales y los números de expediente. El juez le impuso una multa de US$5,000. La historia dio la vuelta al mundo como una advertencia.
Tres años después, ha dejado de ser una advertencia. Se ha convertido en un patrón. Damien Charlotin, investigador de HEC Paris, mantiene una base de datos pública de casos judiciales en los que alguien presentó material inventado por una IA y fue descubierto. La lista ya supera las 1,700 resoluciones en decenas de países y suma varias más cada semana. Las sanciones pasaron de aquella multa inicial de US$5,000 a cifras de seis dígitos, y varios abogados han sido suspendidos por este motivo.
Esta es la parte que debería preocupar a cualquiera que trabaje en cumplimiento. A los abogados los descubren porque una cita falsa se puede comprobar. Basta con consultar el repertorio de jurisprudencia y buscar el expediente para que el engaño se desmorone en minutos. Los procesos de cumplimiento rara vez incorporan esa protección. Cuando una herramienta de IA declara que una contraparte no presenta riesgos o asigna a un fundador una puntuación de riesgo de 22 sobre 100, casi nadie investiga más. La respuesta simplemente se archiva y el equipo sigue adelante. Si era incorrecta, normalmente te enteras después, cuando un regulador, un periodista o una pérdida ya la han descubierto por ti.
Así que la pregunta detrás de “¿puedo confiar en la IA para cumplimiento?” no es si el modelo es inteligente. Los modelos actuales son sumamente inteligentes. La pregunta es si puedes comprobar su trabajo, porque en una función regulada una respuesta que no puedes verificar no es un activo. Es una exposición al riesgo con buena gramática.
El problema no es que la IA se equivoque. Es la seguridad con la que lo hace.
Los grandes modelos de lenguaje en realidad nunca consultan información. Predicen texto. Tú les das una instrucción y generan la continuación estadísticamente más probable: un resultado que suele ser correcto y que, de vez en cuando, es incorrecto con una fluidez difícil de superar. La industria ha adoptado la palabra alucinaciones para estos errores, pero el término no refleja lo peligrosos que son. Una alucinación llega sin anunciarse. No viene acompañada de una advertencia ni de una puntuación de confianza más baja que te ponga sobre aviso. Se ve exactamente igual que una respuesta correcta y utiliza el mismo tono sereno y autoritativo que todo lo demás que produce el modelo.
En la mayoría de los contextos, eso es una molestia menor. En un entorno regulado, es una responsabilidad, y la forma más clara de entender por qué es considerar las dos maneras en que puede fallar una herramienta de verificación. Una herramienta que inventa una coincidencia en una lista de sanciones te costará una tarde: un analista investiga esa aparición, determina que no hay nada y cierra el caso. Es frustrante, pero el error es visible y el propio proceso lo corrige. Una herramienta que inventa un resultado sin riesgos funciona al revés. Falla en silencio. Nadie investiga una luz verde. La omisión permanece en tu expediente, con toda la apariencia de una debida diligencia, hasta el día en que deja de sostenerse.
Estas formas de fallar se trasladan directamente al trabajo de cumplimiento. Piensa en una revisión de medios adversos que atribuye un caso de fraude a la persona equivocada, alguien que simplemente tiene el mismo nombre. O en un resumen de la estructura de beneficiarios controladores que la describe con absoluta seguridad, pero comete un error pequeño y decisivo. O en una justificación del riesgo impecablemente redactada que no remite a nada que puedas encontrar. Todo parece información relevante. Nada de ello lo es.
Y el problema no se limita a los chatbots de consumo, por mucho que los proveedores intenten tranquilizarte al respecto. Un estudio de Stanford ampliamente citado puso a prueba herramientas diseñadas para la investigación jurídica, vendidas específicamente a profesionales con la promesa de ser confiables, y aun así encontró respuestas incorrectas o engañosas en una proporción considerable de las consultas. Orientar un modelo hacia un sector especializado no elimina las alucinaciones. Lo único que hace es elevar el costo de fingir que el problema ya está resuelto.
Dos tipos de IA, y solo uno que puedes defender
La IA que se está incorporando al trabajo de cumplimiento suele presentarse en dos variantes, y distinguirlas importa más que cualquier estadística de precisión en una presentación impecable.
Primero está la caja negra. Le das una entidad y emite un dictamen, normalmente un simple número. Riesgo: 82. Ese número se genera mediante una lógica de puntuación encerrada en un modelo que no puedes abrir, a partir de datos que no puedes ver y con ponderaciones basadas en factores que a menudo ni el propio proveedor logra explicar. Mientras la puntuación sea correcta, parece casi magia. En cuanto falla, te quedas sin nada, porque no puedes reconocer el error ni cuestionarlo: no tienes forma de reconstruir cómo llegó la herramienta a ese resultado. Una conclusión que no puedes reconstruir es una conclusión que no puedes defender, ni ante tu propio comité ni ante nadie más.
Después está la IA vinculada a fuentes. En lugar de un dictamen, entrega un hallazgo junto con la evidencia que lo sustenta. Esta persona aparece en esta lista de sanciones. Esta empresa se menciona en este documento presentado ante una autoridad. Esta afirmación proviene de esta noticia, con fecha y enlace a la fuente original. La IA sigue haciendo el trabajo pesado. Lee cientos de miles de documentos, elimina lo irrelevante, determina qué registros corresponden a cada entidad y sintetiza lo que vale la pena saber. Lo fundamental es que cada señal que presenta remite a material que una persona puede abrir y examinar directamente.
La diferencia no es superficial y se hace evidente justo cuando importa: cuando la IA se equivoca, porque ambos tipos se equivocarán alguna vez. Con una caja negra, el error es invisible, integrado en un número que parece tan confiable como cualquier otro. Con resultados vinculados a fuentes, el error es simplemente un enlace cuyo contenido no dice lo que la herramienta afirmó, y un revisor lo detecta en menos de un minuto. Un sistema falla en silencio. El otro falla de una manera segura. En una función cuyo trabajo consiste precisamente en detectar lo que otros pasan por alto, esa diferencia no es un detalle. Es la base de todo el diseño.
“Muestra cómo llegaste al resultado” se está convirtiendo en una exigencia legal
Durante mucho tiempo, la opacidad era parte del trato. Ejecutabas un modelo, te apoyabas en el resultado y pocas personas se molestaban en preguntar cómo se había llegado a la conclusión. Esa etapa está terminando rápidamente.
La EU AI Act permite verlo con claridad. Su aplicación general comenzó en agosto de 2026 y parte de la premisa de que la transparencia no es negociable, para después exigir más a medida que aumentan las consecuencias. Su categoría de alto riesgo incluye usos como la evaluación crediticia y exige que estos sistemas sean lo bastante transparentes para que quienes dependen de ellos puedan interpretar correctamente sus resultados y utilizarlos como corresponde. Incumplir puede dar lugar a multas de decenas de millones de euros. Se puede debatir cuándo empieza a aplicarse cada disposición, pero difícilmente se puede discutir la dirección. Los reguladores han decidido que quieren conocer el razonamiento.
Y Europa es solo un ejemplo de algo que, en realidad, precede a la actual ola de IA. El GDPR ya permite que las personas se opongan a decisiones tomadas exclusivamente por máquinas cuando tengan consecuencias importantes para ellas, y que soliciten información significativa sobre la lógica aplicada. En Estados Unidos, las normas de equidad en el otorgamiento de crédito llevan décadas obligando a los prestamistas a dar un motivo específico para cada rechazo, y “lo decidió el algoritmo” nunca ha sido una explicación aceptable. La misma lógica atraviesa la prevención de lavado de dinero (PLD): los estándares de FATF que sustentan los regímenes de PLD de casi todo el mundo se centran en conservar registros y poder respaldar las decisiones, y un regulador como FinCEN en Estados Unidos espera que las empresas identifiquen un riesgo, actúen al respecto y conserven documentación que resista una revisión rigurosa.
Así, distintos reguladores, que abordaron el tema desde puntos de partida diferentes, han llegado a la misma expectativa. Si la IA te ayudó a decidir, prepárate para explicar la decisión y mostrar la evidencia que la respalda. Una caja negra no puede cumplir ese requisito. Un sistema vinculado a fuentes lo cumple sin trabajo adicional, porque la evidencia estaba ahí desde el principio.
La auditoría es donde la caja negra deja de servir
Deja a un lado la teoría e imagina un martes cualquiera. Un regulador, un auditor interno o un inversionista de un fondo preocupado hace una pregunta sencilla: ¿por qué aprobaste a esta empresa en particular hace catorce meses? Desde entonces, ha aparecido en una investigación que la deja mal parada, y alguien quiere saber qué sabías y cuándo lo supiste.
Si tu herramienta era una caja negra, tienes un número de hace más de un año y muy poco para contextualizarlo. No puedes mostrar las fuentes que evaluó porque nunca te las mostró. No puedes demostrar que realizaste una debida diligencia razonable porque nunca tuviste acceso al razonamiento. Te quedas intentando explicar una decisión que no puedes reconstruir. Es casi la peor posición posible ante una revisión, y la elegiste el día que compraste la herramienta, lo supieras o no.
Si tu herramienta estaba vinculada a fuentes, simplemente recuperas el registro. Estas eran las señales tal como existían en ese momento. Estas son las fuentes que respaldaban cada una. Esta información ya era pública entonces, mientras que esta otra surgió después y no era razonable esperar que la conocieras. La decisión se puede defender porque puedes presentar la evidencia en la que se basó. Eso es lo que distingue un control que puedes respaldar de una suposición en la que decidiste confiar un martes de hace más de un año.
La auditabilidad no es una función que valores en un día normal. Permanece discretamente en segundo plano, sin aportar nada a la demo. Es lo que desearás tener el día que algo salga mal, y para entonces será demasiado tarde para incorporarla.
Cómo es una IA confiable para cumplimiento en la práctica
No tienes que creerle a ningún proveedor, tampoco a nosotros. Hay una prueba breve y práctica que puedes aplicar a cualquier herramienta de IA que intervenga en una decisión regulada, antes de firmar nada.
- Cada hallazgo incluye un enlace a una fuente primaria que puedes abrir y leer por tu cuenta. Sin enlace, no hay confianza. Este es el punto más importante, y de él se desprenden los demás.
- La IA resume y clasifica, pero nunca presenta como hecho algo que no pueda respaldar con una referencia. Si no puede citarlo, no debería afirmarlo.
- Puedes revisar cómo se determinan las coincidencias entre entidades. Puedes ver por qué la herramienta decidió que este “John Smith” es aquel, en lugar de tener que aceptar la coincidencia por un acto de fe.
- Cada decisión deja un registro con fecha y hora que puedes recuperar meses después, sin emprender un proyecto de recuperación de datos.
- Una persona sigue participando en el proceso. La función de la herramienta es detectar riesgos y sustentarlos con evidencia, no emitir un juicio definitivo por sí sola.
Observa que nada de esto busca hacer que la IA sea más potente. Busca que se pueda exigir una explicación de sus resultados. La industria pasó varios años persiguiendo modelos que suenan cada vez más seguros de sí mismos. Lo que un equipo de cumplimiento necesita es lo contrario: una IA lo bastante modesta para mostrar de dónde obtuvo cada dato, de modo que puedas comprobarlo y asumir tú la responsabilidad de la decisión.
La parte que hay que reconocer
Sería conveniente cerrar afirmando que la IA vinculada a fuentes nunca se equivoca. Pero, por supuesto, sí se equivoca. Una fuente puede quedar desactualizada. Un registro puede contener un dato erróneo. Un revisor puede evaluar mal la evidencia que tiene enfrente. Vincular cada señal con su fuente no crea un sistema perfecto, y cualquier proveedor que prometa perfección te está ofreciendo exactamente el mismo exceso de confianza que metió en problemas a aquellos abogados al principio.
La afirmación real es más limitada y resiste la prueba. La IA verificable falla de una manera que puedes detectar. La IA de caja negra falla de una manera que no puedes detectar. Cuando un error silencioso puede costarte una intervención del regulador, un titular en la prensa o una pérdida de siete cifras, que el error sea detectable deja de ser una función deseable. Es la razón de todo este trabajo.
Preguntas frecuentes
Entonces, ¿puedes confiar en la IA para cumplimiento?
Al final, la confianza es simplemente una forma equivocada de plantear el tema. No necesitas confiar en una herramienta que te muestra cómo llegó a sus resultados, del mismo modo que no necesitas confiar en una calculadora cuya respuesta puedes comprobar a mano. La verificas, tardas unos segundos y sigues adelante. Esa es exactamente la posibilidad que ofrece vincular los hallazgos a sus fuentes, y la que las puntuaciones de caja negra te quitan sin decir nada.
Beady está diseñada sobre ese principio. La plataforma verifica entidades en más de 100,000 fuentes públicas, elimina aproximadamente el 95% de la información irrelevante y vincula cada señal con su fuente original, para que cada hallazgo de sanciones y medios adversos pueda ser verificado de forma independiente tanto por tu equipo como por un regulador. Resume y clasifica. No inventa.
Si quieres ver cómo funciona la inteligencia de riesgos verificable con tu propia cartera, agenda una demo y te lo mostraremos, con las fuentes incluidas.
