2023년 6월, 뉴욕의 한 변호사가 연방 판사 앞에서 의뢰인의 주장을 뒷받침한다며 판례 여섯 건을 인용했습니다. 문제는 단 하나였습니다. 실제로 존재하는 판례가 한 건도 없었습니다. 변호사가 ChatGPT에 관련 판례를 찾아 달라고 요청하자, 모델은 형식을 제대로 갖춘 인용 여섯 건을 확신에 차서 제시했습니다. 하지만 인용문부터 사건 번호까지 모두 지어낸 내용이었습니다. 판사는 변호사에게 $5,000의 벌금을 부과했습니다. 이 사건은 경각심을 일깨우는 사례로 전 세계에 알려졌습니다.
3년이 지난 지금, 이는 더 이상 경각심을 일깨우는 일회성 사례가 아닙니다. 반복되는 양상이 됐습니다. HEC Paris의 연구원 Damien Charlotin은 AI가 만들어 낸 허위 자료를 법원에 제출했다가 적발된 재판 사례 데이터베이스를 공개적으로 관리하고 있습니다. 현재 수십 개국의 판결 1,700건 이상이 등재돼 있으며, 매주 여러 건이 추가됩니다. 제재 금액은 최초의 $5,000에서 수십만 달러 수준으로 커졌고, 이로 인해 업무 정지 처분을 받은 변호사도 여럿입니다.
컴플라이언스 담당자라면 누구나 우려해야 할 지점이 있습니다. 변호사들이 적발되는 이유는 허위 인용을 확인할 수 있기 때문입니다. 판례집을 펼치고 사건 기록을 검색하면 몇 분 안에 조작이 드러납니다. 컴플라이언스 업무 절차에는 이런 안전장치가 마련돼 있는 경우가 드뭅니다. AI 도구가 거래 상대방에게 문제가 없다고 판단하거나 창업자의 위험 점수를 100점 만점에 22점으로 제시해도, 이를 더 파고드는 사람은 거의 없습니다. 결과를 기록으로 남기고 다음 업무로 넘어갈 뿐입니다. 그 결과가 틀렸다는 사실은 대개 나중에 알게 됩니다. 규제기관이나 언론인이 대신 문제를 찾아내거나, 손실이 발생하고 나서야 드러납니다.
따라서 “컴플라이언스에서 AI를 신뢰할 수 있을까?”라는 질문의 핵심은 모델이 똑똑한지에 있지 않습니다. 오늘날의 모델은 매우 똑똑합니다. 핵심은 그 작업을 확인할 수 있는지입니다. 규제 대상 업무에서 검증할 수 없는 답은 자산이 아니기 때문입니다. 문법만 매끄럽게 갖춘 위험 요인일 뿐입니다.
문제는 AI가 틀린다는 데 있지 않습니다. 틀리면서도 확신한다는 데 있습니다.
대규모 언어 모델은 실제로 무언가를 찾아보는 것이 아닙니다. 다음에 올 텍스트를 예측합니다. 프롬프트를 입력하면 통계적으로 가장 가능성 높은 후속 내용을 생성합니다. 대체로 맞는 결과를 내지만, 가끔은 더없이 유창하게 틀린 답을 내놓습니다. 업계에서는 이런 오류를 환각이라고 부르지만, 이 명칭만으로는 그 위험성이 충분히 드러나지 않습니다. 환각은 아무런 예고 없이 나타납니다. 경고도 없고, 신뢰도 점수가 낮아져 주의를 환기하지도 않습니다. 정확한 답과 똑같이 보이며, 모델이 생성하는 다른 모든 내용처럼 차분하고 권위 있는 어조로 전달됩니다.
대부분의 상황에서는 약간의 불편에 그칩니다. 하지만 규제 대상 업무에서는 법적·규제상 책임으로 이어질 수 있습니다. 그 이유는 스크리닝 도구가 잘못될 수 있는 두 가지 경우를 살펴보면 가장 명확하게 드러납니다. 도구가 제재 대상과 일치한다는 결과를 지어내면 한나절을 허비하게 됩니다. 분석가가 실체 없는 대상을 추적하다가 문제가 없음을 확인하고 건을 종결합니다. 번거롭지만 오류가 눈에 보이고 수정됩니다. 반대로 문제가 없다는 결과를 지어내는 도구는 정반대로 작동합니다. 조용히 실패합니다. 통과 판정은 아무도 조사하지 않습니다. 놓친 위험은 기록 속에 그대로 남아 실사를 수행한 흔적으로 보입니다. 어느 날 더 이상 그렇게 볼 수 없는 상황이 닥칠 때까지 말입니다.
이러한 오류 유형은 컴플라이언스 업무에 그대로 대입됩니다. 이름이 같다는 이유만으로 엉뚱한 사람을 사기 사건과 연결하는 부정적 언론 보도 확인을 생각해 볼 수 있습니다. 실소유 구조를 확신에 차서 설명하지만 작고도 결정적인 부분을 잘못 짚는 요약도 있습니다. 문장은 훌륭하지만 실제로 찾아볼 수 있는 근거가 전혀 없는 위험 판단 사유도 있습니다. 모두 유의미한 정보처럼 보입니다. 하지만 실제로는 하나도 그렇지 않습니다.
공급업체가 아무리 안심시키려 해도, 문제는 일반 소비자용 챗봇에만 국한되지 않습니다. 널리 인용되는 Stanford 연구는 신뢰성을 내세워 전문가에게 판매되는 전용 법률 조사 도구를 시험했습니다. 그런데도 상당한 비율의 질의에서 부정확하거나 오해를 부르는 답변이 발견됐습니다. 모델을 전문 산업에 적용한다고 해서 환각이 사라지지는 않습니다. 실제로 달라지는 것은 문제가 해결됐다고 가장할 때 치러야 할 대가가 커진다는 점뿐입니다.
두 가지 AI, 판단 근거를 제시할 수 있는 것은 하나
현재 컴플라이언스 업무에 도입되는 AI는 대체로 두 가지 유형으로 나뉩니다. 둘을 구분하는 일은 화려한 소개 자료에 나오는 어떤 정확도 수치보다 중요합니다.
첫 번째는 블랙박스형입니다. 검토 대상을 입력하면 보통 간결한 숫자로 판정을 내놓습니다. 위험 점수: 82. 이 숫자는 내부를 들여다볼 수 없는 모델 속 평가 로직에서 나옵니다. 어떤 데이터를 사용했는지 알 수 없고, 가중치를 부여하는 기준은 공급업체조차 설명하기 어려워하는 경우가 많습니다. 점수가 정확할 때는 마법처럼 보입니다. 하지만 빗나가면 손에 남는 것이 없습니다. 도구가 어떻게 그 결과에 도달했는지 재구성할 방법이 없어, 오류를 알아차릴 수도 이의를 제기할 수도 없기 때문입니다. 도출 과정을 재구성할 수 없는 결론은 내부 위원회 앞에서도, 그 누구 앞에서도 책임지고 뒷받침할 수 없습니다.
두 번째는 출처 연계형입니다. 판정만 내놓는 대신, 확인 결과와 그 결과를 도출한 근거를 함께 제시합니다. 이 사람은 이 제재 명부에 올라 있습니다. 이 기업은 이 제출 문서에 언급돼 있습니다. 이 주장은 이 뉴스 기사에서 나왔으며, 날짜와 원문 링크도 함께 제공됩니다. AI는 여전히 방대한 작업을 수행합니다. 수십만 건의 문서를 읽고, 불필요한 정보를 걸러 내고, 각각의 대상이 누구인지 식별하고 연결하며, 알아야 할 내용을 추려 냅니다. 핵심은 제시하는 모든 신호가 사람이 직접 열어 검토할 수 있는 자료로 이어진다는 점입니다.
이 차이는 겉모습에 그치지 않습니다. 가장 중요한 순간, 즉 AI가 틀렸을 때 드러납니다. 두 유형 모두 때로는 틀리기 때문입니다. 블랙박스에서는 오류가 다른 점수와 똑같이 믿을 만해 보이는 숫자 속에 숨어 있습니다. 출처 연계형 결과에서는 링크를 열었을 때 도구의 설명과 원문 내용이 다르다는 사실만 확인하면 됩니다. 검토자는 1분도 안 돼 오류를 찾아냅니다. 한 시스템은 조용히 실패합니다. 다른 시스템은 안전하게 실패합니다. 남들이 놓친 것을 찾아내는 일이 존재 이유인 업무에서 이 차이는 사소한 요소가 아닙니다. 설계의 전부입니다.
권장 사항을 넘어 법적 요구가 되는 “판단 근거 제시”
오랫동안 불투명성은 당연히 감수해야 하는 것으로 여겨졌습니다. 모델을 실행하고 결과에 의존하면서도, 어떤 과정을 거쳐 결론에 도달했는지 묻는 사람은 드물었습니다. 그런 시대는 빠르게 끝나고 있습니다.
EU AI Act를 보면 이러한 변화를 잘 알 수 있습니다. 2026년 8월부터 전반적으로 적용되기 시작한 이 법은 투명성을 타협할 수 없는 전제로 삼고, 위험이 커질수록 더 많은 것을 요구합니다. 신용평가 같은 용도를 고위험 범주에 포함하며, 이런 시스템은 이용자가 결과를 올바르게 해석하고 적절하게 활용할 수 있을 만큼 투명해야 합니다. 요건을 충족하지 못하면 수천만 유로의 과징금이 부과될 수 있습니다. 개별 조항이 언제부터 적용되는지를 두고는 논쟁할 수 있어도, 방향 자체를 두고는 이견을 제기하기 어렵습니다. 규제기관은 판단 근거를 요구하기로 했습니다.
유럽은 현재의 AI 확산 이전부터 이어져 온 원칙을 보여 주는 한 사례일 뿐입니다. GDPR은 이미 개인에게 중대한 영향을 미치는 전적으로 자동화된 결정에 대해 거부할 권리를 부여하고, 그 결정에 사용된 논리에 관한 유의미한 정보를 요구할 수 있도록 합니다. 미국에서는 공정 대출 규정에 따라 수십 년 전부터 대출기관이 모든 거절 결정에 구체적인 사유를 제시해야 했으며, “알고리즘이 결정했다”는 말은 한 번도 허용되는 사유가 아니었습니다. 자금세탁방지에도 같은 논리가 적용됩니다. 거의 모든 국가의 AML 체계를 뒷받침하는 FATF 기준의 핵심은 기록을 보관하고 결정을 뒷받침할 수 있어야 한다는 것입니다. 미국의 FinCEN 같은 규제기관은 기업이 위험을 식별하고 대응하며, 면밀한 검토에도 타당성을 유지하는 문서를 보관할 것을 기대합니다.
서로 다른 배경에서 접근한 여러 규제기관이 결국 같은 요구에 도달한 셈입니다. AI의 도움을 받아 결정했다면, 그 결정을 설명하고 근거를 제시할 준비가 돼 있어야 합니다. 블랙박스는 이 기준을 충족할 수 없습니다. 출처 연계형 시스템은 처음부터 근거를 갖추고 있으므로, 누구도 추가 작업을 할 필요 없이 기준을 충족합니다.
감사에서 드러나는 블랙박스의 한계
이론은 잠시 접어 두고 평범한 화요일을 떠올려 보겠습니다. 규제기관이나 내부 감사인, 또는 불안해하는 LP가 간단한 질문을 던집니다. 14개월 전, 이 기업에 문제가 없다고 판단한 이유가 무엇입니까? 이후 그 기업이 부정적인 내용의 조사에 등장했고, 누군가는 당시 무엇을 알고 있었으며 언제 알게 됐는지 확인하려 합니다.
사용한 도구가 블랙박스였다면, 손에 있는 것은 1년도 더 된 숫자와 빈약한 부연 자료뿐입니다. 도구가 검토한 출처를 보여 줄 수 없습니다. 애초에 도구가 공개하지 않았기 때문입니다. 합리적인 실사를 수행했다는 사실도 입증할 수 없습니다. 판단 근거를 처음부터 볼 수 없었기 때문입니다. 결국 도출 과정을 재구성할 수 없는 결정을 설명하려 애쓰게 됩니다. 검사 과정에서 처할 수 있는 최악에 가까운 상황입니다. 인지했든 하지 못했든, 그 도구를 구매한 날 스스로 선택한 상황이기도 합니다.
사용한 도구가 출처 연계형이었다면, 기록을 다시 열기만 하면 됩니다. 당시 확인된 신호는 이것이었습니다. 각 신호를 뒷받침하는 출처는 여기에 있습니다. 이 부분은 당시 공개돼 있었고, 다른 부분은 나중에야 드러났으므로 당시 합리적으로 파악할 수 없었습니다. 결정의 바탕이 된 근거를 제시할 수 있으므로 그 결정의 타당성을 입증할 수 있습니다. 이것이 책임지고 뒷받침할 수 있는 통제와, 1년도 더 지난 어느 화요일에 우연히 믿었던 추측을 가르는 차이입니다.
감사 가능성은 평소에 가치를 실감하는 기능이 아닙니다. 배경에 조용히 자리하며 데모를 돋보이게 하지도 않습니다. 하지만 문제가 생긴 바로 그날, 갖춰 두었기를 바라게 되는 요소입니다. 그때 추가하려고 하면 이미 너무 늦습니다.
신뢰할 수 있는 컴플라이언스 AI의 실제 조건
이 문제에서 당사를 포함한 어느 공급업체의 말도 그대로 믿을 필요는 없습니다. 계약을 체결하기 전에, 규제 대상 의사결정에 관여하는 모든 AI 도구에 적용할 수 있는 간단하고 실용적인 점검 기준이 있습니다.
- 모든 확인 결과에 직접 열어 읽을 수 있는 1차 출처 링크가 있어야 합니다. 링크가 없으면 신뢰할 수 없습니다. 가장 중요한 기준이며, 나머지는 여기에서 따라옵니다.
- AI는 요약하고 분류하되, 근거를 제시할 수 없는 내용을 사실로 단정해서는 안 됩니다. 출처를 인용할 수 없다면 주장해서도 안 됩니다.
- 대상 매칭 과정을 검토할 수 있어야 합니다. 도구가 이 “John Smith”를 특정 인물과 동일인으로 판단한 이유를 확인할 수 있어야 하며, 매칭 결과를 무조건 믿도록 요구해서는 안 됩니다.
- 모든 결정에는 타임스탬프가 포함된 기록이 남아야 하며, 몇 달 뒤에도 별도의 데이터 복구 작업 없이 조회할 수 있어야 합니다.
- 사람이 계속 검토 과정에 참여해야 합니다. 도구의 역할은 위험을 찾아내고 근거를 제시하는 것이며, 단독으로 최종 판단을 내리는 것이 아닙니다.
이 기준 중 어느 것도 AI의 성능을 높이는 데 초점을 맞추지 않는다는 점에 주목할 필요가 있습니다. 핵심은 AI가 판단에 대한 설명 책임을 다할 수 있게 만드는 것입니다. 업계는 몇 년 동안 점점 더 확신에 찬 답을 내놓는 모델을 추구했습니다. 컴플라이언스 팀에 실제로 필요한 것은 정반대입니다. 모든 정보의 출처를 드러낼 만큼 겸손해서, 사람이 직접 확인하고 최종 결정에 책임질 수 있게 하는 AI입니다.
솔직히 인정해야 할 부분
출처 연계형 AI는 절대 틀리지 않는다는 말로 마무리할 수 있다면 편리하겠습니다. 하지만 물론 틀릴 수 있습니다. 출처가 최신성을 잃을 수 있습니다. 등기부에 잘못된 항목이 들어 있을 수 있습니다. 검토자가 눈앞에 제시된 근거를 잘못 판단할 수도 있습니다. 모든 신호를 출처에 연결한다고 해서 완벽한 시스템이 되는 것은 아닙니다. 완벽을 약속하는 공급업체는 앞서 언급한 변호사들을 곤경에 빠뜨렸던 바로 그 과도한 확신을 제시하는 셈입니다.
실제로 주장하는 바는 그보다 제한적이며, 검증해도 타당성을 유지합니다. 검증 가능한 AI의 오류는 발견할 수 있습니다. 블랙박스 AI의 오류는 발견할 수 없습니다. 드러나지 않은 오류 하나로 규제기관의 조사, 언론 보도, 수백만 달러의 손실을 감수해야 할 수 있다면, “발견할 수 있다”는 것은 더 이상 있으면 좋은 기능이 아닙니다. 이 모든 작업을 수행하는 이유 그 자체입니다.
자주 묻는 질문
컴플라이언스에서 AI를 신뢰할 수 있을까?
결국 이 문제를 신뢰의 관점으로 바라보는 것부터 적절하지 않습니다. 손으로 직접 답을 구할 수 있는 계산기를 믿을 필요가 없듯, 작업 과정을 눈앞에 펼쳐 보이는 도구도 굳이 믿을 필요가 없습니다. 몇 초 만에 확인하고 다음으로 넘어가면 됩니다. 출처 연계가 열어 주는 가능성이 바로 이것이며, 블랙박스 점수 산정이 아무 말 없이 앗아 가는 가능성도 바로 이것입니다.
Beady는 이 원칙을 바탕으로 설계됐습니다. 10만 개 이상의 공개 출처를 대상으로 스크리닝하고, 불필요한 정보의 약 95%를 걸러 내며, 모든 신호를 원출처에 연결합니다. 따라서 팀과 규제기관 모두 각 제재 및 부정적 언론 보도 확인 결과를 독립적으로 검증할 수 있습니다. Beady는 요약하고 분류합니다. 지어내지 않습니다.
실제 관리 중인 포트폴리오에 적용했을 때 검증 가능한 위험 정보가 어떤 모습인지 확인하려면 데모를 예약해 주세요. 출처와 함께 보여 드리겠습니다.
