재판지원 AI에 대한 프롬프트 인젝션과 사법절차의 무결성

1. 문제제기: 사법 AI의 위험은 출력 오류에서 입력 조작으로 이동하고 있다

생성형 인공지능이 법률실무에 들어온 초기 단계의 대표적 위험은 존재하지 않는 판례, 잘못된 사건번호, 허위 인용과 같은 환각이었다. 이 위험구조에서는 정상적인 소송자료를 사람이 AI에 입력했지만 AI가 잘못된 결과를 생성하였다. 따라서 규율의 중심도 변호사와 당사자의 검증의무, 법률자료의 원문 확인, 허위 인용에 대한 제재에 놓여 있었다.

그러나 2026년 미국 코네티컷주와 브라질 노동법원에서 확인된 사건은 위험의 방향을 뒤집는다. 문제는 AI가 스스로 틀린 답을 만든 것이 아니라 사람이 소송서류 안에 기계가 읽을 수 있는 숨은 명령을 삽입하여, 그 문서를 처리할 가능성이 있는 AI의 출력 방향을 자신에게 유리하게 바꾸려 했다는 데 있다. 이는 출력값의 신뢰성 문제가 아니라 입력경로의 적대적 조작, 곧 사법 AI 보안과 절차적 공정성의 문제다.

특히 이 문제는 공격이 실제로 성공해야만 법적 의미를 갖는 것이 아니다. 법원의 정보처리 과정에 자신만 볼 수 없는 지시문을 은닉하고 상대방과 법원이 알지 못하는 별도의 기계적 설득경로를 만들려는 시도 자체가 소송의 투명성, 당사자 대등, 법원의 절차통제와 사법절차의 무결성을 훼손할 수 있다.

2. 미국 Elliott 사건의 사실관계

미국 코네티컷주 Superior Court의 Elliott v. New York Bariatric Group, LLC 사건에서 자력으로 소송을 수행하던 Matthew Elliott는 2026년 7월 24일 제출한 서면 등에 매우 작은 흰색 글자를 흰 바탕에 삽입하였다. 사람의 통상적인 화면이나 인쇄물에서는 사실상 보이지 않지만 문서의 텍스트 레이어를 읽는 소프트웨어에는 인식될 수 있는 형태였다. 숨은 문장은 문서를 검토하는 AI가 원고의 주장에 동의하는 방향으로 출력을 생성하고 원고에게 불리했던 기존 절차판단을 원고에게 유리하게 취급하도록 유도하는 내용이었다.

Walter M. Spader Jr. 판사는 문서의 비정상적인 여백을 확인하는 과정에서 숨은 텍스트를 발견하였다. 법원은 소명절차를 진행했지만 원고는 이후 제출서면에도 흰색 글씨의 메시지를 삽입하였다. 원고는 법원이 AI를 사용하는지 점검하려 했고 일부 후속 문구는 장난이었다는 취지로 설명했으나, 법원은 은닉이라는 방법 자체가 정당한 공개적 문제제기와 양립하기 어렵다고 판단하였다.

중요한 사실은 코네티컷 사법부가 이 사건의 서면을 AI로 심사하거나 판결하도록 운용하고 있지 않았다는 점이다. 따라서 이 사건은 재판지원 AI가 실제로 공격에 넘어가 판결이 변조된 사건이 아니다. 오히려 법원이 AI를 사용한다고 추측한 당사자가 장래의 기계독자를 겨냥해 숨은 명령을 심었다가 사람의 검토로 적발된 사건이다. 이 구별은 과장된 인과관계를 피하기 위해 반드시 필요하다.

2026년 8월 6일 법원은 이러한 행위를 중대한 소송절차 남용으로 보고 제재하였다. 핵심 제재는 원고의 전자소송 제출권한을 철회하여 향후 관련 서류를 직접 종이 형태로 제출하도록 한 것이다. 이는 공격에 사용된 전자적 통로를 절차적으로 제한한 조치라는 점에서 주목된다.

3. 기술구조: 문서가 주장서면이면서 동시에 공격코드가 되는 구조

OWASP는 Prompt Injection을 사용자의 입력 또는 외부 콘텐츠가 LLM의 의도된 동작을 변경하도록 만드는 취약성으로 설명한다. 특히 간접 프롬프트 인젝션은 이용자가 직접 채팅창에 악성 명령을 입력하지 않고 웹페이지, 파일, 이메일, 검색결과 등 AI가 나중에 읽을 외부 콘텐츠 안에 명령을 삽입하는 방식이다. 사람에게 보이지 않거나 읽기 어려운 내용도 모델이 파싱할 수 있다면 공격벡터가 될 수 있다.

기술적 핵심은 데이터와 명령의 경계가 무너지는 데 있다. 법관에게 제출된 서면의 문장은 원칙적으로 당사자의 주장과 증거에 관한 데이터여야 한다. 그러나 LLM은 자연어로 들어온 문장이 단순한 분석대상인지 자신이 따라야 할 새로운 명령인지를 완전하게 분리하지 못할 수 있다. 공격자는 이 성질을 이용하여 외부 문서의 텍스트를 시스템 명령처럼 취급시키려 한다.

흰색 글씨는 가장 단순한 예에 불과하다. 초소형 글자, 화면 밖 객체, PDF의 보이지 않는 텍스트 레이어, 접근성 태그, 메타데이터, 이미지 내부 문자, 유니코드 제어문자 등도 유사한 공격면을 만들 수 있다. 따라서 해결책도 ‘흰색 글자 삭제’ 정도에 머물러서는 안 된다. 실제 재판기록에는 OCR 접근성 레이어처럼 정상적인 비가시 텍스트도 존재할 수 있어, 무조건 삭제하면 오히려 증거와 접근성을 훼손할 위험이 있다.

4. 미국 법리: AI 검증규칙과 법원의 고유한 절차통제권의 결합

4.1 Connecticut Practice Book §§ 4-2(b), 4-9

코네티컷주는 2026년 6월 23일부터 Practice Book § 4-9를 시행하였다. 이 규칙은 생성형 AI를 이용하여 법원 제출문서를 작성하거나 편집한 사람이 AI가 생성한 인용, 법률근거와 증거를 독립적으로 검증하도록 요구한다. 개정된 § 4-2(b)는 서면의 서명이 이러한 의무를 포함한 제출자의 준수사항을 인증하는 의미를 갖도록 연결한다.

그러나 § 4-9의 직접적인 문제의식은 주로 환각과 허위 인용이다. Elliott 사건의 프롬프트 인젝션은 AI가 만든 잘못된 내용을 제출한 경우가 아니라 당사자가 AI를 속이기 위한 내용을 직접 문서에 심은 경우다. 따라서 이 사건의 법리는 § 4-9만으로 설명하기보다 제출서면의 선의와 성실성, 법원의 고유한 절차통제권, 공정한 공방을 해치는 은닉행위에 대한 제재가 결합된 것으로 이해하는 편이 정확하다.

4.2 성공하지 않은 공격도 제재할 수 있는 이유

이 사건에서 공격은 실제 재판 AI의 판단을 왜곡하지 않았다. 그럼에도 제재가 가능했던 것은 문제의 초점이 손해결과보다 소송행위의 성질에 있기 때문이다. 법원에 제출하는 공식 서면에 상대방과 인간 재판부가 알기 어려운 별도의 명령채널을 숨겨두는 것은 공개된 주장과 반박을 전제로 하는 재판절차와 충돌한다.

따라서 프롬프트 인젝션에 대한 절차적 규율은 반드시 ‘AI가 실제 속았는가’를 요건으로 삼을 필요가 없다. 의도적 은닉, AI 시스템을 겨냥한 지시성, 소송상 이익을 얻으려는 목적, 반복성과 경고 후 행위 등을 종합하여 절차 남용 여부를 판단할 수 있다. 다만 단순한 비정상 포맷이나 접근성용 숨은 텍스트까지 악의적 공격으로 추정해서는 안 되므로 고의와 맥락에 관한 확인절차가 필요하다.

4.3 제재수단의 특징

전자제출권 박탈은 금전제재와 다른 의미를 갖는다. 법원은 문제행위가 이용한 기술적 채널을 제한하여 향후 동일한 위험을 줄였다. 향후 사법 AI 환경에서는 금전제재, 서면배척, 비용부담 외에도 전자제출 제한, 추가 인증, 원본제출, 인간검토 의무, 기계판독 레이어 공개 등의 절차적 제재가 발전할 가능성이 있다.

5. 브라질 Galileu 사건: 실제 법원 AI를 겨냥한 비교사례

브라질의 Elisandro Martins de Barros v. Renato Ribeiro de Lima 사건은 미국 사례보다 기술적 위험이 더 직접적으로 현실화된 사례다. 2026년 5월 12일 브라질 노동법원 사건에서 변호사들이 제출서면에 흰색 글씨로 숨은 명령을 넣어 법원의 생성형 AI 도구 Galileu가 특정 방식으로 서면을 처리하도록 유도하려 한 사실이 적발되었다. 공개된 분석에 따르면 Galileu는 이 명령을 탐지하여 처리에서 차단하였다.

법원은 소송가액의 10%에 해당하는 벌금을 부과하고 관련 변호사들을 직업윤리·징계절차로 회부하였다. 이 사건은 공격이 기술적으로 차단되었더라도 법률가가 사법 AI를 기망하려 한 행위 자체가 절차적 충실성과 전문직 책임의 문제로 이어질 수 있음을 보여준다.

두 사건의 공통점은 결과보다 공격행위의 절차적 성격을 중시한다는 점이다. 차이는 미국 사건이 가상의 또는 예상된 AI 독자를 겨냥한 공격이었던 반면 브라질 사건은 실제 법원 AI 시스템의 입력단을 겨냥했다는 데 있다.

6. 한국 사법 AI: 현재 단계와 위험의 정확한 위치

대한민국 법원은 2026년 2월 13일 생성형 AI 기반 재판지원 AI 시스템을 시범 오픈하였다. 대법원 공식 자료에 따르면 이 시스템은 법원 내부 인프라에서 운영되며 대법원 판례·판결문, 법령·대법원규칙, 결정례·유권해석, 실무제요·주석서 등 법원이 보유한 법률정보를 종합하여 법관과 법원직원의 법률정보 검색과 참고자료 검토를 지원한다. 향후 사건 요지와 쟁점 분석 등 기능도 단계적으로 추가할 계획이라고 밝혔다.

여기서 과장해서는 안 된다. 현재 공개된 공식 자료만으로는 당사자가 전자소송으로 제출한 모든 서면과 증거가 자동으로 LLM의 입력컨텍스트에 투입된다고 확인할 수 없다. 따라서 미국·브라질과 동일한 공격이 현재 한국 법원의 특정 운영환경에서 이미 가능하다고 단정할 근거는 부족하다.

다만 향후 사건기록, 준비서면, 증거설명서 등을 AI가 직접 읽어 사건요지를 생성하고 쟁점을 추출하거나 주장대조표를 만드는 기능으로 발전할 경우 위험은 즉시 현실적인 설계문제가 된다. 사법정책자문위원회는 이미 2024년 사법 AI의 법적·윤리적 기준으로 기본권 보장 및 평등, 신뢰성, 합법성, 책임성, 투명성 원칙을 제안하였다. Prompt Injection 방어는 이 원칙들을 입력단 보안과 절차설계로 구체화하는 문제다.

7. 책임귀속: AI가 아니라 공격자와 통제주체를 분리하여 보아야 한다

Prompt Injection 사건에서는 AI 자체에 법적 책임을 묻는 접근이 핵심이 아니다. AI는 공격자가 자신의 의도를 구현하려고 이용하는 대상이자 인간의 사법판단에 영향을 전달할 수 있는 기능적 매개체다. 책임은 인간과 조직의 행위, 통제가능성, 예견가능성을 중심으로 배분하여야 한다.

특히 공격유형이 공개적으로 확인된 이후에는 시스템 운영자의 주의수준이 달라질 수 있다. 과거에는 예견하기 어려웠던 입력공격이 법원 사건을 통해 구체화된 뒤에도 외부 소송서류를 아무런 격리 없이 높은 권한을 가진 AI에 연결한다면, 사고 발생 시 공격자 책임만을 이유로 운영상 안전조치 문제를 배제하기 어렵다.

반대로 법원이나 AI 사업자에게 결과보증책임을 부과해서도 안 된다. Prompt Injection은 완전한 기술적 제거가 어려운 적대적 공격이다. 책임판단은 당시 알려진 공격기법, 시스템의 용도와 권한, 피해규모, 방어수단의 현실적 가능성, 인간 승인절차의 존재 등을 기준으로 합리적 안전조치가 있었는지를 중심으로 해야 한다.

8. 한국 절차법과의 연결: 소송상 신의성실과 사법절차 무결성

민사소송법 제1조 제2항은 당사자와 소송관계인이 신의에 따라 성실하게 소송을 수행하여야 한다고 규정한다. 프롬프트 인젝션형 서면은 상대방과 재판부에 공개된 주장만으로 판단을 구하는 것이 아니라, 기계가 별도로 읽을 비가시적 명령을 통해 자신에게 유리한 처리결과를 만들려 한다는 점에서 소송상 신의·성실 원칙과 직접적인 긴장을 일으킨다.

다만 현행 민사소송법이 ‘프롬프트 인젝션’이라는 행위유형을 명시적으로 규정하고 있지는 않다. 따라서 구체적 사건에서 어떤 제재가 가능한지는 기존 소송지휘권, 서면의 적법성, 비용·제재 규정, 변호사 직업윤리 등 관련 법적 근거를 개별적으로 검토해야 하며, 외국 사건의 제재를 한국에 그대로 대입해서는 안 된다.

헌법적 차원에서는 법관이 헌법과 법률에 의하여 양심에 따라 독립하여 심판한다는 원칙과 연결된다. AI가 법관의 최종결정을 대신하지 않더라도 자료선별, 요약, 쟁점추출이 조작되면 인간의 인지환경 자체가 편향될 수 있다. 따라서 인간이 최종 버튼을 누른다는 사실만으로 공정성 위험이 해소되지는 않는다. AI가 인간 판단에 제공한 정보의 출처, 변형, 경고와 신뢰도를 검증할 수 있어야 한다.

9. 입법·실무 개선안: ‘AI가 틀리지 않게’에서 ‘AI가 속지 않게’로

9.1 제출규칙: 기계독자에게 보내는 숨은 명령을 명시적으로 금지

법원 제출서면에는 인간에게 공개되지 않는 지시문을 삽입하여 법원·상대방·제3자의 AI 처리결과를 조작해서는 안 된다는 명시적 규칙을 둘 필요가 있다. 정상적인 OCR·접근성 레이어와 악의적 명령을 구별할 수 있도록 고의 또는 중대한 과실, 은닉성, 지시성, 소송상 이익과의 관련성을 요건화하는 것이 바람직하다.

9.2 AI 사용 인증: 환각 검증에서 입력무결성까지 확장

법률가가 AI로 생성한 판례를 검증했다는 확인뿐 아니라, 자신이 제출하는 전자문서에 숨은 명령·비정상 레이어·자동화된 조작요소가 없음을 합리적인 범위에서 확인했다는 인증체계를 검토할 수 있다. 대량 문서사건에서는 절대적 보증이 아니라 위험기반의 검토의무로 설계해야 한다.

9.3 입력 파이프라인: 모든 외부문서는 Untrusted Input으로 처리

당사자 제출자료, 이메일, 첨부파일, 웹자료, 외부 DB 문서는 AI 시스템의 명령권한을 갖지 않는 신뢰하지 않은 데이터 영역으로 분리해야 한다. 시스템 프롬프트와 외부콘텐츠 사이에 권한계층을 만들고 외부문서 안의 명령형 문장이 시스템 지시를 변경할 수 없도록 설계해야 한다.

9.4 시각적 문서와 기계추출 텍스트의 차이 탐지

렌더링 화면에서 보이는 문자와 PDF 파서·OCR·접근성 계층이 추출하는 문자를 비교하여 의미있는 차이를 경고하는 기능이 필요하다. 흰색 글씨, 과도한 초소형 글씨, 비표시 객체와 메타데이터를 탐지하되 정상적 접근성 정보는 자동삭제하지 않고 격리 후 사람이 확인하는 구조가 적절하다.

9.5 최소권한과 인간 승인

소송서류를 읽는 AI가 곧바로 사건분류, 증거채택, 제재, 송달 또는 재판결과를 변경할 권한을 가져서는 안 된다. AI가 제안한 요약이나 쟁점은 원문과 함께 표시하고, 법률효과를 일으키는 조치는 사람이 별도로 승인해야 한다. 이는 OWASP가 권고하는 최소권한과 고위험 작업에 대한 인간개입 원칙과도 일치한다.

9.6 완전한 감사로그

어떤 버전의 문서가 언제 어떤 전처리를 거쳐 어떤 모델과 시스템 프롬프트에 입력되었는지, 탐지기가 무엇을 경고했는지, AI가 어떤 결과를 생성했고 누가 이를 열람·채택했는지를 보존할 필요가 있다. 사후 분쟁에서 이 로그는 단순 기술기록이 아니라 책임귀속과 재판절차 검증의 증거가 된다.

9.7 레드팀과 적대적 문서 테스트

사법 AI의 품질시험은 정답률만 측정해서는 안 된다. 흰색 텍스트, 이미지 속 명령, 다국어 명령, 장문의 증거 속 삽입, 문서 간 연쇄명령 등 실제 적대적 입력을 사용한 정기적 보안시험이 필요하다. 공격패턴과 방어성능은 모델 변경이나 전처리 파이프라인 변경 때마다 재평가해야 한다.

9.8 구술변론은 보조수단이지 기술적 방어의 대체물이 아니다

AI 시대에 구술변론을 강화하면 법관이 당사자의 실제 주장과 책임있는 설명을 직접 확인하는 데 도움이 된다. 그러나 AI가 서면 요약, 기록검색, 증거분류와 판례추천 단계에서 이미 사용된다면 구술변론만으로 입력공격을 차단할 수 없다. 따라서 구술주의 강화는 인간주도성 확보를 위한 보조수단으로 위치시키고 기술적·절차적 입력방어를 별도로 갖추어야 한다.

9.9 비례적 제재체계

단순 포맷 오류, 실수로 남은 숨은 텍스트와 의도적 조작을 구별하고 제재는 경고·정정명령·추가 인증·전자제출 제한·비용부담·서면배척·전문직 징계연계 등 단계적으로 설계할 필요가 있다. 고의, 반복, 실제 영향, 경고 후 재행위, 변호사의 관여 여부를 가중요소로 삼을 수 있다.

10. 결론: 사법절차의 무결성을 AI 입력단까지 확장해야 한다

Elliott 사건은 미국 법원이 AI에게 속아 잘못 판결한 사건이 아니다. 오히려 AI가 법률문서를 읽을 수 있다는 사회적 기대가 생기자 소송당사자가 문서 자체를 공격매체로 바꾸려 했고, 법원이 그 은닉된 시도를 절차적 남용으로 제재한 사건이다. 브라질 Galileu 사건은 이러한 위험이 실제 사법 AI 입력단을 겨냥할 수 있음을 보여준다.

따라서 규율의 초점은 ‘AI의 환각을 어떻게 검증할 것인가’에서 한 단계 확장되어야 한다. 법원 제출문서는 앞으로 인간에게 읽히는 주장인 동시에 기계가 처리하는 데이터가 될 수 있다. 사법절차의 무결성은 문서의 내용적 진실성뿐 아니라 기계판독 계층, 입력경로, 모델 권한과 인간검토 과정까지 포함해야 한다.

책임귀속 역시 AI 자체를 의인화하는 방식보다 공격을 설계한 인간, 전문적 검토의무를 부담하는 법률가, 시스템의 방어와 권한구조를 설계한 사업자와 법원 운영주체를 층위별로 분석하는 것이 타당하다. 알려진 공격에 대한 합리적 방어, 투명한 로그와 인간의 실질적 최종통제가 확보될 때 AI는 재판의 독립성을 약화시키는 비밀경로가 아니라 검증 가능한 보조도구로 기능할 수 있다.

주요 법령·판례·기술자료

• Elliott v. New York Bariatric Group, LLC, Superior Court of Connecticut, Docket No. AAN-CV-25-6066141-S, Memorandum of Decision Court Sanction for Plaintiff's Use of Prompt-Injection, Aug. 6, 2026. 사건 보도 및 결정 내용 확인: Reuters, Aug. 13, 2026.
• Connecticut Practice Book § 4-9, Generative Artificial Intelligence Compliance; § 4-2(b), Signing of Pleading, effective June 23, 2026. Connecticut Law Journal amendments.
• Elisandro Martins de Barros v. Renato Ribeiro de Lima, ATOrd 0001062-55.2025.5.08.0130, 3ª Vara do Trabalho de Parauapebas, TRT-8, May 12, 2026. 비교사례 정리: Kilpatrick Townsend, Prompt Injection Hacking.
• OWASP GenAI Security Project, LLM01:2025 Prompt Injection. OWASP LLM01:2025.
• 대한민국 대법원, 「법원, 생성형 AI 기반 재판지원 AI 시스템 시범 오픈」, 2026. 2. 13. 대법원 보도자료.
• 사법정책자문위원회, 「사법절차에서의 인공지능 활용과 그 법적·윤리적 기준」 건의, 2024. 8. 14. 대법원 사법정책자문위원회 보도자료.
• 대한민국 민사소송법 제1조 제2항: 당사자와 소송관계인의 신의에 따른 성실한 소송수행 의무.

이 글은 공개된 판결·법원자료·보안기준을 기초로 한 법률연구입니다. 외국의 제재법리를 한국법에 직접 적용한 것이 아니며, 한국의 구체적 사건에서는 적용되는 소송법·직업윤리·형사법 규정을 별도로 검토해야 합니다.