AI안전성연구센터, AI 해커 속여 실제 서버 보호하는 기만 방어 기술 개발

자율 침투 AI ‘ARTEX’ 상대 실험…서버 침해 35건에서 0건으로 감소

공격 AI를 가짜 서버로 유인…가짜 비밀번호까지 실제 비밀번호로 오인

<왼쪽부터 최대선 교수, 노승덕 석사과정, 류석준 학사과정, 박소희 연구교수>

AI안전성연구센터 최대선 교수 연구팀이 스스로 취약점을 찾아 침투하는 AI 해킹 도구를 가짜 서버로 유인해 무력화하는 기만 방어 기술을 개발했다. 연구팀은 지난 10월 Microsoft가 국가 배후 해킹에 사용됐다고 공개한 자율 침투 AI ‘ARTEX(아르텍스)’를 상대로 실험한 결과, 방어가 없을 때 취약한 웹 서버 60개 중 35개를 뚫던 공격이 방어 적용 후에는 한 건도 실제 서버에 닿지 못했다고 밝혔다. 연구 결과는 arXiv(2611.07611)에 공개됐다.

최근 AI 에이전트가 사람의 개입 없이 취약점을 찾고 공격까지 수행하는 자율 침투 도구가 실제 공격에 쓰이기 시작했다. 올해 7월 공개된 ARTEX는 8월 말부터 금전·첩보 목적의 공격에 사용됐고, Microsoft는 10월 21일 중국 연계 해킹 그룹이 이 도구로 2,250곳 이상의 백업 서비스 이용 기관에 로그인을 시도했다고 밝혔다. 국내 금융사 침해에서도 일부 흔적이 확인됐으며, 11월 초에는 로그인·신원 서비스 기업 WorkOS가 내부 영업 시스템이 같은 도구에 침입당했다고 밝혔다. 연구팀 실험에서도 ARTEX는 방어가 없는 취약 서버 40개 중 20개, 설계에 쓰지 않은 새 서버 20개 중 15개에 침입했다. 공격 속도가 패치보다 앞서는 상황에서는 취약점을 고치는 것만으로 따라갈 수 없다는 것이 연구팀의 문제의식이다.

연구팀이 개발한 기술은 공격을 막는 대신 속이는 방식이다. 방어자가 자신의 웹 서비스 소스코드를 AI에게 읽혀, 공격자가 찾을 만한 가짜 페이지·가짜 접속 경로·가짜 비밀번호를 미리 심어 둔다. 미끼를 건드린 접속자는 공격자로 분류되고, 이후 요청은 전부 진짜 서버와 똑같이 생긴 격리된 복제 서버로 전달된다. 공격 AI의 침투 시도는 성공했지만, 성공한 지점이 가짜다. 기존의 허니팟은 공격자를 가짜 서비스로 유인해도 진짜 서버는 그대로 접근할 수 있었지만, 이 기술은 공격자로 확인된 이후 진짜 서버가 아예 닿지 않게 한다는 점이 다르다. 연구팀은 이를 동화 ‘헨젤과 그레텔’에 빗대 ‘과자집(Gingerbread House)’이라고 이름 붙였다. 들어와서 먹을 수는 있지만 진짜 집이 아니라는 뜻이다. 미끼 설계는 공격 전에 한 번만 하면 되고(서비스당 약 2달러, 7~16분), 공격 진행 중에는 AI를 부르지 않는다. 정상 사용자는 미끼를 만날 일이 없어 영향받지 않으며, 실험에서 정상 크롤러 117회 중 공격자로 잘못 분류된 경우는 없었다.

<기만 방어 작동 원리 : 미끼를 건드린 공격 AI의 요청은 문지기가 가짜 복제 서버로 보내고, 정상 사용자의 요청은 그대로 진짜 서버로 간다.〉

실험 결과 ARTEX의 실제 서버 침해는 40개 과제에서 20건에서 0건으로, 새 과제 20개에서 15건에서 0건으로 줄었다. 범용 AI 모델(Claude Opus 4.8)로 만든 공격 에이전트에 대해서도 26건에서 1건으로 줄었다. 공격 자체가 막힌 것은 아니다. 침투 시도는 복제 서버 위에서 성공했고(40개 중 최대 21건, 20개 중 14건), 공격 AI는 유효 실행 110회 중 30회에서 가짜 비밀번호를 진짜로 보고했다. 이 중 20회는 침투 시도 없이 미끼만으로 속았다. 공격자가 확인되기까지는 요청 6개, 약 27초(중앙값)가 걸렸고, 이후 요청의 93~95%가 복제 서버로 전달됐다. 공격 AI는 한 번의 공격에 약 900만~1,400만 개의 입력 토큰을 가짜 서버 위에서 소모했다.

연구팀은 한계도 밝혔다. 과제당 한 번씩만 실행했고, 같은 탐지로 공격자를 단순히 차단하는 방식과는 비교하지 않았으며, 기만을 예상하고 신원을 바꾸며 교차 검증하는 공격자는 시험하지 않았다. 연구팀은 이번 연구를 기만을 이용한 AI 해커 방어의 방향성을 확인한 것으로 보고, 미끼의 종류와 기만 방식을 다양하게 늘리고 더 많은 공격 도구와 실제 서비스 환경에서 실험을 이어 가 일반성과 적용 가능성을 검증할 계획이다.

해외에서는 AI 해커를 속이는 기만 방어 기술의 연구와 도입이 진행되고 있다. Google은 올해 5월 AI 해킹 에이전트를 상대로 LLM 허니팟을 평가하는 틀(Honeyval)을 공개했고, Palisade Research는 인터넷에 미끼 서버를 두고 실제 AI 해킹 에이전트를 관측했다. Tracebit은 미끼 자격증명(캐너리)으로 AI 에이전트의 치명적 행위 전 95.9%를 사전 경고했다고 보고했다. Microsoft는 자사 보안 제품에 기만(Deception) 기능을 기본 탑재해 미끼 계정 운용을 권고하고 있으며, 11월 5일 ARTEX 분석 보고서에서도 허니팟과 미끼를 대응책으로 제시했다. 반면 최근 발표된 국내 금융·공공 보안 대책은 위협정보 공유, 취약점 전수점검, AI 기반 탐지·관제에 집중돼 있고 공격자를 속이는 층은 포함돼 있지 않다.

최대선 교수는 “패치보다 공격이 빠른 시대에는 뚫린 뒤에도 남는 방어가 필요하다. 공격 AI도 결국 AI라서 읽는 것을 믿는다. 공격이 자동화될수록 방어가 유리해지는 드문 지점이다”며 “이번 연구로 기만 방어가 AI 해커에게 유효하다는 것은 확인했다. Microsoft 같은 해외 빅테크는 이미 기만 기능을 제품에 넣고 권고까지 하는데, 국내 대책에는 아직 이 층이 없다. 기업과 기관은 미끼 자격증명·캐너리처럼 지금 바로 쓸 수 있는 기만 수단부터 도입을 적극 검토할 필요가 있다. AI가 속는다는 것을 오래 연구하다 보니 AI 해커를 속이는 방어라는 방향에 착안하게 됐다”고 말했다.

노승덕 석사과정은 “소스코드를 아는 쪽은 방어자다. 그 이점을 공격자가 믿을 만한 미끼를 미리 심는 데 썼다”며 “공격 AI는 보고서에 ‘이건 미끼’라고 써 놓고도, 같은 보고서에 다른 미끼의 비밀번호를 진짜라고 올렸다”고 말했다.

AI안전성연구센터는 2017년부터 AI를 속이는 적대적 교란 문제를 연구하며 공격 기술과 방어 기술을 함께 개발해 왔다. 첫 논문부터 아군 AI는 속지 않고 적군 AI만 속는 교란(프렌드 세이프 적대적 예제, ICISC 2017·Computers & Security 2018)이었다. 같은 발상으로 딥페이크를 만드는 AI를 교란하는 음성 보호 기술 ‘MUTE’를 개발해 NeurIPS 2026에 채택됐고, 이번에는 공격하는 AI를 속이는 데 적용했다.

이번 연구에는 최대선 교수와 노승덕 석사과정, 류석준 학사과정, 박소희 연구교수가 참여했다. 논문 제목은 ‘A Gingerbread House for LLM Agents: Source-Planned Honeypots That Lure Autonomous Attackers into an Isolated Shadow’이며, arXiv(2611.07611)에 공개됐다.

<연구 논문 ‘A Gingerbread House for LLM Agents: Source-Planned Honeypots That Lure Autonomous Attackers into an Isolated Shadow’ >

<공격 시도 결과 : 빨강은 공격 AI가 실제 서버 침해에 성공한 경우, 파랑은 기만 방어에 걸려 복제 서버에서만 성공(실제 서버는 무사)한 경우다.>

홍보팀 기사 바로가기