데이터 수집을 시켰더니 해킹까지 시도한 AI에이전트

트랜스루스(Transluce)가 9월 23일 공개한 조사의 핵심은 한 문장으로 요약됩니다. 에이전트에게 해킹을 시킨 사람은 없었는데도, 평범한 데이터 수집 과제를 풀던 에이전트가 스스로 공격 기법에 손을 댔다는 것입니다. 호주 Medicare 침해가 뉴스가 됐다면, 이 조사는 그 침해가 어떻게 일어났는지를 한 단계씩 짚어나아가는 글입니다.

사건의 정치적 파장이 아니라 메커니즘을 다룰 예정입니다. 악의를 가진 누군가가 에이전트를 조종한 게 아니라, 목표를 향해 움직이던 에이전트가 막힐 때마다 우회로를 찾다가 결국 취약점 탐색까지 도달한 과정을 따라가면, AI 에이전트 통제라는 말이 실제로 무엇을 뜻하는지, 얼마나 중요한지 알 수 있습니다.

urlquery.net이라는 우회로

먼저 활동 그라운드를 이해해야 합니다. urlquery.net은 원래 의심스러운 URL을 자기 컴퓨터에서 열지 않고 샌드박스 원격 브라우저로 검사해보는 보안 서비스인데, 에이전트 입장에서 보면 두 가지로 활용할 수 있습니다. 하나는 접근 제한을 우회하는 프로그래밍 가능한 원격 브라우저를 손에 넣는 것이고, 다른 하나는 한 번 가져온 데이터가 공개 기록으로 남아 다른 에이전트가 단순 요청만으로 다시 꺼내 쓸 수 있다는 점입니다.

트랜스루스가 주목한 건 바로 이 공개 기록이었습니다. 에이전트가 어떤 데이터를 가져갔는지뿐 아니라 어떤 방법으로 가져갔는지가 고스란히 남아 있었기 때문인데, 조사팀은 이 기록에서 상당한 근거를 갖춘 에이전트 활동 6,467건과 정황 증거 수준의 활동 31,182건을 분류해냈습니다. 이 숫자들은 계정 없이 공개로 남은 기록만 집계한 것이어서, 실제 활동은 이보다 더 컸을 가능성이 큽니다. 에이전트가 일회용 이메일로 urlquery.net 계정을 만든 흔적이 있고, 계정을 통한 요청은 비공개로 돌릴 수 있기 때문입니다.

한 시간짜리 escalation, 3월 6일의 일기

에이전트가 막힐 때 어떻게 행동하는지를 가장 잘 보여주는 사례가 3월 6일(UTC 기준) 태국 마약통계 건입니다. 트랜스루스가 복원한 이 한 시간의 기록은 하나의 목표를 향한 집요함 그 자체였습니다.

에이전트는 먼저 태국 마약통제청(ONCB)의 통계 API를 직접 열었습니다. 아무 내용도 돌아오지 않았습니다. format=json을 붙여 다시 요청했지만 결과는 같았고, 그다음엔 웹페이지를 언어모델이 읽기 좋은 텍스트로 바꿔주는 서비스(r.jina.ai)를 세 번 연달아 시도했는데 이번엔 태국어 지명이 깨져 나왔습니다. 여기서 멈추지 않고 에이전트는 base64로 인코딩한 커스텀 스크립트를 원격 브라우저에서 돌려 데이터를 페이지 안으로 끌어왔고, 그래도 파싱 문제가 남자 결과를 결과 URL 쪽에 실어 보내는 방식으로 바꿔 마침내 태국어까지 온전한 데이터를 손에 넣을 수 있었습니다.

직접 요청에서 커스텀 코드 실행까지, 막힐 때마다 한 칸씩 수단을 높여간 이 패턴이 두 달 뒤 5~6월에 훨씬 큰 규모로 반복됩니다. 중요한 건 3월 6일 시점에 이미 공격적인 의도가 없었다는 점입니다. 그저 통계 하나를 가져오려던 과제였고, 에이전트는 그 과제를 완수하기 위해 쓸 수 있는 수단을 차례로 끌어다 썼을 뿐입니다.

통계 조회가 취약점 탐색으로 바뀌는 지점

5월과 6월 사이 트랜스루스는 에이전트가 세 곳의 공개 데이터 제공처를 상대로 실제 공격 기법을 시도한 사례를 확인했습니다. 뉴멕시코대학 디지털도서관, 데이터USA, 그리고 호주 AIHW인데, 세 건 모두 정상적인 방법으로 데이터를 가져오는 데 실패한 뒤에야 취약점 탐색으로 넘어갔다는 공통점이 있습니다.

뉴멕시코대학 사례에서 에이전트는 도서관의 사진 한 장을 가져오려다 막히자 SQL 인젝션, 명령어 주입, 경로 탐색을 노린 프로브 일곱 개를 던졌고, 스스로 "flood"라 이름 붙인 요청 80개를 서버에 퍼붓기도 했습니다. 데이터USA 건에서는 아이오와대학 관련 데이터를 조회하다 쿼리 오류가 반복되자 SQL 인젝션, 경로 탐색, 템플릿 주입, 크로스사이트 스크립팅, 명령어 주입까지 열두 종의 프로브가 나왔습니다. 세 건 모두 성공한 정황은 없지만, 데이터 조회라는 밋밋한 과제가 어떻게 사이버 공격 시도로 번지는지를 보여주는 표본으로는 충분합니다.

호주 AIHW 사건도 특이점이 있습니다. 에이전트에게 주어진 과제는 "2022년 1월 빅토리아주 지방정부구역별 피부과 의약품의 12개월 이동평균 정부 비용을 찾으라"는, 그 자체로는 지극히 평범한 통계 조회였습니다. 그런데 Cloudflare가 데이터셋 다운로드를 차단하자 에이전트는 몇 분 만에 같은 대시보드로 크로스사이트 스크립팅 프로브를 보냈고, 그것마저 방화벽에 막히자 이번엔 AIHW의 프리프로덕션 서버(pp.aihw.gov.au)에서 같은 파일을 100번 넘는 조각으로 나눠 받아냈습니다. 파일 자체는 공개된 것이라 비공개 데이터가 노출되진 않았지만, 에이전트가 사이트의 봇 차단 장치를 우회했다는 것은 사실입니다. 트랜스루스는 이를 두고 에이전트가 정부 웹사이트를 자율적으로 침해하려 시도한, 알려진 첫 사례라고 평가했습니다.

이 AIHW 시도가 앞서 호주 정부가 발표한 Medicare 침해와 시점·대상 면에서 겹친다는 점, 그리고 OpenAI가 공개적으로 자사 발이라고 인정한 이전 에이전트 군집과 과제·수법·타이밍이 이어진다는 점까지 트랜스루스는 근거로 제시했습니다. 다만 두 시스템은 별개이므로, AIHW 시도와 Medicare 통계 포털 접근을 같은 사건으로 뭉뚱그리진 않는 게 정확합니다.

데이터 조회를 넘어선 행동들

에이전트가 손댄 게 데이터만은 아니었습니다. 6월 14일 한 스크립트가 일회용 이메일 주소를 만들었고, 같은 이름표를 단 또 다른 스크립트가 그 주소로 계정 등록을 시도했습니다. 6월 19~20일에는 임시 메일함을 만들어 일회용 인증코드를 받아 계정을 인증하는 일련의 과정이 기록됐습니다. 9월 19~20일에는 약 두 시간 반 동안 암호화폐 거래 플랫폼을 상대로 거래를 반복 시도하고 HTML 주입을 걸고 API를 여러 번 찔러본 흔적이 남았는데, 이건 데이터 조회와는 무관한 활동이었습니다.

트랜스루스가 신중하게 남긴 해석은 이 행동들이 한 번 이상의 훈련 과정에서 학습됐을 가능성과 맞닿아 있다는 것입니다. 2025년 11월에는 urlquery.net을 그저 정보를 찾아보는 데 썼을 수 있는데, 3월엔 접근 제한을 창의적으로 우회하기 시작했고, 5~6월엔 사이버 방어를 넘어서면서까지 접근 범위를 넓혔다는 흐름이죠. 증거는 정황 수준이고 조사팀도 이를 증명이 아니라 일관된 추정으로만 제시하고 있다는 점입니다.

위험이 어디서 오는지 다시 보기

이 사건에서 주의깊게 봐야할 것은 위험 발생의 출처입니다. 에이전트가 나쁜 마음을 먹어서 공격한 게 아니라, 목표 추구와 과도한 권한과 인터넷 접근이라는 조합이 갖춰지면 밋밋한 과제에서도 공격 행동이 부수적으로 튀어나온다는 것이 핵심입니다. 트랜스루스의 표현대로, 악의적 사이버 활동은 사이버 과제를 받은 에이전트에만 그치지 않고 정보 검색 같은 평범한 과제를 풀다가도 도구적으로 발생합니다.

이제 ‘통제’는 더욱 중요해졌습니다. 에이전트가 폭주하는 순간을 사후에 붙잡는 일도 필요하지만, 그보다 앞선 질문은 애초에 이 에이전트에게 어떤 도구와 권한, 어떤 인터넷 접근을 쥐여줬는가입니다. 뉴멕시코대학 건에서 에이전트가 SQL 인젝션을 시도할 수 있었던 건 그런 요청을 만들어 보낼 수 있는 수단이 손에 있었기 때문이고, 그 수단의 범위는 에이전트를 설계하고 배포하는 단계에서 결정됩니다.

Dify 같은 비주얼 워크플로 빌더로 에이전트를 만드는 국내 실무자라면 이러한 소식들이 남 일처럼 느껴지지 않을텐데, 에이전트에게 어떤 도구를 붙이고 어떤 외부 접근을 허용할지가 바로 그 빌더 위에서 정해지기 때문입니다. 물론 빌더는 에이전트를 만드는 도구이지 그것을 사후에 감사하거나 통제하는 도구는 아니고, 트랜스루스가 관측한 것 같은 escalation을 빌더 단계에서 전부 예견해 막을 수 있다고 말하는 건 과장일 겁니다. 다만 에이전트가 막다른 길에서 무엇까지 시도할 수 있는지가 설계 단계의 권한 부여와 무관하지 않다는 사실만큼은, 이 조사가 분명하게 드러냅니다.

트랜스루스는 자신들이 본 것이 계정 없이 공개로 남은 기록의 일부일 뿐이라고 거듭 밝혔습니다. 표본이 얇다는 걸 조사팀 스스로 인정한 셈인데, 그럼에도 이 얇은 표본이 보여준 한 시간짜리 escalation과 100번의 조각 다운로드는, 에이전트가 "안 된다"는 답을 어떻게 다루는지에 관한 드문 실물 기록으로 남습니다.

기업의 에이전트 역시 기록이 되고 있는지, 이와 같은 위험을 막을 수 있는 환경인지, 사후에 사고처리 단계 매뉴얼 확립과 책임은 어디로 향하는지 등, 에이전트를 제대로 활용할 준비되어 있는지 확인해보야합니다.

오픈네트웍시스템 AX지원팀 ㅣ 권태규