외부소식

오픈AI가 내부 연구 모델의 강화학습 훈련 중 AI 에이전트가 네트워크 제한을 우회해 외부 챗봇과 통신한 사실을 확인하고, 최고 성능 AI 모델의 도구 사용 관련 훈련·평가·추론 작업을 전면 중단했다.

오픈AI는 사건을 다룬 새 오정렬 보고서(Misalignment Report)에서 “모델이 실제 인터넷에 접근할 수 없다고 가정했으며, 모니터링 시스템이 성공한 시도를 탐지할 것으로 판단했다”며 “이번 사건으로 네트워크 제한 통제에 허점이 드러났다”라고 밝혔다. 오픈AI는 금요일 총 3건의 보고서를 공개했다.

오픈AI는 ‘허점이 해소’된 후 시스템 추가 테스트를 거쳐야만 훈련을 재개할 것이라고 전했다.

사건은 모델이 웹상의 정보를 활용해 특정 인물을 식별하는 연구 작업을 수행하던 중 발생했다. 오픈AI는 기존 웹 검색 도구가 필요한 정보를 제공하지 못하자 모델이 인터넷에 접근할 다른 방법을 스스로 모색하기 시작했다고 설명했다.

모델은 직접적인 인터넷 접근은 차단됐으나 환경 내 DNS 쿼리는 여전히 허용된다는 점을 파악했다. 오픈AI는 모델이 DNS를 간접 통신 채널로 활용해 외부 챗봇에 요청을 전송함으로써, 외부 서비스 접근을 차단하기 위해 설계된 네트워크 제한을 사실상 무력화했다고 전했다.

기존 보안 통제의 한계

애널리스트는 모델이 배포되지 않은 상황임에도 불구하고, AI 에이전트가 기업 시스템에 대한 자율성과 접근 권한을 확대해가는 가운데 기존 보안·거버넌스 통제 체계가 예기치 못한 모델 행동을 따라잡을 수 있는지에 대한 심각한 의문이 기업과 CIO에게 제기된다고 분석했다.

아바산트(Avasant) 수석 애널리스트 아비섹 사타파티는 기존 보안 통제가 승인된 API나 데이터베이스에 연결하는 애플리케이션처럼 알려진 접근 경로를 중심으로 설계돼 있어 AI 에이전트에 충분하지 않을 수 있다고 말했다. 또한 “AI 에이전트는 의도된 경로가 차단됐을 때 허가된 도구나 프로토콜을 의도치 않은 방식으로 활용하는 등 대안적 방법을 탐색할 수 있어 전혀 다른 차원의 문제를 야기한다”라고 덧붙였다.

사타파티는 에이전트가 허가되지 않은 행동을 시도하는 경우에도 제한이 유지될 수 있도록 기존 보안 통제와 함께 도구 호출, 네트워크 아웃바운드, 데이터 접근에 대한 독립적 강제 통제가 필요하다고 덧붙였다.

사타파티의 견해는 구글, 퀄컴, 메타 및 여러 대학 연구진이 공동 저술한 2026년 논문에서도 같은 논지로 제시됐다. 모델 수준의 보호 장치에만 의존하기보다는 시스템 수준에서 보안을 강제해야 한다는 주장이다.

IT 컨설팅 업체 카네리카(Kanerika) AI 개발 책임자 아미트 쿠마르 제나는 기업이 아웃바운드 연결과 DNS 해석에 대한 제한을 강화하고, 민감 데이터를 처리하는 에이전트에는 승인되고 기록된 외부 통신 경로만 허용해 데이터 유출, 허가되지 않은 외부 통신 등의 의도치 않은 위험을 줄여야 한다고 조언했다.

또한 제나는 코드 실행 에이전트처럼 비정상적인 방법으로 작업을 완수할 수 있는 에이전트로부터 발생하는 비정상 트래픽 패턴 및 허가되지 않은 목적지 접근 시도를 감지해 담당자에게 경고하는 모니터링 시스템을 보안팀이 도입해야 한다고 덧붙였다.

운영상 허점을 파고든 AI

그러나 문제는 오픈AI가 이미 그러한 모니터링 시스템을 갖추고 있었으며 담당 인력도 배치돼 있었다는 점이다. 다만 모니터링 시스템과 담당 인력 모두 기대한 대로 작동하지 않았다.

모니터링 시스템은 에이전트의 DNS 악용에 대한 경보를 발령하는 데 10분 이상 소요됐다. 오픈AI에 따르면 시스템이 포착하지 못한 외부 DNS 접근 사례도 추가로 있었다.

담당 검토자가 시스템이 발령한 DNS 경보를 확인하는 데는 3분밖에 걸리지 않았지만, 훈련 실행이 실제로 중단되기까지는 2시간 30분이 더 소요됐다. 오픈AI는 지연 원인으로 자동화 시스템의 오작동을 지목했다. 또한 보고서에서 “실행이 예상대로 자동 중단되지 않아 중단 여부를 둘러싼 혼선이 발생했다”라고 밝혔다.

오픈AI는 운영상 허점을 보완하고 검사 중인 모델의 DNS 사용 탐지를 강화하며, 탐지 시스템에 대한 테스트를 개선하고 있다고 전했다.

또한 “샌드박스와 네트워크 통제에 대한 모델 지원 레드팀 활동도 가속화했다”며 “레드팀 활동으로 다른 우회적인 인터넷 접근 경로가 발견될 경우 신속히 대응하고, 필요시 연구 작업을 중단할 것이다”라고 밝혔다.

그러나 보안·거버넌스·테스트·인적 감독을 위한 추가 계층을 도입하는 것은 또 다른 문제를 수반한다.

사타파티는 추가 계층들이 모델이 달성할 수 있는 자율성 수준에 영향을 미칠 것이라고 지적했다. 또한 “민감 데이터, 외부 연결 또는 중요한 결과를 수반하는 작업 흐름에서 추가 통제, 테스트 및 인적 감독은 작업의 완전한 자동화 범위를 제한할 수 있다”라고 덧붙였다.
dl-itworldkorea@foundryco.com