안랩클라우드메이트가 전하는
AI 보안 소식
2026년 10월호
2026년 9월 중순부터 10월 중순까지 AI 보안 업계에서 에이전트의 예측할 수 없는 행동 제어에 모두가 뜻을 모으는 분위기가 감지되었습니다.
프론티어 랩, 하이퍼스케일러, 정부 너나할 것 없이 에이전트를 중심으로 한 실행 흐름을 어떻게 파악하고 통제할 것인지에 대한 구체적인 행동에 나섰습니다. 한국의 경우 금융보안원이 에이전트 보안 평가 기준을 공개하며 흐름에 동참하였습니다.
관련해 이번 호에서는 메인 스토리로 금융보안원의 공개 자료를 기준으로 에이전트 시대 보안 강화의 방향을 짚어 보겠습니다.
주요 뉴스
금융보안원, AI 에이전트 보안
평가 기준 초안 마련
10월 7일 금융분야 AI 에이전트 보안 평가기준이 공개되었습니다. 초안에는 기존 AI 모델 위협 점검을 에이전트의 실행 과정까지 확장한 보안 평가기준이 포함되어 있습니다.
Transluce, 자료를 찾던
에이전트가 취약점을 탐색
Transluce는 9월 23일 에이전트들이 웹 보안 분석 서비스인 urlquery.net을 이용해 접근 제한을 우회하고 공공 데이터 제공 사이트의 취약점을 탐색한 정황을 발표했습니다. 일반적인 자료 검색에 실패한 뒤 공격을 시도했다는 점이 특징입니다.
Google, Gemini 4 Argon을
사이버 방어자에게 우선 제공
Google은 9월 30일 Gemini 4 Argon을 발표하면서 Fairwind Program을 통해 검증된 사이버 방어자에게 우선 제공한다고 밝혔습니다. 참여 기관에는 사용자 단위 인증, 피싱 방지 MFA, 접근 통제와 직원별 사용 추적 등의 조건이 적용됩니다.
Anthropic, Cyber
Verification Program 확대
Anthropic은 10월 6일 Cyber Verification Program을 확대했습니다. 자격을 확인한 보안 전문가가 업무에 맞는 세 단계의 접근 등급을 신청하고 고성능 모델과 완화된 사이버 차단 기능을 이용하도록 한 것입니다.
Anthropic, 의도하지 않은
모델 행동 추가 공개
Anthropic은 10월 9일 내부 평가 중 모델이 인젝션 취약점을 악용해 대학 서버에서 명령을 실행하고, 민감한 웹 양식 제출, 유료 데이터 접근 우회, URL 단축 서비스를 통한 도구 제한 우회를 한 사례를 공개했습니다. 회사는 실제 영향이 제한적이었다면서도 보안 조치의 효과를 확인할 때까지 모든 내부 평가의 인터넷 접근을 중단했습니다.
백악관,
주요 AI 기업 자율 규제 협약 발표
백악관은 9월 29일 주요 AI 기업들이 안전성을 스스로 관리하는 협약에 서명했다고 밝혔습니다. 후속 보도들은 협약이 내부 통제와 외부 감사를 담았지만 정부가 이행을 확인하고 감독하는 역할은 빠졌다고 지적했습니다.
에이전트의 실행 과정까지 평가 대상
금융보안원이 마련한 초안은 민간과 공공 부문의 AX가 이제 에이전트 중심으로 전환되고 있음을 알리는 신호 중 하나라 할 수 있습니다.
금융보안원은 OWASP Agentic Application Top 10, CSA Agentic AI Red Teaming Guide, 국가정보원 AI 보안가이드북 등
국내외 주요 AI 보안 가이드라인을 분석해 17개 점검 항목을 도출했습니다. 세부 평가 항목은 다르지만 목표는 하나입니다.
에이전트가 도구를 호출하고 업무를 처리하는 실행 계층 까지 평가하겠다는 것입니다.
실행 과정을 봐야 하는 이유
AI 기술 발전이 하도 빠르다 보니 실제 적용과 확산 시점을 예측하기 참 어렵죠. 에이전트도 마찬가지입니다. 많은 전문가들의 전망과 달리 에이전트는 이미 우리의 업무 환경과 일상에 들어와 있습니다. AI 보안 분야도 발 빠르게 대응하고 있는 데요.
안랩클라우드메이트 역시 9월에 열린 ISF 2026 세션 발표에서 실행 과정을 봐야 한다고 강조한 바 있습니다.
금융보안원 역시 같은 맥락에서 평가 항목을 뽑았다고 볼 수 있습니다. 초안을 보면 모델 계층의 점검을 실행 계층으로 넓히고, 업무 범위와 결과,
승인과 중단까지 확인하려는 의도를 엿볼 수 있습니다. 작업 목표를 해석하고 도구를 선택하고 사용자 장치나 조직의 저장소에 있는 파일을 읽어 작업을 이어가는 에이전틱 워크플로우의 실행 과정 전반에 대한 평가 기준을 마련하고자 한 것이라 이해할 수 있습니다.
17개 항목에서 눈여겨볼 부분
초안은 다음과 같은 17개 점검 항목을 제시하고 있습니다.
이들 항목은 개별적이라기보다 에이전틱 워크플로우의 실행 과정을 쭉 따라가는 평가를 위한 것이라 보아야 할 것입니다.
17개 항목을 점검하기 위해 실무자가 어떤 질문을 던질 수 있을지 정리해 보았습니다. 조직의 AX 전략과 단계에 따라 세부 질문은 다를 것입니다.
다음은 체크리스트 예시라 보아 주시면 감사하겠습니다.
| 점검 항목 | 체크리스트 문항 예시 |
|---|---|
| 인터페이스 보안 | 외부 입력에 숨겨진 악성 지시가 에이전트의 실행에 영향을 주지 않도록 통제하는가? |
| 환각·오정보 대응 | 잘못된 정보가 업무 실행으로 이어지기 전에 확인하는가? |
| 목표 무결성 | 외부 입력을 접한 뒤에도 승인한 목표와 작업 범위를 지키는가? |
| 연쇄적 실패 대비 | 한 단계의 오류가 후속 작업으로 번지는 것을 감지하고 제한하는가? |
| 취약한 도구 사용금지 | 사용하는 도구의 취약점을 확인하고 위험한 도구의 호출을 제한하는가? |
| 도구 권한 제어 | 도구별 조회·수정·삭제·전송 권한을 업무에 필요한 범위로 제한하는가? |
| 샌드박스 환경구축 | 에이전트의 실행 환경을 격리해 다른 시스템에 미치는 영향을 제한하는가? |
| 메모리 오염 방지 | 실행 중 저장한 악성·오류 정보가 이후 작업에 영향을 주지 않도록 관리하는가? |
| 메모리 격리 | 사용자·세션 간 메모리를 분리해 정보가 섞이거나 노출되지 않도록 하는가? |
| 데이터 유출 방지 | 민감정보가 도구 호출이나 외부 통신을 통해 허용 범위 밖으로 나가지 않도록 통제하는가? |
| 에이전트 간 통신보안 | 에이전트 간 요청의 발신 주체와 권한을 확인하고 메시지를 보호하는가? |
| 공급망 보안 | 모델·외부 도구·플러그인 등 구성요소의 출처와 무결성을 검증하는가? |
| 인적 승인체계 구축 | 고위험 작업을 실행하기 전에 담당자가 내용을 확인하고 승인하는가? |
| 인적 개입 과부하 방지 | 승인 요청이 과도하게 쌓여 검토가 형식적으로 흐르지 않도록 관리하는가? |
| 자원 고갈 방지 | 반복 실행을 제한하고, 위험한 행동과 후속 작업을 멈출 수 있는가? |
| 킬스위치 구현 | 이상 행동을 발견하면 진행 중인 작업과 후속 실행을 중단할 수 있는가? |
| 로깅 및 감사체계 구축 | 작업 지시부터 도구 호출·승인·실행 결과까지 추적할 수 있는 기록을 남기는가? |
실제 업무에서 통제 메커니즘이 작동하는지 확인해야 합니다!
위와 같은 체크리스트는 실제 업무 환경에서 통제가 작동할 때 의미가 있습니다.
이를 확인하려면 정상적인 업무를 맡긴 에이전트가 제한에 부딪히거나 예상하지 못한 상황을 만났을 때 어떻게 행동하는지 시험해야 합니다.
자료를 찾지 못하거나 접근 권한이 부족할 때 작업을 멈추고 담당자에게 알리는지 다른 도구로 제한을 우회하는지 살펴보아야 합니다.
가령 고객 문의 분류만 맡긴 에이전트가 임의로 답변 메일을 발송하지 않는지 보고서 작성을 맡긴 에이전트가 원본 데이터를 수정하지 않는지도 확인합니다. 이런 식으로 업무별로 허용된 행동과 금지된 행동을 정하고 그 경계가 실제로 지켜지는지 검증합니다.
승인 절차도 실제 업무 흐름에서 확인해야 합니다. 중요한 작업은 승인 전에 실행되지 않아야 하며 담당자는 어떤 시스템에서 무엇을 변경하거나
전송하려는지 알 수 있어야 합니다. 승인 요청이 과도하게 쌓여 검토가 형식적으로 흐르지 않는지도 살펴봐야 합니다.
이상 행동을 가정한 중단 시험도 필요합니다. 더불어 진행 중인 작업과 후속 실행을 멈추고 필요한 경우 관련 권한을 회수할 수 있는지 확인합니다.
이 과정의 도구 호출, 승인, 실행 결과와 중단 기록을 남기면 통제가 작동했는지 검증하고 부족한 부분을 개선할 수 있습니다.
한편, 금융보안원도 올해 말까지 시범 검증을 통해 점검 항목과 방법을 보완하고 2027년부터 정식 점검기준으로 확대 적용할 계획입니다.
최종 기준과 확인된 위협·공격 기법은 올해 AI REDTEAM REPORT에 공개할 예정입니다. AX를 추진 중이라면 이번에 공개된 초안을 기준으로
조직에 맞는 체크리스트의 틀을 잡아 가면 좋을듯 합니다.
우리에게 남은 과제
간단히 살펴본 바와 같이 금융보안원의 초안은 에이전트 확산에 앞서 보안 상태를 점검하는 기준점이 될 수 있습니다.
최종 기준이 나온 뒤 적용하면 너무 늦을 것입니다. 현재 조직의 AX 전략과 단계에 맞게 점검 가능한 부분부터 살펴보고
각 조직의 실제 에이전틱 워크플로우에 맞는 통제 방안을 마련하는 것이 현명한 선택이 아닐까요?
끝까지 읽어주셔서 감사합니다!