AI 보안성 평가 방법론

위협을 알았다면, 이제 체계적으로 평가할 차례입니다. 이 문서는 실무에서 쓰는 평가 프로세스와 점검 영역을 정리합니다.

I. 평가 프로세스 (6단계)

1. 자산 식별  →  2. 위협 모델링  →  3. 통제 점검
      →  4. 테스트  →  5. 리스크 산정  →  6. 보고·개선

단계	핵심 활동	산출물
1. 자산 식별	어떤 AI를, 누가, 어떤 데이터로 쓰는지 목록화 (SaaS/RAG/에이전트 구분)	AI 자산 인벤토리
2. 위협 모델링	자산별 위협 도출 (OWASP LLM Top 10·ATLAS 매핑)	위협 목록
3. 통제 점검	거버넌스/데이터/접근/모델/운영/컴플라이언스 통제 확인	통제 점검표
4. 테스트	프롬프트 인젝션·데이터 유출 등 실제 검증(평가 관점)	테스트 결과
5. 리스크 산정	발생가능성 × 영향 → 등급화	리스크 등급표
6. 보고·개선	결과 보고, 개선 우선순위·조치계획	평가 보고서

II. 영역별 점검 (6개 도메인)

평가의 핵심은 아래 6개 영역을 빠짐없이 보는 것입니다. 각 영역의 상세 점검 항목은 06. 체크리스트에 표로 정리돼 있습니다.

1) 거버넌스·정책

• AI 사용 정책·승인 절차가 있는가? (허용/금지 툴, 책임자 지정)
• AI 자산 인벤토리를 관리하는가? Shadow AI 탐지 수단이 있는가?

2) 데이터

• 입력 가능한 데이터 등급이 정의돼 있는가? (민감정보 입력 금지 분류)
• 학습 opt-out·데이터 보존·국외 이전 정책을 확인했는가?
• DLP·마스킹 등 유출 방지 통제가 있는가?

3) 접근통제·인증

• AI 서비스 계정·API 키가 안전하게 관리되는가? (SSO, 최소 권한, 키 로테이션)
• 사용자·역할별 권한이 분리돼 있는가?

4) 모델·프롬프트

• 사용 모델·플러그인의 출처·보안이 검증됐는가? (공급망)
• 시스템 프롬프트·가드레일이 적용돼 있는가?
• 입력/출력 필터링(인젝션·유해출력)이 있는가?

5) 운영·모니터링

• 질의·응답 로그가 남고 감사 가능한가?
• 토큰·요청 속도 제한, 비용 알람이 있는가?
• 이상징후 탐지·사고 대응 절차가 있는가?

6) 컴플라이언스

• 적용 법규(AI 기본법·개인정보보호법·EU AI Act)와의 간극은?
• 고영향 AI 해당 여부, 생성물 표시 의무 대상 여부는?

III. 테스트 — "평가 관점"에서

평가 단계의 테스트는 취약 여부를 확인하기 위한 것이지, 공격 수행이 목적이 아닙니다. 대표적으로:

테스트	확인하는 것
프롬프트 인젝션 내성	외부/숨은 지시에 모델이 넘어가는지
데이터 유출	민감정보가 출력·로그에 남는지
권한 경계	에이전트가 허용 범위를 벗어나 행동하는지
출력 안전성	유해·거짓 출력이 그대로 다운스트림에 전달되는지

:::caution 범위·권한 테스트는 반드시 사전 승인된 범위 안에서, 대상 시스템 소유자의 허가를 받고 수행합니다. 실제 공격 기법의 재현이나 무단 테스트는 이 문서의 범위가 아닙니다. 레드팀 방법론은 별도의 권한·절차를 따릅니다. :::

IV. 리스크 산정

간단하면서 널리 쓰이는 방식은 발생가능성 × 영향의 매트릭스입니다.

영향 \ 가능성	낮음	중간	높음
높음	중	고	심각
중간	하	중	고
낮음	하	하	중

등급에 따라 조치 우선순위(즉시/단기/중기)를 정합니다. NIST AI RMF의 Measure–Manage 단계와 연결하면 체계가 더 탄탄해집니다.

V. 평가 보고서 구성(권장)

1. 개요 — 대상·범위·기간·방법
2. 자산 인벤토리
3. 위협·취약점 발견사항 (영역별)
4. 리스크 등급표
5. 개선 권고 (우선순위·조치계획)
6. 부록 — 체크리스트, 근거 기준 매핑

VI. 결론

평가는 반복 가능한 프로세스여야 합니다. 한 번의 점검으로 끝내지 말고, AI 도입 시마다(06의 심사 양식) 그리고 주기적으로 재평가하는 체계를 만드는 것이 핵심입니다.