AI 보안성 평가 개요

I. 왜 AI 사용에 보안성 평가가 필요한가

생성형 AI가 업무에 빠르게 들어오면서, "편의"만큼 "리스크"도 같이 커졌습니다. 대표적인 문제는 이렇습니다.

리스크	설명
데이터 유출	민감정보·영업비밀을 프롬프트에 입력 → 외부 모델 학습·로그에 남을 수 있음
Shadow AI	조직이 승인하지 않은 AI 툴을 직원이 임의로 사용 (통제·가시성 없음)
프롬프트 인젝션	외부 문서·웹페이지에 숨긴 악성 지시가 AI 동작을 탈취
환각(Hallucination)	그럴듯한 오답을 그대로 신뢰해 잘못된 의사결정
과도한 권한	AI 에이전트가 시스템·도구에 지나친 권한을 가져 피해 확대
컴플라이언스 위반	개인정보보호법·AI 기본법 등 규제 위반 소지

:::info 핵심 구분 — "AI for Security" vs "Security for AI"

• AI for Security : AI를 보안 업무의 도구로 활용 (취약점 분석, 모의해킹 보조 등) → AI for Security 섹션
• Security for AI (이 섹션) : AI 사용 그 자체를 안전하게 만드는 것 (AI 도입·사용의 보안성 평가와 통제)

이 둘은 방향이 반대입니다. 이 문서는 후자, 즉 AI를 안전하게 쓰기 위한 평가와 가이드를 다룹니다. :::

II. 평가의 목적

1. 리스크 식별 — 어떤 AI를, 누가, 어떤 데이터로 쓰는지 파악
2. 통제 점검 — 기술·관리·물리 통제가 적절히 적용됐는지 확인
3. 규제 준수 확인 — 국내외 가이드라인·법규와의 간극(gap) 파악
4. 개선 우선순위 도출 — 리스크 등급에 따라 무엇부터 조치할지 결정

III. 평가 대상(범위)

조직에서 AI가 들어오는 형태는 다양하며, 형태마다 위협과 통제가 다릅니다.

유형	예시	주요 관심사
SaaS형 LLM	ChatGPT, Claude, Gemini 등 외부 서비스	데이터 학습·전송, 계정관리, 로깅
코파일럿/플러그인	GitHub Copilot, 오피스 코파일럿	소스코드·문서 유출, 권한
사내 RAG	내부 문서 기반 Q&A 봇	접근통제, 문서 권한, 임베딩 유출
AI 에이전트	도구·API를 호출하는 자동화 에이전트	과도한 권한, 프롬프트 인젝션, 연쇄 행동
자체 개발/파인튜닝	사내 모델 구축	학습 데이터, 모델 공급망, 인프라

IV. 이 섹션 구성

문서	내용
02. 국내외 가이드라인	평가·사용의 기준이 되는 국제·국내 표준과 법규
03. 위협 모델	무엇을 평가하나 (OWASP LLM Top 10, MITRE ATLAS)
04. 평가 방법론	어떻게 평가하나 (프로세스·체크 영역)
05. 안전한 사용 가이드	어떻게 써야 하나 (조직·사용자·기술·개발자)
06. 체크리스트·심사 양식	실무에서 바로 쓰는 점검표

V. 결론

AI 보안성 평가는 "AI를 쓰지 말자"가 아니라 "안전하게 쓰기 위한 근거와 통제를 갖추자" 는 활동입니다. 다음 문서에서 그 기준이 되는 국내외 가이드라인부터 살펴봅니다.