AI 보안 위협 모델
보안성 평가의 출발점은 "무엇이 잘못될 수 있는가" 를 아는 것입니다. 이 문서는 LLM 애플리케이션 위협의 사실상 표준인 OWASP LLM Top 10(2025) 를 중심으로 정리합니다.
I. OWASP Top 10 for LLM Applications (2025)
| 코드 | 위협 | 한 줄 설명 |
|---|---|---|
| LLM01 | 프롬프트 인젝션 | 입력(직접/간접)으로 모델의 의도된 지시를 덮어씀 |
| LLM02 | 민감정보 노출 | 개인·기밀·규제·독점 데이터가 출력에 노출 |
| LLM03 | 공급망 | 외부 모델·데이터셋·라이브러리·플러그인의 취약점 |
| LLM04 | 데이터·모델 포이즈닝 | 학습/파인튜닝/검색 데이터 변조로 동작 왜곡·백도어 |
| LLM05 | 부적절한 출력 처리 | 검증 없이 출력을 다른 시스템에 전달 → XSS·SQLi 유발 |
| LLM06 | 과도한 권한(Excessive Agency) | 지나친 자율성·권한·도구 접근 → 유해 행동 가능 |
| LLM07 | 시스템 프롬프트 유출 | 숨겨진 지시·내부 규칙·설정 탈취 |
| LLM08 | 벡터·임베딩 취약점 | RAG가 오염·무권한·오래된 콘텐츠 반환, 테넌트 간 유출 |
| LLM09 | 잘못된 정보(Misinformation) | 거짓·오해 소지 정보를 사용자가 신뢰·실행 |
| LLM10 | 무제한 소비(Unbounded Consumption) | 토큰·API·연산 과다 사용 → 비용 급증·장애 |
특히 주의할 3가지
① LLM01 프롬프트 인젝션 — 가장 근본적이고 완전한 해결이 어려운 위협.
- 직접(Direct): 사용자가 "이전 지시 무시해" 식으로 직접 조작
- 간접(Indirect): 외부 웹페이지·문서·이메일에 숨긴 지시를 AI가 읽고 실행. RAG·에이전트·브라우징 기능이 붙을수록 위험 ↑
② LLM02 민감정보 노출 — 조직 평가에서 가장 현실적인 리스크.
- 직원이 입력한 민감정보가 로그·학습에 남거나, 모델이 다른 사용자에게 유사 정보를 출력
③ LLM06 과도한 권한 — AI 에이전트 시대의 핵심 위협.
- 에이전트가 파일 삭제·메일 발송·결제 같은 실제 행동 권한을 가질 때, 인젝션 한 번이 실제 피해로 직결
II. MITRE ATLAS — 공격 전술·기법
MITRE ATLAS는 AI 시스템을 겨냥한 공격을 ATT&CK 방식의 전술(Tactic) × 기법(Technique) 매트릭스로 정리합니다. 실제 사례 기반이라 "이론상 위협"이 아니라 "관측된 공격"을 다룹니다.
대표 전술 흐름(예시):
정찰(Reconnaissance) → 모델 접근(ML Model Access)
→ 공격 준비(Resource Development, 예: 적대적 예제 제작)
→ 실행(Execution) → 회피/추출(Evasion, Exfiltration)
→ 영향(Impact, 예: 모델 무력화·오작동)
주요 기법 예: 모델 추출(Model Extraction), 적대적 예제(Adversarial Example)로 회피, 학습 데이터 포이즈닝, 프롬프트 인젝션 등.
III. 레이어별 위협 정리
위협을 "레이어"로 나누면 평가 범위를 빠짐없이 짚을 수 있습니다.
| 레이어 | 위협 예시 | 관련 OWASP |
|---|---|---|
| 데이터 | 학습/RAG 데이터 포이즈닝, 민감정보 포함 | LLM04, LLM08 |
| 모델 | 모델 추출, 적대적 예제, 백도어 | LLM03, LLM04 |
| 애플리케이션/API | 프롬프트 인젝션, 출력 미검증, 시스템 프롬프트 유출 | LLM01, LLM05, LLM07 |
| 인프라 | API 키 유출, 무제한 소비(비용/DoS) | LLM10 |
| 운영·사람 | Shadow AI, 민감정보 입력, 환각 맹신 | LLM02, LLM09 |
IV. 위협 → 평가 항목 연결
각 위협은 평가 시 확인 질문으로 바뀝니다. (상세 체크리스트는 06. 체크리스트)
| 위협 | 평가 질문(예) |
|---|---|
| 프롬프트 인젝션 | 외부 콘텐츠를 처리하는가? 입력/출력 필터·격리가 있는가? |
| 민감정보 노출 | 어떤 데이터가 입력 가능한가? DLP·마스킹이 있는가? |
| 과도한 권한 | 에이전트의 도구 권한은 최소화됐는가? 사람 승인 단계가 있는가? |
| 공급망 | 사용 모델·플러그인의 출처·보안이 검증됐는가? |
| 무제한 소비 | 토큰·요청 속도 제한, 비용 알람이 있는가? |
V. 결론
위협을 알면 평가 항목이 보입니다. OWASP LLM Top 10을 "체크리스트의 뼈대"로, MITRE ATLAS를 "실제 공격 시나리오"로 쓰면 균형 잡힌 위협 모델이 됩니다. 다음 문서에서 이를 실제 평가 프로세스로 엮습니다.