안전한 AI 사용 가이드
평가로 "무엇이 위험한지" 알았다면, 이제 "어떻게 안전하게 쓸지" 입니다. 대상별로 정리합니다.
I. 조직(관리) 관점
AI 사용 정책 수립
- 허용/금지 목록: 승인된 AI 툴과 금지된 툴을 명시 (Shadow AI 방지)
- 데이터 입력 분류: 어떤 등급의 데이터까지 입력 가능한지 규정
- 예: 공개(OK) / 내부(엔터프라이즈 플랜만) / 기밀·개인정보(금지)
- 책임자·승인 절차: 새 AI 도입 시 보안 심사 (06의 도입 심사 양식)
- 교육: 직원 대상 AI 보안 인식 교육 (민감정보 입력 금지 등)
거버넌스
- AI 자산 인벤토리 유지, 주기적 재평가
- NIST AI RMF / ISO 42001을 조직 수준 틀로 채택
II. 사용자(직원) 수칙
:::tip 직원이 지켜야 할 5가지
- 민감정보 입력 금지 — 주민번호·계좌·여권번호, 고객정보, 영업비밀을 프롬프트에 넣지 않기
- 승인된 툴만 사용 — 조직이 허가한 AI 서비스/플랜만
- 출력 검증 — AI 답변을 그대로 믿지 말고 사실·근거 재확인(환각 주의)
- 학습 opt-out 확인 — 입력이 모델 학습에 쓰이지 않도록 설정
- 대화 관리 — 민감 대화는 저장 끄기, 불필요한 연동·플러그인 권한 해제 :::
개인정보위 가이드도 이용자 관점에서 학습 활용·삭제 한계·국외 이전을 확인하라고 권고합니다(02 문서 참조).
III. 기술 통제 관점
조직 차원에서 적용할 수 있는 기술적 안전장치입니다.
| 통제 | 역할 |
|---|---|
| AI 게이트웨이/프록시 | 조직의 AI 트래픽을 한 곳으로 모아 정책·로깅·필터 적용 |
| DLP(데이터 유출 방지) | 민감정보가 프롬프트로 나가는 것을 탐지·차단 |
| 엔터프라이즈 플랜 | 학습 opt-out, 데이터 보존 통제, 관리자 기능 제공 |
| SSO·접근통제 | 계정·API 키 중앙관리, 최소 권한, 키 로테이션 |
| 로깅·감사 | 누가 무엇을 질의했는지 추적 가능하게 |
| 속도·비용 제한 | 토큰·요청 레이트 리밋, 비용 알람(무제한 소비 방지) |
IV. 개발자 관점 (RAG·에이전트 구축 시)
AI 기능을 직접 개발한다면 다음을 설계에 반영합니다.
입력·출력 안전
- 입력 필터링: 외부 콘텐츠(웹·문서)를 신뢰하지 말고 격리·검증 (간접 프롬프트 인젝션 대비)
- 출력 검증: LLM 출력을 다른 시스템에 넘기기 전 검증/이스케이프 (LLM05)
- 시스템 프롬프트 보호: 민감 설정을 프롬프트에만 의존하지 않기 (LLM07)
에이전트 설계
- 최소 권한: 도구·API 권한을 꼭 필요한 만큼만 (LLM06)
- 사람 승인(Human-in-the-loop): 파일 삭제·결제·메일 발송 등 위험 행동은 사람 승인 단계
- 가드레일: 허용 행동·범위를 명시적으로 제한
RAG 설계
- 문서 권한 반영: 사용자가 볼 수 없는 문서가 답변에 섞이지 않게 (LLM08)
- 데이터 출처 검증: 인덱싱 전 데이터 신뢰성 확인 (포이즈닝 대비)
- 테넌트 격리: 멀티테넌트 환경에서 임베딩·검색 결과 분리
V. 도입 체크(요약)
새 AI 서비스를 도입할 때 최소한 확인할 것:
- 학습 opt-out / 데이터 보존 정책 확인
- 국외 이전 여부·대상국 확인
- 엔터프라이즈 플랜 사용(가능 시)
- 접근통제·로깅 설정
- 입력 금지 데이터 교육 완료
- 적용 법규(고영향 AI·생성물 표시 등) 해당 여부 검토
VI. 결론
안전한 AI 사용은 한 가지 통제가 아니라 조직 정책 + 사용자 습관 + 기술 통제 + 안전한 개발의 조합입니다. 다음 문서의 체크리스트로 이를 실제 점검에 연결하세요.