안전한 AI 사용 가이드

평가로 "무엇이 위험한지" 알았다면, 이제 "어떻게 안전하게 쓸지" 입니다. 대상별로 정리합니다.

I. 조직(관리) 관점

AI 사용 정책 수립

• 허용/금지 목록: 승인된 AI 툴과 금지된 툴을 명시 (Shadow AI 방지)
• 데이터 입력 분류: 어떤 등급의 데이터까지 입력 가능한지 규정
  • 예: 공개(OK) / 내부(엔터프라이즈 플랜만) / 기밀·개인정보(금지)
• 책임자·승인 절차: 새 AI 도입 시 보안 심사 (06의 도입 심사 양식)
• 교육: 직원 대상 AI 보안 인식 교육 (민감정보 입력 금지 등)

거버넌스

• AI 자산 인벤토리 유지, 주기적 재평가
• NIST AI RMF / ISO 42001을 조직 수준 틀로 채택

II. 사용자(직원) 수칙

:::tip 직원이 지켜야 할 5가지

1. 민감정보 입력 금지 — 주민번호·계좌·여권번호, 고객정보, 영업비밀을 프롬프트에 넣지 않기
2. 승인된 툴만 사용 — 조직이 허가한 AI 서비스/플랜만
3. 출력 검증 — AI 답변을 그대로 믿지 말고 사실·근거 재확인(환각 주의)
4. 학습 opt-out 확인 — 입력이 모델 학습에 쓰이지 않도록 설정
5. 대화 관리 — 민감 대화는 저장 끄기, 불필요한 연동·플러그인 권한 해제 :::

개인정보위 가이드도 이용자 관점에서 학습 활용·삭제 한계·국외 이전을 확인하라고 권고합니다(02 문서 참조).

III. 기술 통제 관점

조직 차원에서 적용할 수 있는 기술적 안전장치입니다.

통제	역할
AI 게이트웨이/프록시	조직의 AI 트래픽을 한 곳으로 모아 정책·로깅·필터 적용
DLP(데이터 유출 방지)	민감정보가 프롬프트로 나가는 것을 탐지·차단
엔터프라이즈 플랜	학습 opt-out, 데이터 보존 통제, 관리자 기능 제공
SSO·접근통제	계정·API 키 중앙관리, 최소 권한, 키 로테이션
로깅·감사	누가 무엇을 질의했는지 추적 가능하게
속도·비용 제한	토큰·요청 레이트 리밋, 비용 알람(무제한 소비 방지)

IV. 개발자 관점 (RAG·에이전트 구축 시)

AI 기능을 직접 개발한다면 다음을 설계에 반영합니다.

입력·출력 안전

• 입력 필터링: 외부 콘텐츠(웹·문서)를 신뢰하지 말고 격리·검증 (간접 프롬프트 인젝션 대비)
• 출력 검증: LLM 출력을 다른 시스템에 넘기기 전 검증/이스케이프 (LLM05)
• 시스템 프롬프트 보호: 민감 설정을 프롬프트에만 의존하지 않기 (LLM07)

에이전트 설계

• 최소 권한: 도구·API 권한을 꼭 필요한 만큼만 (LLM06)
• 사람 승인(Human-in-the-loop): 파일 삭제·결제·메일 발송 등 위험 행동은 사람 승인 단계
• 가드레일: 허용 행동·범위를 명시적으로 제한

RAG 설계

• 문서 권한 반영: 사용자가 볼 수 없는 문서가 답변에 섞이지 않게 (LLM08)
• 데이터 출처 검증: 인덱싱 전 데이터 신뢰성 확인 (포이즈닝 대비)
• 테넌트 격리: 멀티테넌트 환경에서 임베딩·검색 결과 분리

V. 도입 체크(요약)

새 AI 서비스를 도입할 때 최소한 확인할 것:

• 학습 opt-out / 데이터 보존 정책 확인
• 국외 이전 여부·대상국 확인
• 엔터프라이즈 플랜 사용(가능 시)
• 접근통제·로깅 설정
• 입력 금지 데이터 교육 완료
• 적용 법규(고영향 AI·생성물 표시 등) 해당 여부 검토

VI. 결론

안전한 AI 사용은 한 가지 통제가 아니라 조직 정책 + 사용자 습관 + 기술 통제 + 안전한 개발의 조합입니다. 다음 문서의 체크리스트로 이를 실제 점검에 연결하세요.