12. 로컬 LLM

로컬 LLM은 OpenAI·Anthropic 같은 외부 서비스가 아니라, 내 PC나 사내 서버에서 직접 실행하는 모델이다.

왜 로컬인가 — 보안 담당자에게 중요한 이유

클라우드 LLM은 입력이 외부로 전송된다. 로컬 LLM은 데이터가 내 환경을 벗어나지 않는다.

	클라우드 LLM	로컬 LLM
데이터 전송	외부 제공자로 전송	내 환경 안에서만
성능	최상위 모델 사용 가능	하드웨어에 따라 제한
비용	사용량 과금	초기 하드웨어, 이후 무료
오프라인	불가	가능
관리	제공자가 운영	직접 설치·운영

이 "데이터가 밖으로 안 나간다"는 점이, AI 보안 도구의 데이터 처리 축에서 로컬을 높게 치는 이유다.

어떻게 돌리나 (개념)

대표 도구로 Ollama가 있다. 명령 한 줄로 오픈소스 모델(Llama, Mistral, Qwen 등)을 받아 로컬에서 실행한다.

[내 PC/서버]
  Ollama 등 실행기
     └ 오픈소스 모델(가중치 파일)
     └ 외부 전송 없이 추론

• 오픈소스 모델(가중치가 공개된 모델)을 받아서 사용한다.
• GPU가 있으면 빠르고, 없으면 느리지만 작은 모델은 CPU로도 가능하다.

한계

• 최상위 성능은 아직 클라우드 모델이 우세한 경우가 많다.
• 큰 모델은 고사양 하드웨어(특히 GPU 메모리) 가 필요하다.
• 직접 설치·업데이트·보안 관리를 해야 한다.

언제 쓰나

• 민감한 코드·문서·로그를 다뤄 외부 전송이 곤란할 때
• 망분리·오프라인 환경
• 대량 처리로 API 비용이 부담될 때

정리

• 로컬 LLM = 내 환경에서 직접 실행 → 데이터가 외부로 안 나감
• 성능·관리 부담과 프라이버시·보안을 저울질해 선택한다.
• 보안 담당자라면 "민감 데이터는 로컬, 일반 작업은 클라우드" 식의 분리가 현실적이다.