11. 멀티모달

초기 LLM은 텍스트만 다뤘다. 멀티모달(Multimodal) AI는 텍스트에 더해 이미지·음성·문서·영상 등 여러 형태(modality)를 함께 이해하고 생성한다.

모달리티(modality)란

"정보의 형태"다. 텍스트, 이미지, 음성, 영상 등 각각이 하나의 모달리티다. 멀티모달 = 여러 모달리티를 동시에 다룬다.

무엇이 가능해지나

입력	예시 활용
이미지 + 텍스트	"이 스크린샷의 에러가 뭐야?", "이 다이어그램 설명해줘"
음성	받아쓰기, 음성 대화
문서(PDF 등)	"이 보고서 요약해줘", 표·그림까지 이해
이미지 생성	텍스트로 그림 만들기

어떻게 가능한가 (고수준)

핵심 아이디어는 08. 임베딩과 같다. 이미지·음성도 '벡터(숫자)'로 바꿔서, 텍스트와 같은 공간에서 다루는 것이다.

텍스트 →┐
이미지 →┤→ 공통 벡터 공간 → 모델이 함께 이해
음성  →┘

그래서 "이 사진(이미지) 속 글자(텍스트)를 읽어줘" 같은 형태를 넘나드는 작업이 된다.

보안·실무 관점

• 스크린샷·로그 이미지·문서를 그대로 분석시킬 수 있어 편리하다.
• 다만 이미지·문서에도 민감정보가 담기므로, 외부 전송 전에 가려야 한다. (→ 12. 로컬 LLM)
• 이미지 속 숨겨진 지시로 모델을 속이는 멀티모달 프롬프트 인젝션 같은 새 공격면도 생긴다.

정리

• 멀티모달 = 텍스트 + 이미지·음성·문서를 함께 다룸
• 원리는 "모든 걸 벡터로 바꿔 같은 공간에서 처리"
• 편리한 만큼 민감정보·새로운 공격면에 주의.