작성 기준일은 2026년 7월 9일입니다. KISA는 2026년 7월 7일 AI 특화 보안 위협 대응을 위한 AI 보안 위협 대응 매뉴얼을 공개했습니다.
AI 서비스는 일반 웹서비스와 달리 모델, 학습데이터, 프롬프트, 출력 결과가 모두 보안 이슈가 될 수 있습니다. 프롬프트 인젝션, 데이터 유출, 모델 오용, 환각 기반 업무오류 같은 위험은 기존 보안 점검표만으로 충분히 다루기 어렵습니다.
KISA 매뉴얼은 AI 보안 위협 분류와 진단, 산업별 위협 시나리오, 위협별 대응 방안을 큰 틀로 제시합니다. 기업 담당자와 개발자는 이를 개발 전 체크리스트, 운영 중 모니터링, 사고 대응 절차로 나누어 적용할 수 있습니다.
이 글에서 바로 찾기 9개 항목
핵심 기준 한눈에 보기
| 구분 | KISA 매뉴얼 범위 | 활용 방법 |
|---|---|---|
| 공개일 | 2026년 7월 7일 | 최신 가이드 기준으로 검토 |
| 구성 | 위협 분류·진단, 산업별 시나리오, 대응 방안 | 조직 보안 점검표로 전환 |
| 대상 | AI 보안 위협 대응이 필요한 기업·개발자 | 서비스 기획부터 운영까지 적용 |
AI 보안이 기존 보안과 다른 이유
전통적인 보안은 서버, 네트워크, 계정, 데이터베이스를 중심으로 봅니다. AI 서비스는 여기에 모델 동작, 프롬프트, 검색 증강 데이터, 외부 도구 호출, 생성 결과의 신뢰성까지 더해집니다.
예를 들어 사용자가 악의적인 지시문을 넣어 시스템 프롬프트를 우회하거나, 내부 문서 검색 기능에서 접근권한이 없는 문서를 끌어오는 문제가 생길 수 있습니다. 이런 위험은 기능 테스트만으로는 잘 드러나지 않습니다.
- 프롬프트 인젝션
- 학습·검색 데이터 노출
- 모델 출력 오용
- 도구 호출 권한 남용
기업이 바로 적용할 수 있는 점검표
첫 단계는 우리 조직에서 쓰는 AI 기능을 목록화하는 것입니다. 사내 챗봇, 고객상담 자동화, 문서 요약, 코드 생성, 이미지 생성, 검색 도구가 각각 어떤 데이터에 접근하는지 적어야 합니다.
두 번째는 민감정보 입력·출력 통제입니다. 주민등록번호, 계좌번호, 계약서 원문, 영업비밀, 고객 문의 원문이 AI 입력으로 들어가는 경우 마스킹과 접근권한 기준이 필요합니다.
- AI 기능 인벤토리 작성
- 데이터 등급 분류
- 입력 제한 문구보다 기술적 차단 우선
개발자 관점의 방어 설계
AI API를 붙일 때는 모델 응답만 신뢰하지 말고 서버 측 검증을 둬야 합니다. 결제, 계정 변경, 개인정보 조회 같은 작업은 모델의 자연어 판단이 아니라 명시적인 권한 검사를 통과해야 합니다.
로그도 중요합니다. 어떤 입력이 들어왔고 어떤 도구가 호출되었으며 어떤 결과가 반환되었는지 남겨야 사고 원인을 추적할 수 있습니다. 단, 로그에 민감정보가 그대로 남지 않도록 마스킹 기준을 함께 설계해야 합니다.
- 도구 호출 allowlist
- 출력 후처리 검증
- 민감 로그 마스킹
- 이상 사용량 탐지
실전 체크리스트
- AI 기능 목록화
- 민감정보 입력 차단
- 시스템 프롬프트 보호
- 도구 호출 권한 분리
- 레드팀 테스트 수행
주의할 점
- 모델이 답했다고 사실로 단정 금지
- 보안 문구만으로 방어했다고 판단 금지
- 로그 보관과 개인정보 보호 기준 동시 적용
자주 묻는 질문
소규모 블로그나 쇼핑몰도 AI 보안이 필요한가요?
AI 챗봇이나 자동응답이 고객정보, 주문정보, 내부 문서에 접근한다면 규모와 관계없이 점검이 필요합니다.
프롬프트 인젝션은 필터링만 하면 막히나요?
일부 완화는 가능하지만 권한 분리, 도구 호출 제한, 출력 검증을 함께 적용해야 합니다.
KISA 매뉴얼은 어디서 받나요?
KISA 공지사항의 AI 보안 위협 대응 매뉴얼 게시물에서 PDF를 확인할 수 있습니다.
공식 자료 바로가기
정리
AI 보안은 모델 성능 문제가 아니라 서비스 신뢰성 문제입니다. KISA 매뉴얼을 기준으로 AI 자산을 목록화하고, 데이터·프롬프트·도구 호출·로그를 분리해 점검하면 실제 운영 위험을 훨씬 구체적으로 줄일 수 있습니다.