AIMRED · AI Red Team Project

개요

ID Seoul에서 팀 상금 $6,500를 받은 AI 레드팀 프로젝트. 생성형 AI 시스템을 대상으로 프롬프트 인젝션, 정책 우회, 데이터 노출 가능성, 에이전트/툴 사용 흐름의 취약 지점을 검증하고, 공격 재현성과 방어 우선순위를 정리했다. 단순 보안 체크리스트가 아니라 실제 제품이 AI 기능을 붙일 때 어떤 입력·도구·권한 경계에서 무너질 수 있는지 실험하고 리포팅한 프로젝트다.

내가 한 작업

• ▸AI 시스템의 입력·컨텍스트·툴 호출 경계 분석
• ▸프롬프트 인젝션 및 정책 우회 케이스 설계
• ▸취약점 재현성과 영향도를 기준으로 리스크 우선순위화
• ▸팀 프로젝트로 리포트/발표/검증 산출물 정리

주요 기능

• 공격 시나리오 매트릭스
• 모델/에이전트 입력 경계 테스트
• 툴 사용 권한과 데이터 접근 경계 검증
• 리스크별 재현 절차와 완화 전략 문서화

핵심 포인트

• ID Seoul 팀 상금 $6,500
• AI red-team 공격 시나리오 설계
• 프롬프트 인젝션 · 정책 우회 · 데이터 노출 리스크 검증
• 재현 가능한 취약점 케이스와 방어 우선순위 정리

타임라인

기술 스택

</>AI Red Teaming · Prompt Injection · Threat Modeling