LLM 기능을 제품에 붙이기 시작하면 금방 같은 문제가 반복됩니다. 프롬프트가 정말 좋아졌는지, 모델을 바꾸면 회귀가 생기는지, RAG나 에이전트가 위험한 입력에서 무너지는지, 이 세 가지를 사람 눈으로만 계속 확인하기가 어렵습니다. Promptfoo 는 바로 이 지점을 겨냥합니다. 프롬프트 품질 평가와 보안 레드팀을 YAML 설정과 CLI 중심으로 묶어서, “감으로 확인하는 LLM 개발"을 “반복 가능한 테스트"로 바꾸는 도구입니다. 이 글에서는 Promptfoo를 단순한 프롬프트 비교기가 아니라, eval 과 redteam 이라는 두 개의 운영 루프를 가진 LLM 테스트 하니스 로 보는 관점으로 정리합니다. 더보기

개요 AI 기술이 기업의 핵심 인프라로 자리 잡으면서, AI 보안 은 더 이상 선택이 아닌 필수가 되었습니다. 2024년 한 해 동안 GitHub에서만 3,900만 개 이상의 API 키가 유출 되었고, AI 공급망 공격은 전년 대비 3,567% 급증 했습니다. 이 글에서는 AI 서비스를 개발하고 운영하는 개발자가 반드시 알아야 할 7가지 AI 보안 필수 상식 을 정리합니다. mindmap root((AI 보안 7대 원칙)) API Key Hardcoding 환경 변수 사용 Secrets Manager Pre-commit Hook Supply Chain Poisoning 패키지 검증 safetensors 사용 AI-BOM 작성 System Prompt Leakage 입력 검증 Context 격리 Canary Words PII Data Masking 정규식 + NER 토큰화 규정 준수 DB Privilege Sandboxing 최소 권한 원칙 Row-Level Security 격리 환경 Third-Party Plugin 다층 방어 권한 최소화 모니터링 Real-time Audit Logging 전체 로깅 이상 탐지 SIEM 연동 1. API Key Hardcoding - 깃허브 퍼블릭 저장소 API 키 노출 원천 차단 현실적인 위협 2024년 GitHub 스캔 결과 1,743개의 유효한 API 키 가 2,804개 도메인에서 발견되었습니다. Forbes AI 50 기업의 65%가 API 키를 노출 한 이력이 있으며, 평균 보안 사고 비용은 400만 달러 에 달합니다. 더보기