AI는 왜 똑똑한데 일관되지 않을까: 폴더형 스킬이 팀 전문성을 만드는 방식

AI를 오래 써 본 팀일수록 비슷한 불만을 말합니다. 모델은 분명 똑똑한데, 세금 처리 같은 도메인 업무나 팀 내부 절차처럼 맥락이 중요한 일로 가면 매번 설명을 다시 해야 하고 결과 기준도 흔들립니다. 이 영상은 그 문제를 “지능은 높지만 경험은 없는 상태"로 설명하고, 해결책으로 스킬을 제시합니다.

Sources

• https://www.youtube.com/watch?v=yXKFQzeRiSY
• https://resources.anthropic.com/hubfs/The-Complete-Guide-to-Building-Skill-for-Claude.pdf
• https://github.com/anthropics/claude-code

참고: 이 글의 시간 기반 인용은 YouTube 자동 생성 자막과 전체 발화 흐름을 기준으로 잡은 근사 오프셋입니다. 이 저장소의 YouTube MCP 출력은 문장 단위 타임스탬프를 직접 주지 않아서, 가장 가까운 구간으로 연결했습니다.

1) 왜 AI는 똑똑해도 실무에서는 신입처럼 보이는가: 지능과 전문성의 간극

영상의 출발점은 꽤 명확합니다. 지금의 AI는 추론 능력 자체는 강하지만, 특정 조직의 업무 방식과 도메인 맥락을 이미 체화한 상태는 아니라는 것입니다. 그래서 질문을 잘게 쪼개서 자세히 설명하면 일시적으로는 잘 수행하지만, 그 설명이 세션을 넘어 누적된 숙련으로 남지 않으면 다음 작업에서 다시 초보처럼 흔들립니다.

이 설명이 설득력 있는 이유는 영상이 “똑똑함"과 “반복 가능한 정확성"을 분리해서 보기 때문입니다. 영상은 수학 천재와 20년 경력 세무사를 비교하면서, 실무 자동화에 필요한 것은 번뜩이는 추론보다 같은 절차를 안정적으로 반복하는 능력이라고 말합니다. 적어도 이 영상의 논리에서는 자동화의 핵심이 최고점 성능보다 편차를 줄이는 쪽에 더 가깝게 제시됩니다.

flowchart TD
    A["높은 추론 능력"] --> B["정답 후보는 잘 만든다"]
    C["낮은 도메인 축적"] --> D["팀 방식은 매번 다시 배운다"]
    B --> E["한 번은 잘할 수 있다"]
    D --> F["반복 시 일관성이 흔들린다"]
    E --> G["실무 체감: 똑똑하지만 신입 같다"]
    F --> G

    classDef blue fill:#c5dcef,stroke:#6b9ac4,color:#333
    classDef green fill:#c0ecd3,stroke:#67a97c,color:#333
    classDef orange fill:#fde8c0,stroke:#d4a64a,color:#333

    class A,B blue
    class C,D green
    class E,F,G orange

증거 노트

• claim: 영상은 AI의 핵심 문제를 “지능은 있는데 전문성이 없다"로 정리한다.
  • transcript quote/time marker: “AI는 지능은 있는데 전문성이 없다” (약 00:45-00:55)
  • video url: https://youtu.be/yXKFQzeRiSY?t=45
  • confidence: medium
• claim: 자동화에 필요한 것은 번뜩임보다 일관되고 정확한 실행이라는 메시지를 세무사 비유로 설명한다.
  • transcript quote/time marker: “저는 천재의 번뜩이는 착력이 필요한 게 아니라 일관되고 정확한 실행이 필요한 거거든요” (약 01:15-01:35)
  • video url: https://youtu.be/yXKFQzeRiSY?t=75
  • confidence: medium

2) 멀티 에이전트만으로는 왜 자동화가 되지 않는가: 역할극과 절차의 차이

영상이 특히 날카롭게 짚는 부분은 멀티 에이전트에 대한 태도입니다. 여러 AI에게 기획 담당, 검토 담당, 승인 담당 같은 역할을 나눠 주는 방식이 겉으로는 정교해 보여도, 스킬 없이 돌아가면 결국 각 에이전트가 그 순간그순간 “그럴듯하게 추론하는 역할극"에 머무를 수 있다는 지적입니다. 즉 구조는 복잡해졌는데 기준은 여전히 매번 바뀔 수 있습니다.

이 지점에서 영상은 자동화의 정의를 다시 세웁니다. 자동화란 사람이 반복하던 일을 AI가 대신하면서도 결과 형식과 판단 기준이 유지되는 상태여야 합니다. 인보이스 포맷이 날마다 달라지거나 주간 리포트 기준이 매번 달라지면, 그건 자동화가 아니라 매 실행마다 새로 추측하는 시스템에 가깝습니다. 영상이 “복권"이라는 표현까지 쓰는 이유가 여기 있습니다.

flowchart TD
    A["멀티 에이전트 구성"] --> B["역할 분리"]
    B --> C["기획 AI"]
    B --> D["검토 AI"]
    B --> E["승인 AI"]
    C --> F["각자 즉석 추론"]
    D --> F
    E --> F
    F --> G["판단 기준이 매번 흔들릴 수 있음"]
    G --> H["결과물 편차 증가"]
    H --> I["자동화 실패"]

    classDef purple fill:#e0c8ef,stroke:#9b6db0,color:#333
    classDef yellow fill:#fde8c0,stroke:#d4a64a,color:#333
    classDef red fill:#ffc8c4,stroke:#d97c73,color:#333

    class A,B,C,D,E purple
    class F,G,H yellow
    class I red

여기서 중요한 함의는 멀티 에이전트가 무의미하다는 뜻이 아니라, 절차가 고정되지 않은 멀티 에이전트는 자동화 기반이 되기 어렵다 는 점입니다. 역할 분리는 전문성의 대체물이 아니라 전문성이 이미 정리되어 있을 때 이를 분업하는 수단에 가깝습니다.

증거 노트

• claim: 영상은 스킬 없는 멀티 에이전트를 “그냥 롤플레잉"이라고 비판한다.
  • transcript quote/time marker: “스킬 없는 멀티에는 그냥 롤플레잉이에요” (약 02:05-02:20)
  • video url: https://youtu.be/yXKFQzeRiSY?t=125
  • confidence: medium
• claim: 자동화에서 치명적인 문제는 결과물 일관성을 보장할 수 없다는 점이다.
  • transcript quote/time marker: “매번 다르게 추론하는 AI로는 그 일관성을 절대 못 만들어요. 그건 자동화가 아니라 그냥 복권입니다” (약 02:45-03:15)
  • video url: https://youtu.be/yXKFQzeRiSY?t=165
  • confidence: medium

3) 스킬은 왜 “그냥 폴더"인데 강력한가: 추론을 절차로 바꾸는 패키징

영상이 제시하는 해결책은 의외로 단순합니다. 스킬은 거대한 모델 재학습이나 복잡한 파이프라인이 아니라, 특정 작업을 어떻게 수행해야 하는지 알려 주는 내용을 파일로 담아 둔 폴더라는 것입니다. 이 설명은 영상 내부의 비유에만 머무르지 않고, Anthropic의 공식 가이드에서도 스킬을 “간단한 폴더로 패키징된 지침 세트"로 설명하는 방식과 맞닿아 있습니다.

핵심은 폴더라는 형식 자체보다 그 안에 담기는 업무 절차입니다. 예를 들어 인보이스 작성 방식, 자주 쓰는 서식, 반복 실행하는 스크립트, 체크리스트, 예외 처리 규칙을 한곳에 묶어 두면 AI는 매번 포맷을 새로 상상하는 대신 이미 정리된 절차를 따라갈 수 있습니다. 즉 스킬은 모델의 똑똑함을 키우는 장치라기보다, 모델이 무엇을 새로 추론하지 않아도 되는지 경계를 긋는 장치에 가깝습니다.

공식 생태계 쪽 설명도 비슷합니다. Claude Code 저장소 문서는 스킬을 최소한 SKILL.md를 포함하는 디렉터리로 설명하고, 여기에 references/, scripts/, assets/ 같은 보조 리소스를 둘 수 있게 합니다. 따라서 영상이 말하는 “폴더형 전문성"은 단순한 비유라기보다, 실제 도구 생태계에서도 채택된 패키징 방식으로 볼 수 있습니다.

flowchart TD
    A["업무 노하우"] --> B["텍스트 지침"]
    A --> C["서식 파일"]
    A --> D["스크립트"]
    A --> E["체크리스트"]
    B --> F["스킬 폴더"]
    C --> F
    D --> F
    E --> F
    F --> G["AI가 필요할 때 절차를 참조"]
    G --> H["추론 편차 감소"]
    H --> I["결과물 일관성 증가"]

    classDef input fill:#c5dcef,stroke:#6b9ac4,color:#333
    classDef pack fill:#e0c8ef,stroke:#9b6db0,color:#333
    classDef output fill:#c0ecd3,stroke:#67a97c,color:#333

    class A,B,C,D,E input
    class F,G pack
    class H,I output

증거 노트

• claim: 영상은 스킬을 “그냥 잘 정리된 폴더"라고 설명한다.
  • transcript quote/time marker: “스킬이 뭐냐고요? 그냥 폴더예요. 진짜로요. 그냥 잘 정리된 폴더입니다” (약 03:20-03:40)
  • video url: https://youtu.be/yXKFQzeRiSY?t=200
  • confidence: medium
• claim: 폴더 안에는 팀의 작성 방식, 서식 파일, 자동화 스크립트 같은 절차 자산이 들어갈 수 있다.
  • transcript quote/time marker: “인보이스 작성 방식을 텍스트 파일로… 엑셀 서식 파일… 자동화 스크립트도 넣을 수 있어요” (약 03:45-04:25)
  • video url: https://youtu.be/yXKFQzeRiSY?t=225
  • confidence: medium

4) 왜 결과가 일정해지는가: 필요할 때 불러오는 절차와 고정된 판단 기준

영상이 가장 실무적으로 중요한 설명을 하는 구간은 여기입니다. 스킬이 없으면 AI는 “어떤 포맷이 좋을지, 어떤 항목이 들어가야 할지, 어떤 문체가 적절한지"를 매번 추론합니다. 반대로 스킬이 있으면 이미 정리된 절차를 단계별로 따라가기 때문에 결과 형식이 흔들릴 여지가 줄어듭니다. 즉 스킬은 성능 향상 도구라기보다 편차 축소 도구입니다.

또 하나 중요한 포인트는 확장성입니다. 영상은 스킬이 많아져도 필요한 순간에 관련 스킬을 열어 보는 식으로 설명합니다. 이 비유는 메뉴판과 레시피로 이어지는데, 메뉴판에는 이름만 보이고 주문이 들어오면 그때 주방이 레시피를 꺼내 본다는 식입니다. 이 관점에서는 조직이 스킬을 계속 축적하더라도 매 작업마다 모든 절차를 길게 다시 설명할 필요가 줄어듭니다.

flowchart TD
    A["사용자 요청"] --> B["관련 스킬 있는지 판단"]
    B --> C["없음: 즉석 추론 비중 증가"]
    B --> D["있음: 스킬 폴더 로드"]
    D --> E["정해진 절차 실행"]
    E --> F["포맷과 판단 기준 고정"]
    F --> G["결과 편차 감소"]

    classDef request fill:#c5dcef,stroke:#6b9ac4,color:#333
    classDef decision fill:#fde8c0,stroke:#d4a64a,color:#333
    classDef risk fill:#ffc8c4,stroke:#d97c73,color:#333
    classDef stable fill:#c0ecd3,stroke:#67a97c,color:#333

    class A request
    class B,D,E decision
    class C risk
    class F,G stable

이 관점에서 보면 스킬은 프롬프트를 길게 붙여 넣는 습관과도 다릅니다. 긴 프롬프트는 매 대화마다 다시 붙여야 하고, 조금만 변형돼도 재현성이 떨어집니다. 반면 스킬은 폴더 단위로 버전 관리하고 공유하고 개선할 수 있어서, 팀 차원의 운영 자산이 되기 쉽습니다.

증거 노트

• claim: 영상은 스킬이 있으면 AI가 이미 적혀 있는 절차를 따라가므로 추론 개입이 줄어든다고 설명한다.
  • transcript quote/time marker: “거기 적혀 있는 절차대로 해요… 추론이 개입할 여지가 없어요” (약 04:30-05:05)
  • video url: https://youtu.be/yXKFQzeRiSY?t=270
  • confidence: medium
• claim: 영상은 스킬을 메뉴판/레시피 비유로 설명하며 필요할 때만 꺼내 쓴다고 말한다.
  • transcript quote/time marker: “레스토랑 메뉴판이랑 비슷해요… 주문하면 그때 주방에서 레시피 보고 만드는 거죠” (약 05:10-05:45)
  • video url: https://youtu.be/yXKFQzeRiSY?t=310
  • confidence: medium

5) 조직 관점에서 진짜 중요한 변화: 비개발자가 팀 전문성을 직접 스킬로 만든다

영상 후반부의 핵심은 “누가 스킬을 만드느냐"에 있습니다. 발표자는 재무팀, 채용팀, 법무팀, 회계팀처럼 코딩을 모르는 사람들도 자기 분야의 업무 노하우를 파일로 정리해 스킬로 만들 수 있다고 강조합니다. 이 포인트가 중요한 이유는, 이제 AI를 업무에 맞게 맞춤화하는 통로가 반드시 개발팀을 거쳐야만 하는 형태가 아니게 되기 때문입니다.

이 변화는 조직 지식의 저장 방식까지 바꿉니다. 예전에는 숙련자의 머릿속에 있던 판단 기준이 문서화되지 않으면 AI도 배울 수 없었습니다. 하지만 스킬 구조가 자리 잡으면 숙련자의 체크리스트, 예외 처리 방식, 품질 기준이 곧바로 AI가 불러다 쓰는 운영 자산이 됩니다. 영상이 “클로드를 처음 쓰는 날과 30일 후의 클로드가 다르다"고 말하는 것도, 사실 모델 자체가 변했다기보다 조직이 쌓아 둔 운영 지식이 달라졌다는 뜻에 가깝습니다.

flowchart TD
    A["숙련자 개인 노하우"] --> B["문서화"]
    B --> C["팀 스킬 폴더"]
    C --> D["AI가 조직 방식으로 작업"]
    D --> E["신입도 같은 기준 활용"]
    D --> F["세션이 바뀌어도 팀 방식 유지"]
    E --> G["조직 전문성의 재사용"]
    F --> G

    classDef person fill:#fde8c0,stroke:#d4a64a,color:#333
    classDef system fill:#e0c8ef,stroke:#9b6db0,color:#333
    classDef org fill:#c0ecd3,stroke:#67a97c,color:#333

    class A,B person
    class C,D system
    class E,F,G org

이 대목은 Anthropic 공식 가이드의 방향성과도 맞습니다. 해당 가이드는 스킬이 반복 워크플로우, 문서 생성, 조사 방법론, 다단계 프로세스 오케스트레이션 같은 영역에서 특히 유용하다고 설명합니다. 그래서 스킬의 본질을 모델 자체를 바꾸는 기술이라기보다, 조직이 이미 알고 있는 일을 재사용 가능한 형태로 정리해 AI가 같은 방식으로 실행하도록 돕는 운영 포맷 으로 이해하는 편이 더 정확합니다.

증거 노트

• claim: 영상은 비개발 부서도 자기 전문성을 스킬로 만들 수 있다고 강조한다.
  • transcript quote/time marker: “재무팀, 채용팀, 법무팀, 회계팀… 코딩 전혀 모르는 분들이 자기 분야 전문성을 스킬로 만들고 있어요” (약 05:50-06:20)
  • video url: https://youtu.be/yXKFQzeRiSY?t=350
  • confidence: medium
• claim: 영상은 스킬이 쌓이면 시간이 지날수록 AI가 우리 팀에 더 특화된다고 설명한다.
  • transcript quote/time marker: “30일 후 클로드가 훨씬 더 우리 팀에 특화돼 있어요” (약 06:25-06:55)
  • video url: https://youtu.be/yXKFQzeRiSY?t=385
  • confidence: medium

실전 적용 포인트

1. 먼저 자동화하려는 업무를 “정답을 잘 맞히는 일"이 아니라 “같은 기준으로 반복해야 하는 일"인지부터 분류하세요. 스킬은 후자에서 효과가 가장 큽니다.
2. 스킬 첫 버전은 거창하게 만들 필요가 없습니다. SKILL.md 하나에 단계, 금지사항, 입력/출력 예시만 정리해도 편차를 줄이는 효과가 납니다.
3. 팀 안에서 이미 쓰는 체크리스트, 서식, 예외 처리 메모가 있다면 새로 만들지 말고 그대로 스킬 폴더 자산으로 옮기세요. 스킬의 핵심은 창작이 아니라 구조화입니다.
4. 멀티 에이전트를 붙이기 전에 먼저 기준이 고정된 스킬부터 만드세요. 역할 분리는 절차가 정리된 뒤에 붙여야 품질이 올라갑니다.
5. 비개발 부서가 직접 수정할 수 있게 텍스트 파일 중심으로 운영하면, AI 맞춤화 속도가 개발 요청 티켓보다 훨씬 빨라집니다.

핵심 요약

• 영상의 핵심 메시지는 “AI가 멍청하다"가 아니라 “AI는 똑똑하지만 조직 경험이 없다"에 가깝습니다.
• 멀티 에이전트는 역할 분업일 뿐이고, 일관성을 만드는 것은 고정된 절차와 판단 기준입니다.
• 스킬은 그 절차를 폴더 단위로 패키징해서 AI가 필요할 때 불러다 쓰게 만드는 운영 방식입니다.
• 그래서 스킬의 진짜 가치는 성능 최대화보다 결과 편차 축소, 팀 노하우 재사용, 조직 특화 가속에 있습니다.

결론

이 영상이 잘 짚은 부분은, 앞으로의 AI 활용 경쟁력이 더 큰 모델을 쓰는 것만으로 결정되지 않는다는 점입니다. 실제 차이는 우리 팀의 업무 방식, 품질 기준, 예외 처리 습관을 얼마나 재사용 가능한 형태로 정리해 두느냐에서 벌어집니다.

결국 스킬은 “AI에게 일을 시키는 더 좋은 프롬프트"가 아니라, 우리 조직이 이미 알고 있는 일을 반복 가능한 운영 자산으로 바꾸는 포맷 입니다. 그래서 폴더 하나가 단순한 파일 묶음이 아니라, AI를 우리 팀 전문가로 길들이는 가장 현실적인 단위가 됩니다.