Anthropic, 정책 프레임워크 'Trustworthy agents in practice' 발표

에이전트 시대를 위한 정책 프레임워크

Anthropic은 연구/정책 섹션에서 ‘Trustworthy agents in practice’를 발표했습니다. 이것은 AI 에이전트를 신뢰할 수 있게 만드는 것이 무엇인지, 그리고 기업이 위험을 최소화하는 방식으로 에이전트를 구축하고 사용하는 방법을 정의하는 포괄적인 문서입니다.

이 발표는 AI 에이전트가 급속히 상업화되는 시점에 이루어졌습니다. Claude Cowork, OpenAI Codex, Microsoft Agent-Framework, AWS AgentCore, Anthropic Managed Agents — 모두 강력한 에이전트 기능을 제공하지만 신뢰성에 관한 질문은 여전히 열려 있습니다.

문서에는 무엇이 있습니까?

Anthropic은 ‘신뢰할 수 있는’ 에이전트를 여러 차원으로 구조화합니다.

• 예측 가능성 — 에이전트는 일관되게 행동하며 극단적인 상황에서 즉흥적으로 반응하지 않습니다
• 감사 가능성 — 모든 결정과 행동은 사후에 검토될 수 있습니다
• 경계 — 에이전트가 할 수 있는 일과 할 수 없는 일이 명확하게 정의되어 있습니다
• 에스컬레이션 — 에이전트가 인간에게 승인을 요청해야 하는 규칙
• 가역성 — 에이전트는 가능한 한 가역적인 행동을 수행합니다

왜 지금입니까?

Anthropic은 직접적인 상업적 이해관계를 가지고 있습니다. Claude Mythos는 OS의 취약점을 자율적으로 찾아내어 이용할 수 있는 AI를 시연합니다. Project Glasswing은 그 기능을 40개의 선별된 조직에만 배포합니다.

Trustworthy agents 프레임워크는 그 전략의 동반자입니다. Anthropic이 세계에서 가장 강력한 에이전트를 구축한다면, 그것들이 어떻게 안전하게 사용되는지에 대한 기준도 설정해야 합니다. 그렇지 않으면 규제 기관(EU AI법, NIST)이 대신 기준을 설정할 것이며, 이는 업계가 원하는 것보다 더 엄격할 수 있습니다.

실용적인 권장 사항

이 문서는 다음을 위한 구체적인 권장 사항 시리즈로 마무리됩니다.

• 에이전트 개발자를 위한 — 권한 시스템과 가드레일 설계 방법
• 엔터프라이즈 사용자를 위한 — 배포 전 에이전트 평가 방법
• 규제 기관을 위한 — 엔터프라이즈 AI 표준에서 찾아야 할 것

Anthropic은 지금까지 ‘기능으로서의 AI 안전성’에 대해 일관된 목소리를 내왔습니다. Trustworthy agents in practice는 그 전략의 연장선이며, 미래의 규제에 영향을 미칠 수 있는 문서입니다.