IBM Research: VAKRA 벤치마크, AI 에이전트가 복잡한 추론에서 실패함을 밝혀

IBM Research가 VAKRA를 발표했습니다——현실적인 엔터프라이즈 시나리오에서 AI 에이전트를 테스트하는 새로운 벤치마크입니다. 8,000개 이상의 로컬 API, 62개 도메인, 4,187개의 테스트 인스턴스를 보유한 VAKRA는 에이전트 능력을 테스트하기 위한 가장 포괄적인 평가 프레임워크 중 하나입니다.

AI 에이전트는 어디서 실패합니까?

핵심 발견은 표면적 능력과 진정한 신뢰성 사이의 차이입니다. AI 에이전트는 하나 또는 두 개의 API 호출이 필요한 간단한 작업을 성공적으로 해결하지만, 작업이 조합적 추론——여러 도구와 단계를 일관된 계획으로 결합하는 능력——을 요구하면 성능이 급격히 저하됩니다.

다중 홉 추론(여러 단계를 통한 추론)은 특히 문제가 됩니다: 체인의 각 추가 단계가 정확도를 낮추며, 에이전트는 세 네 단계 이후에 종종 “방향을 잃습니다”. 이는 비즈니스 프로세스 자동화가 정확히 그러한 다단계 작업을 필요로 하는 엔터프라이즈 시나리오에 특히 관련성이 높습니다.

왜 규칙 준수가 이렇게 어렵습니까?

VAKRA는 정책 준수성이라고 부르는 것도 테스트합니다——에이전트가 도구 사용에 대한 외부 제약을 준수하는 능력입니다. 예를 들어, 에이전트는 사용자 데이터를 삭제하는 API에 접근할 수 있지만, 회사 정책은 사전에 상사의 승인을 요구합니다.

결과는 에이전트가 이 측면에서 중대한 오류를 범하여 제약을 확인하지 않고 작업을 실행하거나 정책을 완전히 무시하는 경우가 많음을 보여줍니다. 비즈니스 프로세스에서 자율적인 AI 에이전트를 고려하는 기업들에게, 이것은 에이전트 능력 위에 강력한 거버넌스와 감독 레이어가 필요하다는 신호입니다.