ArXiv: PAC-BENCH — AI 에이전트가 비밀을 지키며 협력해야 할 때 무슨 일이 벌어지는가?

현실 세계에서 서로 다른 조직의 AI 에이전트는 협력해야 하지만, 모든 데이터를 자유롭게 공유할 수는 없습니다. PAC-BENCH는 AI 에이전트가 프라이버시를 준수하면서 협력해야 할 때 어떤 일이 벌어지는지 체계적으로 테스트하는 최초의 벤치마크입니다.

아무도 측정하지 않았던 문제

다음과 같은 시나리오를 상상해 보십시오: 병원의 AI 에이전트와 제약회사의 AI 에이전트가 약물 효능을 공동으로 분석해야 하지만, 환자의 개인정보는 공유할 수 없습니다. AI 에이전트는 이런 상황에서 어떻게 대처할까요? 지금까지 아무도 이를 체계적으로 측정하지 않았습니다.

세 가지 유형의 오류

연구자들은 세 가지 심각한 오류 패턴을 식별했습니다:

• 조기 프라이버시 노출 — 에이전트가 협력 초기 단계에서 공유해서는 안 되는 기밀 정보를 노출합니다
• 과도하게 보수적인 추상화 — 에이전트가 데이터를 지나치게 숨겨서 응답이 협력에 무용지물이 됩니다
• 프라이버시로 인한 할루시네이션 — 가장 흥미로운 발견입니다: 에이전트가 프라이버시 제약으로 실제 데이터에 접근할 수 없을 때, “합리적으로 들리는” 데이터를 만들어내기 시작합니다

왜 미래에 중요한가

AI 에이전트가 의료에서 금융까지 비즈니스 환경에서 점점 더 많이 사용됨에 따라, 협력 시 프라이버시 문제는 미해결 과제가 되고 있습니다. PAC-BENCH의 결과는 프라이버시가 협력 품질을 크게 저하시키며, 어떤 에이전트가 통신을 먼저 시작하느냐에 따라 결과가 크게 달라진다는 것을 보여줍니다.

이는 멀티 에이전트 시스템에 단순히 “프라이버시를 추가하는 것”은 사소한 작업이 아니며, 근본적으로 다른 설계 접근 방식이 필요하다는 것을 업계에 경고합니다.