arXiv: ASSAY 프레임워크가 선택적 스킬 마스킹으로 LLM 에이전트 신기록 수립

노스캐롤라이나 대학교 채플힐의 연구자 그룹 — Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao — 은 경험으로부터 학습하는 LLM 에이전트의 근본적인 문제를 확인하는 논문을 발표했습니다: 에이전트에게는 라이브러리 내 유용한 스킬과 유해한 스킬을 구별하는 원칙적 방법이 없습니다. 이 문제는 단순히 이론적인 것이 아닙니다 — 경험으로부터 학습하지만 지식을 선택할 줄 모르는 에이전트는 시간이 지남에 따라 좋은 자원을 나쁜 자원이 상쇄하는 라이브러리를 쌓을 수 있습니다. 이 논문은 모델 가중치 수정 없이 경험적 인과 귀인으로 그 문제를 해결하는 ASSAY(Attributed Skill curation for Agent Systems) 프레임워크를 소개합니다.

인과적 이질성: 동일한 스킬, 반대의 효과

현대 LLM 에이전트는 경험에서 얻은 스킬(자연어로 기술된 설명)을 축적하고 미래 작업을 더 잘 해결하는 데 활용할 수 있습니다. 저자들이 확인한 문제는 인과적 이질성이라고 불립니다: 개별 스킬은 일상적으로 특정 유형의 작업에서는 도움이 되는 동시에 다른 작업에서는 해를 끼칩니다. 이러한 상반된 효과들이 라이브러리 전체 수준에서 집계되면 서로 상쇄됩니다 — 따라서 스킬의 평균 효과를 보는 전역적 수정 방법으로는 문제를 발견할 수 없습니다. 에이전트는 계속해서 모든 스킬을 무분별하게 사용하며, 특정 맥락에서 어떤 스킬이 중립이 아닌 적극적으로 해롭다는 것을 알지 못합니다.

전역적 라이브러리 수정 접근법이 효과가 없는 이유

기존 스킬 라이브러리 수정 접근법은 주로 LLM 자체의 평가에 의존했습니다 — 모델이 어떤 스킬이 유용한지 판단했습니다. 저자들은 이것이 수정 작업에 개념적으로 잘못된 것이라고 주장합니다: 경험으로부터 스킬 생성은 LLM이 잘하는 창의적 행위이지만, 그 스킬이 실제로 유용한지에 대한 결정은 다수의 작업에서 얻은 경험적 증거를 요구합니다. 모델은 자신의 맹점을 스스로 평가할 수 없습니다. 이 두 가지 작업을 동일한 LLM 판단에 결합하면 시스템은 객관적 지표 없이, 맥락적 해로움을 감지하는 메커니즘 없이 남게 됩니다.

ASSAY는 창의적 작업과 경험적 작업을 어떻게 분리하나요?

ASSAY는 수정을 두 개의 별도 단계로 나눕니다. 첫 번째 단계에서 스킬 생성은 에이전트가 표준적으로 수행하는 창의적 작업으로 남습니다 — 경험과 상호작용에서. 두 번째 단계에서 ASSAY는 소규모 개발 세트에서 무작위 마스킹을 통해 각 스킬의 인과적 기여도를 측정합니다: 각 작업에 대해 스킬이 무작위로 비활성화되고 작업 결과에 대한 효과가 측정됩니다. 이 측정으로부터 시스템은 스킬별 귀인 프로파일을 구축합니다 — 어떤 유형의 작업에 스킬이 도움이 되고 어떤 작업에 해가 되는지. 이 프로파일을 기반으로, ASSAY는 추론 시 각 구체적인 테스트 작업에 대해 예측 효과가 부정적인 스킬을 동적으로 억제합니다. 가중치 수정 없음, 스킬의 전역적 삭제 없음 — 오직 실행 시 맥락적 필터링만.

AppWorld과 tau-bench에서 새로운 기록

실험은 4개 서비스 제공업체의 7개 기본 모델과 2개의 벤치마크 — AppWorld와 tau-bench — 를 포함합니다. AppWorld 벤치마크의 가장 어려운 부분에서 ASSAY를 적용한 DeepSeek-V3는 **작업 목표 달성률 69.3%**를 기록합니다 — 기준선 대비 상대적 향상 47.4%, 가중치 조정 방법을 사용하는 방법들을 포함한 새로운 state-of-the-art. tau-bench 리테일 부분에서 ASSAY를 적용한 GPT-4.1은 8.7% 상대적 향상을 기록하며 공개 리더보드에서 o4-mini, o1, GPT-4.5를 능가합니다 — 가중치 튜닝 없이. 결과는 모든 테스트 모델과 두 벤치마크에서 일관적이며, 이는 특정 모델의 아티팩트가 아님을 시사합니다.

태스크별 마스킹: 향상의 핵심 요소

제거 연구는 향상의 출처를 정확히 찾아냅니다. 부정적 평균 효과를 가진 스킬의 전역적 제거는 태스크별 마스킹보다 적은 이득을 가져옵니다. 핵심적 차이는 맥락의 세분성에 있습니다: 평균적인 작업에 나쁜 동일한 스킬이 특정 유형의 작업에는 유용할 수 있고, 그 반대도 마찬가지입니다. 태스크별 마스킹은 이를 구별하지만 전역적 접근법은 그럴 수 없습니다. 저자들은 경험으로부터 학습하는 에이전트의 병목은 라이브러리의 전역적 정제가 아니라 추론 시 작업 유형에 스킬을 맞추는 것이라고 결론짓습니다. 이 구분은 실용적으로 중요합니다: 어떤 작업을 해결하는지 아는 시스템은 전체 축적된 라이브러리를 필터링 없이 전달하는 대신 올바른 지식의 부분집합을 동적으로 선택할 수 있습니다. 코드는 GitHub에 공개되어 있습니다.