ArXiv 프레임워크 '호출할 것인가 말 것인가': LLM이 외부 도구 필요성을 잘못 판단한다는 것을 밝혀

Max Planck Institute for Software Systems, Imperial College, Helmholtz Munich의 Qinyuan Wu 및 공동 연구자들이 2026년 5월 1일 운영 AI 에이전트의 가장 비용이 많이 드는 문제 중 하나를 직접 다루는 프레임워크를 발표했다: 모델이 언제 외부 도구를 호출해야 하고 언제 호출하지 않아야 하는가. 논문 제목——“To Call or Not to Call”——은 실제로 초 단위 지연, 달러 단위 API 비용, 퍼센트 단위 정확도를 소모하는 딜레마를 요약한다.

출발점은 도구 호출이 항상 유익한 것이 아니라는 것이다. 일부는 중복되고, 일부는 실제로 해롭다. 웹 검색은 모델을 혼란시키는 잡음 있는 정보를 도입할 수 있고, 계산기는 모델이 이미 아는 간단한 계산에 호출될 수 있으며, 데이터베이스는 컨텍스트를 과부하시키는 관련 없는 행을 반환할 수 있다.

도구 호출 평가의 세 가지 차원은 무엇인가?

프레임워크는 각 잠재적 도구 호출을 세 가지 직교 차원으로 측정한다: 필요성(작업에 도구가 근본적으로 필요한가?), 효익(사용 시 결과가 개선되는가?), 비용 수용성(추가 지연과 비용이 정당한가?). 호출이 합리적이려면 세 가지 모두 긍정적이어야 한다.

차이는 미묘하지만 핵심적이다: 도구가 필요(작업이 객관적으로 요구함)하지만 효익 없음(모델이 없어도 정확도를 달성함)일 수 있다. 또는 유익(정확도 향상)하지만 실시간 시나리오에서 비용 때문에 접근 불가할 수 있다.

저자들은 모델의 자가 평가와 현실을 어떻게 비교하는가?

접근 방식은 두 가지 관점을 결합한다. 규범적 평가는 그라운드 트루스에서 나온다: 작업 X에 대해 어떤 도구 호출이 최적으로 이루어져야 하는가? 기술적은 모델 행동에서 나온다: 모델이 필요하다고 생각하는 호출은 무엇인가?

두 관점의 차이는 체계적인 오류를 드러낸다. 모델은 종종 도움이 안 되는 도구를 호출하고(웹 검색이 주범), 때로 유익한 도구를 놓친다. 다시 말해, 자가 평가는 신뢰할 수 있는 신호가 아니다.

은닉 상태에서의 경량 추정기

주요 기술적 기여는 저자들이 모델 자체의 은닉 상태에서 필요성과 효익을 예측하는 경량 추정기를 훈련한다는 것이다—추가 API 호출 없이. 이 추정기들은 모델이 “생각하는” 것에 관계없이 도구 호출이 필요한지를 결정하는 컨트롤러의 기반이 된다.

3개 작업과 6개 모델에 대한 실험에서 컨트롤러는 결합된 정확도와 비용 측면에서 모델 자가 평가를 일관되게 능가한다.

이것이 AI 엔지니어에게 의미하는 것은?

LangGraph, AutoGen 또는 Anthropic의 컴퓨터 도구로 에이전트를 구축하는 팀에게, 이 논문은 일반적인 직관을 검증한다: 모델이 도구가 필요한지 스스로 결정하게 하지 말고 게이팅 레이어를 설정하라. 지금까지 휴리스틱이었던 실践이 이제 공식적인 프레임워크와 실증적 결과를 갖게 되었다.

더 넓은 함의는 에이전트의 경제성에도 영향을 미친다: 운영 시스템이 20-30%의 불필요한 도구 호출을 피할 수 있다면, 하루 백만 요청 규모에서는 API 소비 절감만으로도 월 상당한 절약이 가능하다.