ArXiv: SWE-AGILE — 소형 모델이 코딩 에이전트의 컨텍스트 폭발 문제를 해결하는 방법

자율 AI 코딩 에이전트가 직면하는 가장 큰 과제 중 하나는 “컨텍스트 폭발”입니다 — 에이전트가 더 많은 단계를 수행할수록 메모리에 유지해야 할 정보가 늘어나고, 컨텍스트 윈도우가 빠르게 가득 찹니다.

해결책: 동적 컨텍스트

SWE-AGILE은 두 가지 메커니즘을 사용하는 Dynamic Reasoning Context 전략을 도입합니다:

• 슬라이딩 윈도우 상세 추론 — 에이전트의 최근 몇 단계를 완전한 형태로 유지하여 정밀한 의사 결정을 가능하게 합니다
• Reasoning Digests — 이전 단계의 압축된 요약으로, 핵심 정보를 너무 많은 공간을 차지하지 않으면서 보존합니다

이 접근 방식을 통해 에이전트는 프로젝트의 “전체 그림”을 유지하면서도 현재 작업에 대한 상세한 파악을 동시에 할 수 있습니다.

소형 모델의 인상적인 성과

이 연구의 가장 주목할 만한 점은 SWE-AGILE이 SWE-Bench-Verified 벤치마크에서 7~8B 파라미터 규모 모델의 새로운 최고 성능을 달성했다는 것입니다:

• 2,200개의 훈련 예제와 896개의 작업만 사용했습니다
• 효율적인 컨텍스트 관리 덕분에 훨씬 더 큰 모델과 경쟁합니다
• 코드는 GitHub에서 공개되어 있습니다

왜 주목할 만한가

AI 코딩이 주로 큰 컨텍스트 윈도우를 가진 거대 모델에 의존하는 세계에서, SWE-AGILE은 더 스마트한 컨텍스트 관리가 모델 크기를 보완할 수 있음을 보여줍니다. 이는 보다 저사양 하드웨어에서도 작동할 수 있는, 더 효율적이고 저렴한 AI 코딩 에이전트의 가능성을 열어줍니다.