arXiv:2607.12463: 함수 인식 FIM 중간 훈련으로 코딩 에이전트 SWE-Bench 점수 최대 +5.4 향상

FIM과 중간 훈련이란 무엇입니까?

**FIM(Fill-in-the-Middle)**은 모델이 주어진 접두사와 접미사 사이의 코드 조각을 채우는 훈련 기법입니다——단순히 이어서 생성하는 것이 아니라 이후에 오는 컨텍스트도 이해해야 합니다. 중간 훈련은 사전 훈련(대규모 코퍼스 학습)과 파인튜닝(특정 태스크 조정) 사이의 단계입니다. 목적은 일반적인 능력을 손상시키지 않으면서 특정 도메인에 맞게 모델의 기반을 형성하는 것입니다. Wang Yubo와 7명의 공동 저자는 arXiv에서 이 두 기법을 코딩 에이전트를 위한 새로운 방법으로 결합했습니다.

함수 인식 FIM: 의존성 그래프의 역할

표준 FIM은 무작위로 코드 조각을 마스킹합니다. 이 연구의 새로움은 함수 인식 접근 방식에 있습니다. 마스킹 영역은 코드 내 함수 간 의존성을 모델링하는 프로그램 의존성 그래프에 따라 의도적으로 선택됩니다. 이는 모델이 함수 간 의존성 이해가 중요한 위치를 채우는 방법을 학습한다는 것을 의미합니다——이는 에이전트 프로그래밍의 실제 태스크에 해당합니다. 훈련 코퍼스는 968개 GitHub 저장소에서 26억 토큰을 포함하여 실제 코드베이스의 통계적으로 대표적인 샘플을 제공합니다.

SWE-Bench 결과: 구체적인 점수 향상

이 방법은 에이전트 프로그래밍을 위한 두 가지 표준 벤치마크에서 검증되었습니다:

• SWE-Bench-Verified: Qwen2.5-Coder(7B 및 14B 변형)와 Qwen3-8B에서 +2.8~+3.2점 향상
• SWE-Bench-Lite: +3.7~+5.4점 향상

특정 태스크 파인튜닝의 일반적인 향상——일반 능력 퇴화 없이 2~3점을 넘기 어려운——과 비교하면, 여기서 중요한 점은 이 방법이 에이전트 후훈련에서도 비에이전트 코딩 능력을 보존한다는 것입니다. 향상이 모델의 전반적인 품질을 희생하여 얻어진 것이 아닙니다.

왜 소형 모델에게 중요합니까?

7B 및 8B 파라미터 모델에서의 결과는 특히 주목할 만합니다. 이는 중간 훈련이 복잡한 코드 의존성 이해를 필요로 하는 에이전트 태스크에서 소형 모델의 능력 부족을 보완할 수 있음을 보여줍니다. 수백억 파라미터 모델을 운용할 여력이 없는 조직에게 함수 인식 FIM은 추론 비용을 유지하면서 더 강력한 코딩 에이전트를 구현하는 실질적인 경로를 제공합니다.

---

출처: arXiv