PyTorch: 버전 2.12는 디바이스 독립적 torch.accelerator.Graph, MX 양자화, 100배 빠른 linalg.eigh를 도입합니다

PyTorch Foundation은 2026년 5월 13일에 프레임워크 버전 2.12를 출시했습니다. 이 릴리스는 2,926개의 커밋과 457명의 기여자를 포함합니다. 멀티벤더 가속기 API로의 전환, 공격적인 양자화 지원, 선형대수 연산의 대폭적인 속도 향상을 제공하며, TorchScript를 공식 제거합니다.

torch.accelerator.Graph는 그래프 캡처를 어떻게 변화시킵니까?

torch.accelerator.Graph는 CUDA, XPU 및 서드파티 백엔드 전반에서 그래프 캡처와 리플레이를 수행하는 새로운 통합 API입니다. torch.xpu.XPUGraph 등 디바이스별 구현을 대체합니다. 백엔드는 경량 GraphImplInterface를 통해 등록되며, c10::Stream과 torch.Stream은 백엔드 독립적인 스트림 확인을 위한 새로운 is_capturing() 메서드를 제공합니다. 이 구현은 인텔의 Guangye Yu가 PR #171269와 #171285를 통해 기여했습니다.

torch.export의 MX 양자화는 무엇을 가능하게 합니까?

torch.export.save와 torch.export.load가 이제 float8_e8m0fnu 데이터 타입을 지원합니다. 이 변경으로 MXFP4, MXFP6, MXFP8 형식으로 공격적으로 압축된 모델의 완전한 내보내기가 가능해집니다. 비용 제약적이고 엣지 환경에서의 LLM 배포에 필수적입니다. ARM의 Chizkiyahu Raful이 PR #176270을 통해 기여했습니다.

버전 2.12는 어떤 속도 향상을 제공합니까?

linalg.eigh가 레거시 MAGMA 백엔드에서 cuSolver로 마이그레이션되었으며, 배치 처리 작업에 syevj_batched를 무조건적으로 사용합니다. PyTorch 팀은 일반적인 ML 워크로드에서 CUDA 상 최대 100배 속도 향상을 보고하며, 수분이 걸리던 작업이 이제 수초 만에 완료됩니다. 또 다른 핵심 최적화: torch.cond 데이터 의존적 제어 흐름이 이제 CUDA 12.4 조건부 IF 노드를 통해 CUDA Graphs 내에서 캡처될 수 있어, 이전의 CUDA 그래프 트리 폴백이 제거되었습니다. 퓨전 Adagrad 옵티마이저가 fused=True 지원으로 Adam, AdamW, SGD에 합류합니다.

TorchScript 제거는 무엇을 의미합니까?

TorchScript는 2.10부터 지원 중단이 예고되었으며 2.12에서 공식 제거되었습니다. 권장 대안: 모델 직렬화에는 torch.export, 임베디드 런타임에는 Executorch를 사용하십시오. CUDA 12.8 wheel은 표준 릴리스 매트릭스에 더 이상 포함되지 않습니다. PyTorch는 구형 아키텍처(Pascal, Volta)에는 CUDA 12.6, Blackwell에는 CUDA 13.0+를 권장합니다.

Joe Spisak, Andrey Talman, Alban Desmaison과의 라이브 Q&A 이벤트는 2026년 5월 20일(수) 태평양 표준시 오전 10시로 예정되어 있습니다.