Apple, ICLR 2026에서 ParaRNN 공개: 비선형 RNN 병렬 학습으로 665배 속도 향상

Apple은 이번 주 리우데자네이루에서 열리는 ICLR 2026 학회에서 머신러닝 분야 5편의 연구 논문을 발표했습니다. 그 중 가장 주목받는 것은 ParaRNN——트랜스포머 시대에 순환 신경망의 위치를 재고하는 방법입니다.

ParaRNN이 중요한 이유

순환 신경망(RNN)은 병렬 학습이 불가능하다는 이유로 수년간 뒷전으로 밀려났습니다. 각 시간 단계가 이전 단계에 의존하기 때문입니다. ParaRNN은 표현력은 더 높지만 병렬화가 더 어려운 비선형 RNN에도 이 문제를 해결합니다.

Apple은 순차적 방식 대비 665배 속도 향상을 보고했습니다. 이 수치는 RNN을 수십억 파라미터 규모로 확장할 수 있음을 의미하기 때문에 중요합니다. 이 규모에서는 선형 메모리 복잡성이라는 전통적인 RNN의 장점을 유지하면서 실용적인 측면에서 트랜스포머와 경쟁할 수 있습니다.

iPhone과 같이 자원이 제한된 기기에서 모델을 실행해야 하는 Apple에게 이것은 전략적으로 중요합니다. 선형 메모리를 가진 RNN은 트랜스포머를 괴롭히는 이차 증가 없이 긴 컨텍스트를 처리할 수 있습니다.

ICLR 2026에서 Apple의 다른 논문은 무엇입니까?

ParaRNN 외에도 Apple은 4편의 논문을 추가로 발표했습니다. 도구 사용을 갖춘 상태 공간 모델은 SSM 아키텍처를 도구와 결합하여 컨텍스트 길이 일반화를 개선하는 방법을 보여줍니다——모델이 학습 시보다 긴 텍스트를 처리해야 하는 작업에 중요합니다.

MANZANO는 서로 다른 모달리티를 위한 별도 인코더 없이 단일 아키텍처로 텍스트와 이미지를 처리하는 통합 멀티모달 모델입니다.

세 번째 논문은 단 하나의 사진에서 1초 미만으로 3D 장면을 합성하는 방법을 설명하며, AR 애플리케이션과 3D 콘텐츠 생성에 중요합니다. 네 번째는 AlphaFold가 사용하는 전문 아키텍처 없이 단백질 구조를 예측하는 모델인 SimpleFold입니다.

이것이 Apple의 연구 전략에 대해 무엇을 말해줍니까?

가장 권위 있는 ML 학회 중 하나에서 5편의 논문이 채택된 것은 Apple이 기존 모델의 제품화뿐만 아니라 기초 연구에 지속적으로 투자하고 있음을 보여줍니다. 효율성에 대한 집중——병렬화, 선형 메모리, 빠른 3D 합성——은 Apple이 클라우드에만 의존하지 않고 소비자 하드웨어에서 모델을 실행해야 하는 필요성과 일치합니다.

Apple은 이러한 연구 성과의 구체적인 제품 통합을 발표하지 않았지만, ParaRNN 및 도구 사용을 갖춘 SSM과 같은 아키텍처는 향후 Apple Intelligence 시스템의 유력한 후보입니다.