기초
딥러닝 (deep learning)
다층 신경망을 사용해 복잡한 패턴을 학습하는 머신러닝의 한 분야로, 현대의 비전, 음성 인식, 언어 AI 시스템 전반을 구동하는 핵심 기술입니다.
**딥러닝 (deep learning)**은 머신러닝의 하위 분야로, 표현(representation)을 여러 층으로 쌓은 신경망을 구축합니다. 각 층은 입력을 다소 더 추상적인 특징 공간으로 변환하며, 이러한 변환들의 조합을 통해 모델이 고전적인 알고리즘의 능력을 넘어서는 패턴을 포착할 수 있게 됩니다 — 비전에서는 에지에서 형태로, 객체로, 언어에서는 문자에서 단어로, 의미로.
현대의 시대는 2012년경, 심층 합성곱 신경망(AlexNet)이 ImageNet 이미지 분류 벤치마크를 깼을 때 시작되었습니다. 그 처방 — 대규모 레이블 데이터셋, GPU의 연산 능력, 역전파를 통한 종단 간 학습 — 은 빠르게 음성 인식, 기계 번역, 게임 플레이로, 그리고 마침내 생성 모델로 확산되었습니다. Yann LeCun, Yoshua Bengio, Geoffrey Hinton은 2018년 그 기초 연구로 튜링상을 수상했습니다.
딥러닝은 우리가 다루는 거의 모든 것의 근간입니다. 트랜스포머 아키텍처와 그로부터 자라난 대규모 언어 모델은 수십억에서 수조 개의 파라미터를 가진 딥러닝 시스템입니다. 이미지 생성기, 음성 모델, 단백질 구조 예측기, 자율 주행차의 인식 스택은 동일한 원리를 공유합니다. 미분 가능한 층을 쌓고, 경사 하강법으로 학습시키며, 규모가 많은 일을 해내도록 두는 것입니다.