모델
생성형 사전학습 트랜스포머 (GPT)
디코더 전용 트랜스포머 언어 모델 계열로, 거대한 텍스트로 사전학습되고 지시용으로 파인튜닝됩니다. ChatGPT와 같은 시스템을 구동하는 아키텍처입니다.
**생성형 사전학습 트랜스포머 (GPT, Generative Pretrained Transformer)**는 디코더 전용 트랜스포머를 두 단계로 학습시키는 대규모 언어 모델 클래스입니다. 먼저 모델은 인터넷 텍스트의 거대한 코퍼스에서 단순한 목표 — 다음 토큰을 예측하는 것 — 로 사전학습됩니다. 그 다음 파인튜닝, 지도된 시연, 인간 피드백 기반 강화학습을 통해 지시를 따르도록 적응됩니다.
OpenAI는 2018년 최초의 GPT를 공개했고, GPT-2(2019), GPT-3(2020), GPT-3.5 — 2022년 말 최초 ChatGPT를 구동 — 그리고 GPT-4 / GPT-4o / GPT-5 세대로 확장해 왔습니다. 각 단계마다 파라미터 수, 데이터 양, 컨텍스트 크기가 증가했고, 방법론은 추론, 멀티모달리티, 도구 사용을 발전시켰습니다.
GPT 처방은 업계의 지배적인 패턴이 되었습니다. Claude, Gemini, Llama, Mistral, DeepSeek, Qwen은 모두 디코더 전용 트랜스포머이며 매우 유사한 목표로 학습됩니다. 가중치와 엔지니어링 선택은 다르지만 말입니다.
일상 사용에서 “GPT”는 때로는 OpenAI 모델만을 좁게 가리키고, 때로는 전체 디코더 LLM 계열을 넓게 가리킵니다 — 용어가 과부하되어 있지만, 현대 AI에 있어 의심할 여지 없이 중심적인 개념입니다.