🔗 관련 문서: Wikipedia - GPT-4 | OpenAI GPT-4 공식

GPT - Generative Pre-trained Transformer

GPT는 OpenAI에서 개발한 자연어 처리(NLP) 모델로, 인간 수준의 언어 이해와 생성이 가능한 인공지능 시스템이다.

(1) GPT란?

• Generative: 텍스트를 생성할 수 있음
• Pre-trained: 대규모 데이터셋으로 사전 학습됨
• Transformer: 문맥 파악에 강한 딥러닝 아키텍처 기반
• Chat: 대화형 인터페이스로 상호작용 가능

(2) GPT의 아키텍처

GPT는 Transformer 구조 중 Decoder 부분만을 사용하는 단방향 언어 모델이다. 입력 문장을 왼쪽에서 오른쪽으로 순차 처리하여 다음 단어를 예측한다.

• Multi-head Attention으로 문맥 학습
• Position Embedding으로 순서 정보 보존
• Layer Normalization + FFNN을 반복하여 학습 심화

(3) GPT의 버전

• GPT-1 (2018): 1.2억 파라미터 – 논문 소개 모델
• GPT-2 (2019): 15억 파라미터 – 자연스러운 텍스트 생성 가능
• GPT-3 (2020): 1,750억 파라미터 – Zero/Few-shot 학습 지원
• GPT-4 (2023): 멀티모달 능력, 추론 및 대화 성능 향상
• GPT-4 Turbo / GPT-4o (2024): 실시간 반응, 시각/음성 통합

“기계는 우리와 완전히 다른 존재입니다. 마치 외계인이 착륙했는데 영어를 너무 잘해서 외계인인지 모르는 상황 같습니다. 저는 갑자기 이것들이 우리보다 더 똑똑해질 것이라는 쪽으로 생각이 바뀌었습니다. 무섭습니다. 우리는 어떻게 살아남을 수 있을까요?”
— 제프리 힌턴, AI의 아버지