전이학습은 한 작업(task)을 통해 학습한 지식이나 모델을 다른 관련 작업에 적용하는 머신러닝 기술이다. 보통 대규모 데이터셋에서 사전학습(pretraining)된 모델을 바탕으로, 새로운 과제에 대해 적은 데이터로도 우수한 성능을 낼 수 있게 한다.
1) 전이학습의 개념
기존에는 모든 과제마다 모델을 처음부터 새로 학습해야 했다. 그러나 전이학습에서는 기존에 학습한 모델의 일부 또는 전부를 활용하여 새로운 과제를 더 빠르고 효과적으로 해결할 수 있다. 특히 딥러닝에서는 초기 레이어들이 일반적인 특성을 학습하기 때문에, 이를 다른 과제에 재활용하는 방식이 자주 사용된다.
2) 전이학습의 유형
Feature Extraction (특징 추출): 사전학습된 모델에서 중간층 출력을 특징으로 활용하고, 새로운 분류기를 학습함.
Fine-Tuning (미세 조정): 사전학습된 전체 모델 또는 일부 층을 이어 받아 새로운 데이터에 맞게 추가 학습을 수행함.
Domain Adaptation: 원래 데이터와는 특성이 다른 새로운 도메인(domain)에 모델을 적응시키는 기법.
3) 활용 사례
이미지 인식: ImageNet으로 학습한 모델을 바탕으로 다른 의료 영상 진단 등에 적용
자연어 처리: BERT, GPT 등 사전학습된 언어모델을 기반으로 질의응답, 번역, 분류 등의 작업에 적용
음성 인식: 대규모 음성 데이터로 학습한 모델을 특정 사용자 음성이나 억양에 맞게 전이
학습 인식: 영화 <매트릭스>를 보면, 주인공이 헬리글 훔쳐 탄 다음 본부에다가 헬기 조종법을 전송해 달라고 요구한다.
조정법이 주인공의 뇌에 들어오자 바로 능숙하게 헬기를 조종해서 탈출한다.