파운데이션 모델
다양한 태스크에 범용으로 활용 가능한 대규모 사전학습 AI 모델
정의와 배경
파운데이션 모델이란 인터넷 텍스트·이미지·코드 등 초대규모 데이터를 활용해 사전학습(Pre-training)된 AI 모델로, 특정 목적에 국한되지 않고 다양한 하위 태스크에 재활용할 수 있다는 특징을 갖는다. 이 개념은 스탠퍼드 대학교 HAI(인간중심 AI 연구소)가 기존의 '대규모 사전학습 모델'을 통칭하기 위해 제안하면서 학계와 산업계에 확산되었다.
이전 세대 AI는 특정 문제를 풀기 위해 처음부터 별도로 학습해야 했으나, 파운데이션 모델은 한 번의 대규모 학습으로 다목적 지식을 내재화한 뒤, 소규모 데이터로 파인튜닝하거나 프롬프트만으로 원하는 기능을 끌어낼 수 있다.
작동 원리와 주요 유형
파운데이션 모델의 학습은 크게 사전학습과 적응(adaptation) 두 단계로 나뉜다. 사전학습 단계에서는 수천억 개 이상의 파라미터를 가진 모델이 수조 개 토큰 규모의 데이터를 GPU 클러스터에서 수주~수개월에 걸쳐 학습하며, 이 과정에서 언어 구조·사실 지식·추론 패턴 등을 내재화한다.
적응 단계에서는 파인튜닝(Fine-tuning), RLHF(인간 피드백 강화학습), 프롬프트 튜닝, LoRA 등의 기법을 통해 전체 모델을 재학습하지 않고도 특정 도메인이나 사용자 요구에 맞게 동작을 조정할 수 있다. 모달리티에 따라 텍스트 기반의 LLM, 이미지·텍스트를 함께 처리하는 멀티모달 모델, 코드 특화 모델 등으로 분류된다.
왜 중요한가
파운데이션 모델은 AI 개발 비용과 진입장벽을 대폭 낮추는 역할을 한다. 개별 기업·기관이 모델을 처음부터 학습하는 대신 공개 또는 상용 파운데이션 모델을 API나 파인튜닝으로 활용함으로써, 의료·법률·행정·제조 등 전 분야에서 AI 도입 속도가 빨라지고 있다.
정책·산업 측면에서는 파운데이션 모델의 학습에 필요한 대규모 GPU 클러스터와 데이터센터(AIDC) 인프라가 국가 경쟁력의 핵심 자산으로 부상하였으며, 대한민국의 AIDC 메가프로젝트(550조 원 규모)도 자국 파운데이션 모델 학습·추론 인프라 확충을 주요 목표 중 하나로 포함하고 있다.
주요 과제와 고려사항
파운데이션 모델은 학습 데이터에 내재된 편향이 모델 출력에 그대로 반영될 수 있어, 공공·행정 분야 적용 시 공정성과 신뢰성 검증이 필수적이다. 또한 모델 규모가 클수록 학습·추론에 소요되는 전력과 탄소 배출량이 증가하므로, 에너지 효율 최적화와 지속가능성이 중요한 정책 의제로 부각되고 있다.
소수의 글로벌 빅테크가 최상위 파운데이션 모델을 독점하는 구조에 대한 우려도 있어, 국내외에서 오픈소스 파운데이션 모델 육성 및 주권 AI(Sovereign AI) 확보 논의가 활발히 이루어지고 있다.