대규모 언어 모델(大規模 言語 模型, Large Language Model, LLM)은 방대한 양의 언어 데이터를 학습하여 사람의 언어를 이해하고 생성하는 데 활용되는 인공지능 모델이다. 거대 언어 모델 또는 초거대 언어 모델이라고도 불리며, 현대 생성형 인공지능의 핵심적인 기술 가운데 하나다.
대표적인 모델로는 GPT, Claude, Gemini, Llama, DeepSeek 등이 있다.
ㄴ ChatGPT와 같은 대화형 인공지능 서비스의 핵심 기술이다.
기본적인 원리는 의외로 간단하다.
ㄴ 앞에 나온 문장을 바탕으로 다음에 올 단어나 문장의 일부를 예측하는 것이다.
ㄴ 예를 들어 '대한민국의 수도는'이라는 문장이 주어지면 다음에 '서울'이라는 표현이 나올 가능성을 계산한다.
그런데 이 작업을 엄청난 규모로 반복해서 학습시키면 번역과 글쓰기, 프로그래밍, 수학 문제풀이까지 할 수 있게 된다.
ㄴ 물론 다음 단어를 예측하는 단순한 프로그램 하나로 이런 능력이 저절로 생겨난 것은 아니다.
ㄴ 수많은 인공신경망의 매개변수와 방대한 학습데이터, 고성능 컴퓨터, 추가적인 학습 및 여러 기술적인 개선이 함께 사용된다.
대규모 언어 모델의 발전에서 가장 중요한 기술적인 사건은 2017년 트랜스포머의 등장이다.
ㄴ 구글 연구자들이 발표한 논문 제목은 《Attention Is All You Need》.
ㄴ 말 그대로 '어텐션이면 충분하다'는 뜻이다.
ㄴ 이후 등장한 GPT와 BERT 등 여러 현대적인 언어 모델의 기반이 되었다.
2020년 OpenAI가 공개한 GPT-3는 1,750억 개의 매개변수를 가지고 있었다.
ㄴ 그전에는 이렇게 거대한 언어 모델을 일반적인 대화와 문서작성에 활용하는 일이 흔하지 않았다.
ㄴ 이후 모델의 규모와 학습데이터, 연산량이 계속 증가하면서 성능도 크게 발전했다.
하지만 파라미터가 많다고 무조건 더 똑똑한 것은 아니다.
ㄴ 학습데이터의 품질과 양, 학습방법, 모델의 구조에 따라서도 성능이 달라진다.
무엇보다 LLM은 그럴듯하게 거짓말을 할 수 있다.
ㄴ 실제로 존재하지 않는 논문이나 판례, 인터넷 주소를 만들어내기도 한다.
ㄴ 그리고 그것을 매우 자신 있게 설명한다.
2020년대 중반에는 LLM에 검색과 코드 실행, 외부 서비스 이용기능을 결합한 AI 에이전트가 빠르게 발전하고 있다.
ㄴ 이제는 단순히 질문에 답변하는 것을 넘어 실제로 사용자의 일을 수행할 수 있다.
ㄴ 다만 AI가 일을 대신한다고 결과에 대한 책임까지 자동으로 대신 지는 것은 아니다.
개요
대규모 언어 모델(Large Language Model, LLM)은 많은 양의 언어 데이터를 학습하여 자연어를 분석하고 생성하는 인공지능 모델이다. 주로 딥러닝과 인공신경망을 기반으로 개발되며, 현대적인 LLM의 상당수는 트랜스포머(Transformer) 계열의 신경망 구조를 사용한다.
대규모 언어 모델은 문장과 문서, 프로그램 코드 등 여러 형태의 데이터를 학습하여 언어의 구조와 단어 사이의 관계, 다양한 분야의 지식과 표현방식 등을 모델의 매개변수에 반영한다.
특히 자연어 처리(Natural Language Processing, NLP) 분야에서 사용되는 기술로, 텍스트 생성과 번역, 질문답변, 문서 요약, 정보 추출 및 프로그래밍 등 다양한 작업을 수행할 수 있다.
기존의 언어처리 시스템은 특정한 작업마다 별도의 알고리즘과 모델을 개발하는 경우가 많았다. 예를 들어 문장의 감정을 분석하는 모델과 기계번역을 수행하는 모델을 각각 개발하는 방식이었다.
반면 대규모 언어 모델은 일반적인 언어 데이터를 폭넓게 학습한 후 여러 종류의 작업에 활용할 수 있다는 특징이 있다.
특히 이용자가 자연어로 지시문을 작성하면 별도의 복잡한 프로그래밍 없이 다양한 작업을 수행할 수 있다.
2022년 OpenAI가 ChatGPT를 공개하면서 대규모 언어 모델은 일반 이용자들에게 널리 알려졌다. 이후 Anthropic의 Claude, 구글의 Gemini, 메타의 Llama 등 여러 모델과 서비스가 개발되면서 경쟁이 확대되었다.
그러나 LLM과 ChatGPT는 완전히 같은 개념이 아니다.
LLM은 인공지능 모델 자체를 의미하며, ChatGPT는 이러한 모델을 이용하여 대화와 여러 기능을 제공하는 서비스다.
마찬가지로 Claude와 Gemini 등도 모델 계열의 이름과 일반 이용자를 위한 서비스의 이름이 함께 사용되는 경우가 있다.
대규모 언어 모델은 현대 생성형 인공지능의 주요 기술이지만 모든 생성형 AI가 반드시 LLM을 사용하는 것은 아니다.
예를 들어 이미지와 영상 생성에는 확산 모델 등 다른 생성기술도 활용된다.
또한 모든 LLM이 반드시 ChatGPT와 같은 대화형 서비스를 제공하는 것은 아니다. 일부 언어 모델은 문서 분류와 정보검색, 문장 임베딩 등 다른 목적으로 사용된다.
2026년 현재 대규모 언어 모델은 이미지와 음성 등을 함께 처리하는 멀티모달 AI로 발전하고 있으며, 외부 도구를 이용하여 실제 작업을 수행하는 AI 에이전트의 핵심 구성요소로도 활용되고 있다.
명칭
Large Language Model
Large Language Model은 대규모 언어 모델이라는 뜻이다.
각 단어의 의미는 다음과 같다.
| 영문 | 의미 |
|---|---|
| Large | 대규모. 모델의 매개변수와 학습데이터, 연산자원 등의 규모를 가리킨다. |
| Language | 언어. 사람의 자연어를 비롯하여 프로그램 코드 등 여러 종류의 언어적 데이터를 포함할 수 있다. |
| Model | 모델. 학습한 데이터의 패턴을 수학적인 구조와 매개변수로 표현한 인공지능 시스템을 의미한다. |
일반적으로 영어 약자인 LLM이라는 표현이 널리 사용된다.
왜 대규모인가?
대규모 언어 모델의 '대규모'는 단순히 프로그램의 파일 크기가 크다는 뜻만은 아니다.
특히 다음과 같은 요소와 관련되어 있다.
- 신경망을 구성하는 매개변수의 수
- 학습에 사용되는 데이터의 양
- 학습과 추론에 필요한 연산량
- 처리할 수 있는 문맥과 작업의 범위
그러나 LLM을 구분하기 위한 전 세계적으로 통일된 최소 매개변수 기준이 존재하는 것은 아니다.
따라서 매개변수가 일정한 숫자 이상이면 반드시 LLM이고 그보다 적으면 LLM이 아니라는 방식으로 구분하기는 어렵다.
특히 모델의 규모뿐 아니라 학습방법과 성능, 실제 활용목적 등이 함께 고려된다.
역사
초기 언어 모델
언어 모델은 현대적인 생성형 인공지능보다 오래된 개념이다.
특히 언어학과 통계학, 컴퓨터 과학에서는 이전부터 문장에 등장하는 단어 사이의 관계를 확률적으로 분석하는 방법을 연구해 왔다.
대표적인 사례가 N-그램 언어 모델이다.
N-그램 언어 모델은 문장에서 연속으로 등장하는 단어와 기호의 빈도를 이용하여 다음에 나타날 단어의 확률을 계산한다.
그러나 이러한 모델은 긴 문맥을 이해하거나 복잡한 문장 사이의 관계를 처리하는 데 한계가 있었다.
이후 인공신경망을 이용한 언어 모델이 연구되면서 더 복잡한 언어적 관계를 학습할 수 있게 되었다.
순환신경망과 LSTM
2010년대에는 순환신경망(Recurrent Neural Network, RNN)과 LSTM(Long Short-Term Memory) 등 여러 신경망 구조가 자연어처리에 활용되었다.
이러한 모델은 문장의 순서와 이전에 처리한 정보를 이용하여 다음 단어를 예측할 수 있었다.
특히 기계번역과 음성인식, 문장 생성 등에 널리 사용되었다.
그러나 매우 긴 문장에서 앞부분의 정보를 유지하기 어렵거나 순차적인 계산 때문에 병렬처리에 제약이 발생하는 문제가 있었다.
이러한 문제를 개선하기 위한 연구에서 어텐션 메커니즘과 새로운 신경망 구조가 발전했다.
2017년 트랜스포머
2017년 구글 연구자들은 《Attention Is All You Need》라는 논문을 발표했다.
이 논문에서 새로운 신경망 구조인 트랜스포머가 제안되었다.
특히 트랜스포머는 어텐션 메커니즘을 중심으로 입력된 정보 사이의 관계를 계산하는 방식이다.
기존의 순환신경망과 달리 입력된 여러 토큰을 병렬적으로 처리하기에 유리한 구조를 제공했다.
또한 긴 문장에 등장하는 서로 다른 단어 사이의 관계를 학습하는 데 활용할 수 있었다.
이러한 특징은 이후 대규모 언어 모델의 발전에 중요한 영향을 미쳤다.[1]
2018년 GPT
2018년 OpenAI는 생성적 사전학습과 트랜스포머를 결합한 언어 모델을 발표했다.
이후 일반적으로 GPT-1이라고 불리는 모델이다.
GPT는 Generative Pre-trained Transformer의 약자다.
특히 대량의 텍스트를 사전학습한 뒤 여러 자연어처리 작업에 활용할 수 있다는 점을 보여주었다.
당시 GPT는 약 1억 1,700만 개의 매개변수를 가지고 있었다.
이후 OpenAI는 GPT 계열 모델을 지속적으로 발전시켰다.[2]
2018년 BERT
2018년 10월 구글 연구자들은 BERT를 발표했다.
BERT는 Bidirectional Encoder Representations from Transformers의 약자다.
특히 입력된 문장의 앞부분뿐 아니라 뒷부분의 문맥도 함께 활용하여 단어의 의미를 학습하는 방식이다.
BERT는 문장 분류와 감정 분석, 검색 및 정보 추출 등 여러 자연어처리 작업에 활용되었다.
이후 2018년 11월 구글은 BERT의 연구자료와 사전학습된 모델을 공개했다.[3]
특히 BERT는 GPT와 마찬가지로 트랜스포머를 기반으로 하지만 구조와 주요 학습목적에 차이가 있다.
GPT 계열은 일반적으로 이전 토큰을 바탕으로 다음 토큰을 생성하는 데 중점을 두지만, BERT는 양방향 문맥을 이용한 언어 표현학습에 중점을 둔다.
2019년 GPT-2
2019년 2월 OpenAI는 GPT-2를 발표했다.
GPT-2는 최대 15억 개의 매개변수를 가진 언어 모델이다.
특히 대규모 인터넷 텍스트를 학습하여 이전보다 자연스러운 문장을 생성할 수 있었다.
당시 OpenAI는 모델이 허위정보 제작 등에 악용될 가능성을 우려하여 최대 규모의 모델을 즉시 공개하지 않았다.
이후 단계적으로 모델을 공개했으며, 2019년 11월 5일에는 15억 매개변수 모델을 공개했다.[4]
2020년 GPT-3
2020년 5월 OpenAI는 GPT-3에 관한 연구를 발표했다.
GPT-3는 최대 1,750억 개의 매개변수를 가진 대규모 언어 모델이다.
특히 이전 모델보다 훨씬 큰 규모의 신경망을 이용하여 다양한 언어작업을 수행할 수 있다는 점을 보여주었다.
GPT-3 연구에서 중요한 개념 가운데 하나는 퓨샷 학습(Few-shot Learning)이다.
이용자가 몇 개의 예시를 입력하면 별도의 추가학습 없이도 해당 작업의 패턴을 파악하여 비슷한 결과를 생성할 수 있었다.
예를 들어 영어 문장과 한국어 번역문 몇 개를 제공하면 새로운 영어 문장을 번역하는 방식이다.
물론 이러한 방식이 항상 정확하게 작동하는 것은 아니었지만 대규모 언어 모델의 범용적인 활용 가능성을 보여주었다.[5]
2022년 Chinchilla
2022년 구글 딥마인드의 연구자들은 Chinchilla라는 언어 모델에 관한 논문을 발표했다.
이 연구는 단순히 매개변수를 늘리는 것보다 모델 크기와 학습데이터의 양을 적절하게 조정하는 것이 중요하다는 점을 보여주었다.
특히 연구진은 약 700억 개의 매개변수를 가진 Chinchilla를 학습시켰다.
Chinchilla는 약 2,800억 개의 매개변수를 가진 Gopher보다 작은 모델이었지만, 더 많은 학습데이터를 사용하여 여러 평가에서 더 높은 성능을 기록했다.
이 연구는 이후 언어 모델의 학습효율을 높이는 데 중요한 영향을 미쳤다.[6]
2022년 ChatGPT
2022년 11월 30일 OpenAI는 ChatGPT를 공개했다.
ChatGPT는 대규모 언어 모델을 이용하여 자연어 대화를 제공하는 서비스다.
특히 일반적인 이용자가 복잡한 프로그래밍 없이 인공지능과 대화할 수 있다는 점에서 큰 주목을 받았다.
ChatGPT는 문서작성과 번역, 프로그래밍 및 여러 종류의 질문답변에 활용되었다.
이후 대규모 언어 모델은 연구기관과 개발자들뿐 아니라 일반 소비자와 기업들이 사용하는 기술로 빠르게 확대되었다.
2023년 LLaMA와 Claude
2023년 2월 24일 메타는 LLaMA를 발표했다.
LLaMA는 70억부터 650억 개의 매개변수를 가진 언어 모델 계열로 공개되었다.
특히 상대적으로 작은 모델에서도 높은 성능을 구현할 수 있다는 점에 중점을 두었다.
또한 연구자들이 언어 모델을 직접 실험하고 개선할 수 있도록 모델을 제한적으로 공개했다.[7]
같은 해 3월에는 Anthropic이 Claude를 공개했다.
이후 구글의 Gemini 등 여러 언어 모델과 서비스가 등장하면서 경쟁이 확대되었다.
2024년 이후
2024년 이후에는 언어 모델에 이미지와 음성, 동영상 등의 정보를 처리하는 기술이 결합되면서 멀티모달 AI가 빠르게 발전했다.
또한 Mixture of Experts(MoE)와 양자화 등 다양한 기술을 이용하여 연산효율을 높이는 연구도 확대되었다.
2025년에는 DeepSeek-R1 등 강화학습을 활용하여 추론능력을 개선한 모델이 주목받았다.[8]
특히 2025~2026년에는 모델의 규모뿐 아니라 추론에 사용하는 계산량과 도구 사용능력, 실행비용 및 안전성 등이 중요한 경쟁요소가 되었다.
2026년 스탠퍼드대학교의 AI Index 보고서에 따르면 언어 모델의 여러 평가 성능은 지속적으로 향상되고 있지만, 실제 컴퓨터 작업을 수행하는 AI 에이전트는 여전히 상당한 실패율을 보이고 있다.[9]
작동 원리
전체 과정
대규모 언어 모델은 일반적으로 다음과 같은 과정을 거쳐 개발되고 사용된다.
- 데이터 준비 : 책과 문서, 웹페이지 및 프로그램 코드 등의 학습자료를 수집하고 정리한다.
- 토큰화 : 문장을 모델이 처리할 수 있는 토큰 단위로 분리한다.
- 사전학습 : 대량의 데이터를 이용하여 언어의 구조와 패턴을 학습한다.
- 추가학습 : 사용자의 지시를 따르고 적절한 답변을 생성하도록 모델을 개선한다.
- 추론 : 실제 이용자의 질문에 따라 결과물을 생성한다.
이러한 과정에는 대규모 컴퓨터 연산과 여러 종류의 학습기법이 사용된다.
특히 언어 모델은 사람이 문장을 읽고 단어의 뜻을 사전에서 찾아오는 방식으로 작동하지 않는다.
학습된 매개변수와 입력된 문맥을 이용하여 다음에 생성할 토큰의 확률분포를 계산하는 방식이 핵심이다.
토큰
토큰(Token)은 언어 모델이 텍스트를 처리하는 기본 단위다.
토큰은 하나의 글자 또는 단어와 반드시 일치하지 않는다.
예를 들어 영어의 짧은 단어는 하나의 토큰으로 처리될 수 있지만, 길거나 드문 단어는 여러 토큰으로 나뉠 수 있다.
한국어 역시 단어와 조사, 어미 등이 서로 다른 토큰으로 나뉠 수 있다.
특히 토큰이 나뉘는 방식은 모델에서 사용하는 토크나이저에 따라 달라진다.
따라서 한국어 문장과 영어 문장이 같은 글자 수를 가지고 있다고 해도 처리되는 토큰 수는 서로 다를 수 있다.
임베딩
임베딩(Embedding)은 단어나 토큰 등 여러 종류의 정보를 수치로 이루어진 벡터로 표현하는 방법이다.
언어 모델은 텍스트를 사람이 이해하는 문자 그대로 계산하지 않는다.
대신 토큰을 여러 차원의 숫자로 변환하여 신경망에서 처리한다.
특히 임베딩은 학습과정을 통해 언어적인 특징과 관계를 나타낼 수 있다.
그러나 임베딩의 특정 숫자가 곧바로 특정한 단어의 의미 하나를 나타내는 것은 아니다.
일반적으로 수많은 차원의 수치가 함께 작용하여 정보를 표현한다.
다음 토큰 예측
많은 현대적인 대화형 언어 모델은 이전에 나온 토큰들을 바탕으로 다음 토큰을 예측하는 방식으로 학습한다.
예를 들어 다음과 같은 문장이 있다고 가정하자.
대한민국의 수도는
모델은 앞의 문장과 학습한 정보를 바탕으로 다음에 등장할 토큰의 확률을 계산한다.
예를 들어 '서울'과 관련된 토큰이 높은 확률을 가질 수 있다.
이후 모델은 선택된 토큰을 문장 뒤에 추가하고 다시 다음 토큰을 계산한다.
이 과정을 반복하면 하나의 문장부터 긴 보고서까지 생성할 수 있다.
다만 실제 모델의 출력은 확률적인 계산과 샘플링 방식에 따라 달라질 수 있다.
또한 GPT와 같은 자기회귀 언어 모델의 다음 토큰 예측방식을 모든 언어 모델에 똑같이 적용할 수는 없다.
BERT처럼 문장에서 가려진 토큰을 예측하는 방식으로 학습한 모델도 존재한다.
어텐션
어텐션(Attention)은 입력된 여러 정보 사이의 관계를 계산하는 기술이다.
예를 들어 다음과 같은 문장이 있다고 가정하자.
철수는 영희에게 책을 주었다. 그녀는 매우 기뻐했다.
이 문장을 분석할 때에는 '그녀'라는 표현이 앞에 등장한 영희를 가리킨다는 문맥을 파악할 필요가 있다.
어텐션은 이러한 관련 정보를 서로 연결하여 처리할 수 있도록 하는 신경망의 계산방식이다.
다만 어텐션이 실제로 인간처럼 문장의 뜻을 이해하거나 문법적인 관계를 명시적으로 추론한다는 의미는 아니다.
신경망이 학습한 수치적 표현을 바탕으로 여러 토큰 사이의 관계를 계산하는 방식이다.
트랜스포머
트랜스포머는 어텐션 메커니즘을 중심으로 설계된 신경망 구조다.
특히 2017년 구글 연구자들이 발표한 이후 여러 대규모 언어 모델의 기반이 되었다.
트랜스포머에는 입력된 정보를 처리하는 인코더와 결과물을 생성하는 디코더 등의 구조가 사용될 수 있다.
다만 모든 트랜스포머 기반 모델이 인코더와 디코더를 동시에 사용하는 것은 아니다.
대표적으로 GPT 계열은 디코더 중심의 구조를 사용하며, BERT는 인코더 중심의 구조를 사용한다.
또한 T5와 같은 모델은 인코더와 디코더를 함께 사용하는 구조를 활용한다.
파라미터
파라미터(Parameter)는 신경망이 학습하는 수치적인 매개변수다.
대표적으로 신경망의 연결 가중치와 편향 등이 있다.
예를 들어 매개변수가 70억 개라는 것은 모델이 학습을 통해 조정한 수치적인 매개변수가 약 70억 개라는 의미다.
특히 GPT-3는 최대 1,750억 개의 매개변수를 가진 모델로 알려져 있다.
그러나 파라미터는 사람이 작성한 지식의 목록이나 데이터베이스의 행과 동일한 개념이 아니다.
특히 모델이 학습한 다양한 패턴은 여러 매개변수에 분산되어 표현된다.
따라서 특정한 문장 하나가 반드시 특정한 파라미터 하나에 저장되어 있다고 설명하는 것은 부정확하다.
학습 방법
사전학습
사전학습(Pre-training)은 대규모 데이터를 이용하여 언어 모델의 기본적인 능력을 형성하는 과정이다.
특히 많은 양의 문서를 이용하여 언어의 구조와 표현방식, 다양한 분야의 정보를 학습한다.
자기회귀 언어 모델에서는 이전 토큰들을 바탕으로 다음 토큰을 예측하도록 학습하는 방식이 널리 사용된다.
이때 실제 정답 토큰과 모델이 예측한 확률분포 사이의 차이를 이용하여 매개변수를 조정한다.
이러한 과정이 수많은 데이터와 학습단계에 걸쳐 반복된다.
미세조정
미세조정(Fine-tuning)은 사전학습된 모델을 특정한 목적에 맞게 추가로 학습시키는 방법이다.
예를 들어 일반적인 언어 모델을 법률 문서의 분류나 특정한 고객지원 업무에 적합하도록 개선할 수 있다.
특히 기존 모델을 처음부터 다시 학습시키는 것보다 적은 학습자원을 이용하여 특정한 작업에 적응하도록 만들 수 있다.
그러나 미세조정의 효과는 학습데이터의 양과 품질, 모델의 특성 등에 따라 달라진다.
지시 미세조정
지시 미세조정(Instruction Fine-tuning)은 이용자의 요청을 이해하고 해당 지시를 따르도록 학습하는 방법이다.
예를 들어 '다음 문장을 요약해 줘'라는 요청에 대해 실제 요약문을 생성하도록 학습하는 것이다.
이러한 학습을 통해 언어 모델은 단순히 문장을 이어 쓰는 능력에서 나아가 다양한 지시를 수행할 수 있게 된다.
특히 현대적인 대화형 인공지능에서는 중요한 학습단계 가운데 하나다.
인간 피드백을 활용한 강화학습
RLHF(Reinforcement Learning from Human Feedback)는 인간의 평가를 활용하여 모델의 행동을 개선하는 학습방법이다.
특히 여러 답변 가운데 어느 쪽이 더 적절한지를 평가한 자료를 이용한다.
이러한 정보를 바탕으로 모델이 더 유용하고 적절한 답변을 생성하도록 학습시킬 수 있다.
그러나 RLHF가 적용되었다는 사실만으로 모델의 답변이 항상 정확하거나 유해한 결과가 완전히 제거되는 것은 아니다.
또한 실제 모델 개발에서는 다른 종류의 선호도 학습과 강화학습 기법 등이 함께 활용될 수 있다.
지속학습
언어 모델은 이미 학습한 이후에도 새로운 데이터를 이용하여 추가학습할 수 있다.
이를 통해 새로운 분야의 정보를 습득하거나 기존 성능을 개선할 수 있다.
그러나 일반적인 대화형 서비스에서 사용자가 질문할 때마다 모델의 전체 매개변수가 자동으로 다시 학습되는 것은 아니다.
특히 서비스에서 제공하는 대화기억과 개인화 기능은 모델의 매개변수를 직접 수정하는 학습과 구분해야 한다.
주요 구조
디코더 중심 모델
디코더 중심 모델(Decoder-only Model)은 이전 토큰들을 참고하여 다음 토큰을 순차적으로 생성하는 구조를 사용한다.
특히 GPT 계열 모델이 대표적인 사례다.
이러한 구조는 자연스러운 문장 생성과 긴 텍스트 작성, 대화형 인공지능 등에 널리 활용된다.
현대의 여러 생성형 언어 모델도 디코더 중심의 트랜스포머 구조를 활용한다.
인코더 중심 모델
인코더 중심 모델(Encoder-only Model)은 입력된 문장의 정보를 분석하고 문맥에 맞는 표현을 형성하는 데 중점을 둔다.
대표적인 사례는 BERT다.
특히 검색과 문서분류, 감정 분석 및 정보 추출 등에 활용된다.
그러나 인코더 중심의 모델은 GPT와 같은 장문의 자기회귀 텍스트 생성에 직접적으로 사용되는 모델과는 목적이 다르다.
인코더-디코더 모델
인코더-디코더 모델(Encoder-decoder Model)은 입력된 정보를 처리하는 인코더와 출력문장을 생성하는 디코더를 함께 사용한다.
대표적인 사례는 T5 계열이다.
특히 기계번역과 문서 요약 등 입력된 문장을 다른 형태의 문장으로 변환하는 작업에 활용된다.
Mixture of Experts
Mixture of Experts(MoE)는 여러 개의 전문가 신경망을 구성하고 입력정보에 따라 일부 전문가를 선택하여 계산하는 구조다.
특히 모든 매개변수를 모든 토큰의 처리에 사용하는 대신 일부 매개변수만 활성화하는 방식이 사용될 수 있다.
이러한 방법은 모델의 전체 매개변수를 늘리면서도 토큰당 연산량을 줄이는 데 도움이 될 수 있다.
2021년 발표된 Switch Transformer는 이러한 구조의 대규모 활용 가능성을 보여준 연구 가운데 하나다.[10]
그러나 MoE를 사용한다고 해서 모든 환경에서 계산비용이 낮아지는 것은 아니다.
실제 효율은 활성화되는 전문가의 수와 메모리, 통신비용 및 모델 구조 등에 따라 달라진다.
성능과 관련된 개념
문맥창
문맥창(Context Window)은 언어 모델이 하나의 처리과정에서 참고할 수 있는 토큰의 범위를 의미한다.
특히 이용자의 질문과 이전 대화내용, 제공된 문서 및 모델의 출력 등에 사용되는 토큰이 문맥창과 관련된다.
예를 들어 12만 8,000토큰의 문맥창을 지원하는 모델은 정해진 조건에서 최대 그 정도의 문맥을 처리할 수 있다.
그러나 문맥창이 크다는 사실만으로 그 안에 포함된 모든 정보를 빠짐없이 정확하게 기억한다는 의미는 아니다.
실제 성능은 정보의 위치와 길이, 작업의 복잡성 등에 따라 달라질 수 있다.
온도
온도(Temperature)는 언어 모델이 다음 토큰을 선택할 때 사용하는 확률분포를 조정하는 설정이다.
일반적으로 온도가 낮으면 확률이 높은 표현을 선택하는 경향이 강해지며, 온도가 높으면 상대적으로 다양한 표현을 선택할 가능성이 증가한다.
특히 창작과 아이디어 발상 등에는 다양한 표현이 도움이 될 수 있다.
반면 정확한 형식이 중요한 작업에서는 더 일정한 출력을 선호할 수 있다.
그러나 온도를 0으로 설정했다고 해서 모든 환경에서 동일한 결과가 반드시 생성되는 것은 아니다.
Top-p와 Top-k
Top-p는 다음 토큰을 선택할 때 누적 확률이 일정한 기준에 도달하는 후보들을 고려하는 방식이다.
Top-k는 확률이 높은 상위 k개의 후보 가운데 다음 토큰을 선택하는 방식이다.
이러한 설정은 생성되는 문장의 다양성과 일관성에 영향을 줄 수 있다.
다만 모든 모델과 API가 같은 방식으로 이 설정을 제공하는 것은 아니다.
추론
추론(Inference)은 이미 학습된 모델을 실제로 실행하여 결과물을 생성하는 과정이다.
학습과 달리 일반적인 추론에서는 모델의 매개변수를 새로 학습시키지 않는다.
특히 사용자의 입력을 처리하고 답변을 생성하기 위한 연산이 수행된다.
일반적으로 입력된 문맥을 처리하는 단계와 토큰을 순차적으로 생성하는 단계가 구분된다.
또한 KV 캐시 등 여러 기술을 이용하여 반복적인 계산을 줄이기도 한다.[11]
추론 모델
추론 모델(Reasoning Model)은 복잡한 문제를 해결하기 위해 추가적인 계산과 학습방법 등을 활용하는 모델을 가리키는 표현이다.
특히 수학과 코딩, 논리적인 문제해결 및 여러 단계의 계획 수립에 활용된다.
일부 모델에서는 답변을 생성하기 전에 더 많은 계산자원을 사용하거나 중간 단계의 문제해결을 수행한다.
그러나 계산량을 늘린다는 사실만으로 모든 문제에서 정확도가 높아지는 것은 아니다.
특히 잘못된 전제와 부정확한 자료를 바탕으로 추론할 경우 틀린 결과가 생성될 수 있다.
대규모 언어 모델의 규모
매개변수의 수
언어 모델은 매개변수의 수에 따라 규모를 비교하는 경우가 많다.
| 모델 | 발표 시기 | 대표적인 매개변수 수 |
|---|---|---|
| GPT-1 | 2018년 | 약 1억 1,700만 |
| GPT-2 | 2019년 | 최대 15억 |
| GPT-3 | 2020년 | 최대 1,750억 |
| Chinchilla | 2022년 | 약 700억 |
| LLaMA | 2023년 | 최대 650억 |
| Llama 2 | 2023년 | 최대 700억 |
위 표는 각 모델 계열의 대표적인 공개 제원을 비교한 것이다.
특히 모델의 매개변수 수는 버전과 규모에 따라 달라질 수 있다.
또한 2020년대 중반 이후 일부 기업들은 최신 모델의 정확한 매개변수 수와 내부 구조를 공개하지 않고 있다.
따라서 공개되지 않은 최신 모델의 매개변수 수를 임의로 추정하거나 확정적으로 설명하는 것은 적절하지 않다.
파라미터가 많을수록 좋은가?
일반적으로 모델의 규모가 커지면 더 복잡한 패턴을 학습할 수 있는 능력이 증가할 수 있다.
그러나 모델의 성능은 매개변수의 수만으로 결정되지 않는다.
특히 학습데이터의 양과 품질, 모델의 구조 및 학습에 사용한 연산량이 중요하다.
또한 추가학습과 추론방식에 따라서도 결과가 달라질 수 있다.
2022년의 Chinchilla 연구에서는 상대적으로 작은 모델이 더 많은 데이터를 학습함으로써 더 큰 모델보다 높은 성능을 달성할 수 있다는 사실을 보여주었다.
따라서 실제 성능을 평가하려면 매개변수 수뿐 아니라 여러 평가자료와 실제 작업결과를 함께 확인해야 한다.
주요 모델
GPT
GPT는 OpenAI가 개발한 생성형 사전학습 트랜스포머 계열 언어 모델이다.
2018년 최초 모델이 발표되었으며, 이후 GPT-2와 GPT-3 등 여러 세대의 모델이 개발되었다.
특히 GPT 계열은 대규모 언어 모델의 발전에서 중요한 역할을 했다.
2022년에는 GPT 계열 모델을 이용한 ChatGPT가 공개되면서 대화형 인공지능이 일반 이용자들에게 널리 알려졌다.
Claude
Claude는 Anthropic이 개발한 대규모 언어 모델 계열이다.
2023년 3월 최초 공개되었다.
특히 문서 요약과 글쓰기, 프로그래밍 및 여러 종류의 지식업무에 활용된다.
Anthropic은 모델의 유용성과 안전성, 정렬에 관한 연구를 주요 개발목표로 제시하고 있다.
Gemini
Gemini는 구글 딥마인드가 개발한 인공지능 모델 계열이다.
특히 텍스트뿐 아니라 이미지와 음성, 동영상 등 여러 종류의 정보를 처리하는 멀티모달 기능을 강조한다.
또한 구글의 검색과 업무용 소프트웨어, 개발자용 플랫폼 등 여러 서비스에 활용된다.
Llama
2023년 처음 공개되었으며, 이후 Llama 2와 Llama 3 등 여러 모델이 개발되었다.
특히 일부 모델의 가중치를 공개하여 개발자들이 자체적인 환경에서 모델을 실행하고 수정할 수 있도록 지원했다.
그러나 메타가 모델을 공개한다는 사실만으로 모든 버전과 관련 소프트웨어가 제한 없는 오픈소스 라이선스로 제공된다는 의미는 아니다.
실제 이용조건은 모델별 라이선스에 따라 달라진다.
DeepSeek
DeepSeek는 중국의 인공지능 기업이 개발한 언어 모델 계열이다.
특히 2025년 공개된 DeepSeek-R1은 강화학습을 이용한 추론능력 향상으로 주목받았다.
또한 상대적으로 적은 비용으로 고성능 언어 모델을 개발할 수 있는 가능성에 관한 논쟁을 확대했다.
그러나 발표된 학습비용과 실제 기업 전체의 연구개발비용 및 인프라 구축비용은 구분할 필요가 있다.
한국어 언어 모델
대한민국에서도 한국어와 국내 산업환경에 적합한 언어 모델들이 개발되고 있다.
대표적인 사례는 다음과 같다.
- HyperCLOVA X : 네이버가 개발한 한국어 기반 대규모 언어 모델 계열.
- EXAONE : LG AI연구원이 개발한 언어 모델 계열.
- SOLAR : 업스테이지가 개발한 언어 모델 계열.
특히 한국어 언어 모델은 한국어의 문법과 표현, 국내 산업 및 전문분야의 자료를 활용하는 데 중점을 둘 수 있다.
그러나 한국 기업이 개발했다는 이유만으로 모든 한국어 작업에서 해외 모델보다 더 우수하다고 단정할 수는 없다.
실제 성능은 학습데이터와 모델 버전, 평가방법 등에 따라 달라진다.
오픈 모델과 폐쇄형 모델
개요
대규모 언어 모델은 모델의 가중치와 학습정보, 소프트웨어의 공개범위 등에 따라 서로 다른 방식으로 제공된다.
특히 일부 기업은 모델을 API와 웹서비스로만 제공한다.
반면 다른 개발자는 모델의 가중치를 공개하여 이용자가 직접 실행할 수 있도록 한다.
폐쇄형 모델
폐쇄형 모델은 모델의 내부 가중치와 학습방법 등 일부 정보를 공개하지 않는 방식으로 제공되는 모델이다.
특히 개발사가 운영하는 서버에 API 요청을 보내거나 웹서비스를 이용하는 방식이 일반적이다.
이러한 방식에서는 모델의 운영과 보안, 업데이트 등을 개발사가 관리할 수 있다.
그러나 이용자가 모델의 내부 구조와 학습자료 등을 직접 확인하기 어렵다는 한계가 있다.
공개 가중치 모델
공개 가중치 모델(Open-weight Model)은 학습된 모델의 가중치를 외부에 공개하는 모델을 의미한다.
이용자는 관련 라이선스와 하드웨어 조건에 따라 모델을 직접 실행하거나 추가학습할 수 있다.
특히 자체 서버에서 모델을 실행하여 외부 서비스에 데이터를 전달하지 않는 방식으로 구성할 수도 있다.
그러나 모델의 가중치가 공개되었다는 사실만으로 학습데이터와 학습코드, 모델 개발과정까지 모두 공개된 것은 아니다.
따라서 공개 가중치 모델과 완전한 의미의 오픈소스 인공지능은 구분할 필요가 있다.
활용 분야
대화형 인공지능
대규모 언어 모델은 ChatGPT와 Claude 등 대화형 인공지능 서비스의 핵심 기술이다.
특히 사용자의 질문을 이해하고 관련 답변을 생성할 수 있다.
또한 이전 대화내용을 참고하여 여러 단계의 질문에 답변하는 방식으로 활용된다.
그러나 자연스러운 대화를 수행한다는 사실만으로 모든 질문에 정확하게 답변하거나 인간과 같은 의식을 가지고 있다고 증명되는 것은 아니다.
문서작성
언어 모델은 보고서와 이메일, 제안서 및 여러 종류의 문서를 작성하는 데 활용된다.
특히 이용자가 작성하려는 문서의 목적과 형식을 설명하면 관련 초안을 생성할 수 있다.
또한 기존 문서의 요약과 교정, 표현 변경 등에도 사용된다.
그러나 실제 문서에 포함되는 사실관계와 인용자료는 별도로 확인해야 한다.
번역
언어 모델은 여러 언어 사이의 번역에 활용된다.
특히 일반적인 문장뿐 아니라 문맥과 전문용어를 고려한 번역을 수행할 수 있다.
그러나 언어에 따라 학습데이터의 양과 품질이 다르므로 번역 정확도가 달라질 수 있다.
특히 법률과 의료, 기술문서 등에서는 전문적인 검토가 필요할 수 있다.
프로그래밍
대규모 언어 모델은 프로그램 코드의 작성과 설명, 오류 수정 등에 활용된다.
특히 Python과 JavaScript, SQL 등 여러 프로그래밍 언어를 처리할 수 있다.
또한 기존 코드를 분석하고 관련 테스트를 작성하는 데에도 활용된다.
그러나 코드가 문법적으로 올바르더라도 실제 프로그램이 정상적으로 작동하지 않을 수 있다.
따라서 실제 소프트웨어 개발에서는 테스트와 코드리뷰가 필요하다.
기업용 업무
기업에서는 언어 모델을 이용하여 고객지원과 자료분석, 업무자동화 및 사내문서 검색 등을 수행할 수 있다.
특히 기업의 내부 데이터베이스와 문서저장소에 언어 모델을 연결하면 직원들이 자연어로 정보를 검색할 수 있다.
그러나 이러한 서비스를 구축할 때에는 내부 데이터의 접근권한과 개인정보 보호, 자료의 정확성 등을 관리해야 한다.
다른 기술과의 관계
생성형 인공지능
생성형 인공지능은 텍스트와 이미지, 음악 및 동영상 등 새로운 콘텐츠를 생성하는 기술을 의미한다.
대규모 언어 모델은 이 가운데 언어와 관련된 정보를 처리하고 생성하는 핵심 기술이다.
따라서 LLM은 생성형 인공지능과 밀접하게 관련되어 있지만 두 개념의 범위는 다르다.
특히 이미지 생성에서는 확산 모델 등 다른 기술도 활용될 수 있다.
검색 증강 생성
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 언어 모델에 외부 자료를 검색하여 제공한 뒤 해당 자료를 바탕으로 답변을 생성하는 방법이다.
특히 모델이 학습하지 않은 최신정보나 기업의 내부문서를 활용할 수 있다.
예를 들어 기업의 사내문서에서 관련 자료를 검색한 후 그 내용을 바탕으로 답변을 생성하도록 만들 수 있다.
이러한 방식은 모델의 매개변수를 매번 다시 학습시키지 않아도 새로운 자료를 활용할 수 있다는 장점이 있다.
그러나 검색한 자료가 잘못되었거나 모델이 이를 부정확하게 해석하면 여전히 잘못된 결과가 생성될 수 있다.[12]
AI 에이전트
AI 에이전트는 목표를 달성하기 위해 여러 단계의 작업을 수행하는 인공지능 시스템이다.
특히 LLM을 활용하여 사용자의 명령을 해석하고 필요한 도구를 선택하는 방식이 사용된다.
예를 들어 언어 모델은 여행계획을 작성할 수 있다.
반면 외부 도구가 연결된 AI 에이전트는 항공편을 검색하고 일정과 예약절차 등을 실제로 진행할 수 있다.
그러나 LLM 자체와 여러 도구 및 실행환경을 결합한 AI 에이전트는 서로 다른 개념이다.
멀티모달 AI
멀티모달 AI는 여러 종류의 데이터를 함께 처리할 수 있는 인공지능이다.
특히 이미지와 음성, 동영상 등의 정보를 언어 모델에 결합하는 기술이 발전하고 있다.
예를 들어 사진을 입력하여 내용을 설명하거나 음성을 듣고 관련 질문에 답변할 수 있다.
다만 멀티모달 모델이라고 해서 반드시 모든 종류의 입력과 출력을 지원하는 것은 아니다.
실제 기능은 모델의 구조와 학습방법에 따라 달라진다.
한계와 문제점
환각 현상
환각 현상(Hallucination)은 언어 모델이 실제로 존재하지 않는 정보나 부정확한 내용을 그럴듯하게 생성하는 문제다.
예를 들어 존재하지 않는 연구논문을 인용하거나 잘못된 통계자료를 작성할 수 있다.
특히 이러한 답변은 자연스럽고 확신에 찬 표현으로 제시될 수 있으므로 이용자가 오류를 알아차리기 어려울 수 있다.
미국 국립표준기술연구소(NIST)는 생성형 인공지능의 위험관리 지침에서 이러한 문제를 주요 위험 가운데 하나로 다루고 있다.[13]
지식의 한계
언어 모델의 지식은 학습데이터와 추가학습, 연결된 외부 자료 등에 영향을 받는다.
특히 모델이 과거에 학습한 내용이 현재에도 정확하다고 보장할 수는 없다.
예를 들어 회사의 최고경영자나 제품가격, 법률 및 정책 등이 변경되었더라도 모델이 이를 알지 못할 수 있다.
따라서 최신정보를 확인하려면 검색과 공식자료 등 외부 정보원을 활용해야 한다.
논리와 계산 오류
대규모 언어 모델은 수학과 프로그래밍 등 여러 분야에서 높은 성능을 보이지만 계산이나 논리적인 문제에서 오류를 일으킬 수 있다.
특히 여러 단계를 거쳐야 하는 계산에서 중간 결과를 잘못 처리할 가능성이 있다.
또한 조건이 복잡하거나 입력된 자료가 모호할 경우 잘못된 결론을 내릴 수 있다.
따라서 정확한 수치가 중요한 경우에는 계산도구와 프로그램 등을 이용하여 검증하는 것이 좋다.
편향
언어 모델은 학습데이터에 포함된 사회적·문화적 편향을 학습할 수 있다.
특히 특정한 국가와 언어, 사회집단에 관한 부정확한 고정관념을 재생산할 가능성이 있다.
또한 학습데이터가 상대적으로 적은 언어나 방언에서는 성능이 낮아질 수 있다.
2026년 스탠퍼드 AI Index 보고서에서도 언어와 방언에 따른 성능 차이가 중요한 문제로 다루어졌다.
저작권
대규모 언어 모델의 학습에는 책과 기사, 웹페이지 및 프로그램 코드 등 다양한 자료가 활용될 수 있다.
이에 따라 저작권자의 허락 없이 수집한 자료를 AI 학습에 사용해도 되는지에 관한 논쟁이 발생했다.
또한 모델이 학습한 저작물의 일부를 그대로 재현하는 경우 저작권 침해문제가 발생할 수 있다.
그러나 모든 모델의 학습데이터 구성과 라이선스 조건이 동일한 것은 아니다.
실제 법적인 판단은 자료의 종류와 확보방법, 적용 법률 및 개별 사건의 사실관계에 따라 달라진다.
개인정보 보호
언어 모델은 이용자가 제공한 이메일과 문서, 고객정보 및 기타 민감한 자료를 처리할 수 있다.
특히 기업이 외부 AI 서비스를 이용할 때에는 내부 기밀자료가 외부 서버로 전송될 가능성을 고려해야 한다.
그러나 모든 LLM 서비스가 이용자의 입력정보를 동일하게 보관하거나 학습에 사용하는 것은 아니다.
실제 데이터 처리방식은 서비스와 API, 기업용 계약 및 개인정보 설정에 따라 달라질 수 있다.
프롬프트 인젝션
프롬프트 인젝션은 언어 모델이 읽는 외부 문서나 웹페이지 등에 악의적인 지시를 삽입하여 모델이 의도하지 않은 행동을 수행하도록 유도하는 공격이다.
특히 외부 도구를 사용할 수 있는 AI 에이전트에서는 이러한 공격이 정보유출과 무단 작업으로 이어질 위험이 있다.
예를 들어 AI가 읽고 있는 웹페이지에 사용자에게 보이지 않는 악의적인 명령이 포함될 수 있다.
이러한 문제를 줄이기 위해서는 외부 자료와 실제 사용자의 지시를 구분하고, 도구의 접근권한을 제한하는 보안체계가 필요하다.
보안단체 OWASP는 대규모 언어 모델 기반 애플리케이션의 주요 보안위험 가운데 하나로 프롬프트 인젝션을 지적하고 있다.[14]
대규모 언어 모델의 평가
벤치마크
벤치마크(Benchmark)는 인공지능 모델의 성능을 비교하기 위한 평가자료와 절차다.
특히 여러 종류의 문제를 모델에 제시하고 정답률이나 결과물의 품질을 측정한다.
대표적인 평가분야에는 다음과 같은 것들이 있다.
- 언어 이해
- 수학과 논리적인 문제해결
- 프로그래밍
- 과학 및 전문지식
- 다국어 처리
- 지시문 준수
- 안전성과 편향
그러나 특정한 벤치마크에서 높은 점수를 기록했다는 사실만으로 모든 실제 업무에서 높은 성능을 보장할 수는 없다.
MMLU
MMLU(Massive Multitask Language Understanding)는 다양한 학문분야의 문제를 이용하여 언어 모델의 지식과 문제해결 능력을 평가하는 벤치마크다.
특히 인문학과 사회과학, 자연과학 및 전문분야 등에 걸친 문제를 포함한다.
MMLU는 여러 언어 모델의 성능을 비교하는 데 널리 사용되었다.
그러나 학습데이터에 평가문제가 포함되는 데이터 오염 문제 등이 발생할 수 있으므로 점수를 해석할 때 주의할 필요가 있다.
SWE-bench
SWE-bench는 실제 소프트웨어 프로젝트에서 발생한 문제를 해결하는 능력을 평가하기 위한 벤치마크다.
특히 모델이 프로그램의 오류를 수정하고 관련 테스트를 통과하는지 등을 평가한다.
2026년에는 프로그래밍 능력이 AI 모델의 중요한 성능지표 가운데 하나로 사용되었다.
그러나 벤치마크의 결과가 실제 모든 소프트웨어 개발환경에서 동일한 성능을 보장하지는 않는다.
인간의 평가
언어 모델의 성능은 실제 이용자들의 평가를 통해 비교하기도 한다.
특히 자연스러운 대화와 답변의 유용성, 글쓰기 및 여러 종류의 선호도를 평가하는 방식이다.
그러나 이러한 평가는 이용자의 취향과 문제의 종류, 모델의 답변 스타일 등에 영향을 받을 수 있다.
따라서 모델의 순위를 평가할 때에는 하나의 점수만 이용하기보다 여러 종류의 평가결과를 함께 고려하는 것이 적절하다.
연산비용과 인프라
GPU
대규모 언어 모델의 학습과 추론에는 많은 계산이 필요하다.
특히 GPU는 대규모 병렬연산을 처리할 수 있으므로 인공지능 모델의 학습에 널리 사용된다.
또한 TPU와 여러 종류의 인공지능 가속기 등도 활용된다.
이러한 연산장치는 모델의 학습과 운영에 중요한 역할을 수행한다.
데이터센터
대규모 언어 모델의 운영에는 고성능 서버와 네트워크, 저장장치 및 냉각시설 등이 필요하다.
특히 매우 큰 모델은 여러 대의 가속기에 분산하여 실행하는 경우가 있다.
이에 따라 데이터센터의 전력과 냉각, 연산자원 확보가 인공지능 산업의 중요한 과제가 되었다.
그러나 모든 언어 모델이 반드시 대규모 데이터센터에서만 실행되는 것은 아니다.
상대적으로 작은 모델은 개인용 컴퓨터나 모바일 기기에서 실행될 수도 있다.
양자화
양자화(Quantization)는 모델의 매개변수 등을 더 적은 비트로 표현하여 메모리 사용량과 연산비용을 줄이는 방법이다.
예를 들어 16비트로 표현한 수치를 8비트 또는 4비트 형식으로 변환하는 방식이 사용될 수 있다.
이러한 기술은 모델을 더 적은 메모리로 실행하는 데 도움이 된다.
그러나 양자화의 방식에 따라 일부 정확도가 감소하거나 실행환경의 제약이 발생할 수 있다.
로컬 LLM
로컬 LLM은 이용자의 컴퓨터나 자체 서버에서 직접 실행하는 언어 모델을 의미한다.
특히 공개 가중치 모델과 관련 실행도구를 이용하여 구축할 수 있다.
이러한 방식은 외부 API에 대한 의존도를 줄이고 데이터 처리환경을 직접 통제할 수 있다는 장점이 있다.
그러나 실제 실행에 필요한 하드웨어와 메모리, 모델 성능 및 관리비용 등을 고려해야 한다.
주요 연혁
| 시기 | 주요 사건 |
|---|---|
| 2010년대 초반 | 순환신경망과 LSTM 등을 이용한 신경망 언어 모델 발전 |
| 2017년 | 구글 연구자들, 트랜스포머 구조 제안 |
| 2018년 6월 | OpenAI, GPT 계열의 초기 연구 발표 |
| 2018년 10~11월 | 구글, BERT 발표 및 관련 모델 공개 |
| 2019년 2월 | OpenAI, GPT-2 발표 |
| 2019년 11월 | GPT-2 최대 규모 모델 공개 |
| 2020년 5월 | GPT-3 발표, 최대 1,750억 매개변수 |
| 2020년 | 검색 증강 생성(RAG) 연구 발표 |
| 2021년 | Switch Transformer 등 MoE 기반 대규모 언어 모델 연구 |
| 2022년 3월 | Chinchilla 연구 발표, 모델 크기와 학습데이터의 균형 강조 |
| 2022년 11월 30일 | ChatGPT 공개 |
| 2023년 2월 | 메타, LLaMA 발표 |
| 2023년 3월 | Anthropic, Claude 공개 |
| 2023년 7월 | 메타, Llama 2 공개 |
| 2023년 말 | 구글, Gemini 모델 계열 발표 |
| 2024년 | 멀티모달 LLM과 대화형 인공지능 서비스 확대 |
| 2024년 4월 | 메타, Llama 3 발표 |
| 2025년 1월 | DeepSeek-R1 관련 연구 발표 |
| 2025년 | 추론 모델과 코딩 에이전트 등 실제 업무수행 관련 기술 발전 |
| 2026년 | 대규모 언어 모델의 추론성능, 실행효율 및 AI 에이전트 경쟁 확대 |
평가
대규모 언어 모델은 자연어처리와 생성형 인공지능의 발전에 중요한 영향을 미친 기술이다.
특히 하나의 모델을 다양한 작업에 활용할 수 있다는 점에서 기존의 특정 목적에 맞춘 언어처리 시스템과 차이가 있다.
또한 2022년 ChatGPT의 공개 이후 일반 이용자들이 자연어만으로 컴퓨터에 복잡한 작업을 요청할 수 있게 되면서 인간과 컴퓨터의 상호작용방식에도 영향을 미쳤다.
2020년대 중반에는 모델의 성능뿐 아니라 추론비용과 처리속도, 공개범위 및 외부 도구 사용능력 등이 중요한 경쟁요소로 발전했다.
그러나 언어 모델의 발전에는 정확성과 안전성, 개인정보 보호, 저작권 및 막대한 연산자원에 관한 문제가 함께 존재한다.
특히 자연스러운 문장을 생성하는 능력과 실제 사실을 정확하게 판단하는 능력은 구분할 필요가 있다.
또한 전문적인 업무에서 언어 모델이 도움이 될 수 있지만 결과물의 검토와 책임에 관한 문제는 여전히 중요하다.
따라서 대규모 언어 모델은 인간의 언어와 지식노동을 처리하는 강력한 기술이지만, 그 활용에는 적절한 검증과 관리가 필요한 기술이라고 평가할 수 있다.
여담
- 대규모 언어 모델은 영어로 Large Language Model이라고 한다.
- 일반적으로 LLM이라는 약자를 사용한다.
- 거대 언어 모델 또는 초거대 언어 모델이라고도 부른다.
- 대표적인 모델로 GPT와 Claude, Gemini, Llama 등이 있다.
- ChatGPT는 LLM 자체의 이름이라기보다 LLM을 활용한 서비스의 이름이다.
- 현대의 많은 LLM은 트랜스포머를 기반으로 한다.
- 트랜스포머는 2017년 발표되었다.
- 관련 논문의 제목은 《Attention Is All You Need》다.
- 많은 생성형 언어 모델은 다음 토큰을 예측하는 방식으로 학습한다.
- 그러나 BERT처럼 다른 학습목표를 사용하는 모델도 존재한다.
- 토큰은 글자나 단어와 반드시 일치하지 않는다.
- 한국어와 영어는 같은 내용을 표현하더라도 토큰 수가 다를 수 있다.
- 파라미터는 신경망이 학습하는 수치적인 매개변수다.
- 파라미터가 많다는 사실만으로 모든 작업에서 성능이 높다고 단정할 수는 없다.
- GPT-3는 최대 1,750억 개의 매개변수를 가지고 있었다.
- 2022년 Chinchilla 연구는 학습데이터의 양도 중요하다는 사실을 보여주었다.
- LLM은 자연어뿐 아니라 프로그램 코드도 처리할 수 있다.
- 그러나 코드가 생성되었다는 사실만으로 정상적으로 작동한다고 보장할 수는 없다.
- 문맥창이 크더라도 긴 문서의 모든 내용을 정확하게 기억한다는 보장은 없다.
- 언어 모델은 자연스러운 문장을 생성하지만 존재하지 않는 정보를 만들어낼 수 있다.
- 이러한 문제를 환각 현상이라고 부른다.
- 검색 증강 생성(RAG)은 외부 자료를 이용하여 답변의 정확성을 개선하는 데 활용할 수 있다.
- 그러나 RAG를 사용하더라도 잘못된 답변이 생성될 수 있다.
- 언어 모델에 외부 도구를 결합하면 AI 에이전트를 구성할 수 있다.
- AI 에이전트는 문서작성뿐 아니라 실제 파일과 소프트웨어를 수정하는 작업도 수행할 수 있다.
- 공개 가중치 모델은 이용자가 직접 실행할 수 있지만 모든 학습자료까지 공개하는 것은 아니다.
- 상대적으로 작은 언어 모델은 개인용 컴퓨터에서도 실행할 수 있다.
- 2026년에는 모델의 매개변수 수뿐 아니라 추론성능과 비용효율, 안전성 등이 중요한 요소로 평가되고 있다.
- 대규모 언어 모델은 현대 생성형 인공지능의 핵심 기술이자 인간과 컴퓨터가 자연어로 상호작용하는 방식을 변화시킨 대표적인 인공지능 기술이다.
관련 영상
Google Cloud - Introduction to Large Language Models
Google Cloud Tech 공식 교육영상
2023년 5월 공개된 영상으로, 대규모 언어 모델의 기본 개념과 생성형 AI와의 관계, 프롬프트 및 실제 활용분야를 설명한다.
Google Cloud - Introduction to Large Language Models
Google Cloud 공식 교육영상
2024년 4월 공개된 영상으로, LLM의 주요 특징과 활용사례 및 생성형 AI 애플리케이션 개발의 기초를 소개한다.
같이 보기
- 생성형 인공지능
- 인공지능
- 기계학습
- 딥러닝
- 인공신경망
- 자연어 처리
- 트랜스포머
- 어텐션 메커니즘
- 임베딩
- 토큰
- 토크나이저
- 파라미터
- 사전학습
- 미세조정
- 강화학습
- RLHF
- 추론 모델
- AI 에이전트
- 멀티모달 AI
- 검색 증강 생성
- 프롬프트 엔지니어링
- 환각 현상
- 프롬프트 인젝션
- 인공지능 정렬
- AI 안전성
- 인공 일반 지능
- 공개 가중치 모델
- Mixture of Experts
- 양자화
- GPU
- 데이터센터
- 벤치마크
- MMLU
- SWE-bench
- ChatGPT
- OpenAI
- GPT
- Anthropic
- Claude(AI)
- Gemini
- 구글 딥마인드
- Llama
- 메타
- DeepSeek
- Microsoft Copilot
- Grok
- HyperCLOVA X
- EXAONE
- SOLAR
- Claude Code
- GitHub Copilot
- BERT
- GPT-2
- GPT-3
- Chinchilla
- LLaMA
- 저작권
- 개인정보 보호
외부 링크
개념 및 학습자료
주요 연구논문
- 구글 - Attention Is All You Need (2017)
- OpenAI - GPT 초기 연구 (2018)
- 구글 - BERT 공개 (2018)
- OpenAI - GPT-2 공개 (2019)
- OpenAI - GPT-3 연구 (2020)
- OpenAI - 언어 모델의 규모 확장 법칙 (2020)
- 검색 증강 생성(RAG) 연구 (2020)
- Switch Transformer 연구 (2021)
- Chinchilla 연구 (2022)
- 메타 - LLaMA 공개 (2023)
- 메타 - Llama 2 공개 (2023)
- 메타 - Llama 3 공개 (2024)
- DeepSeek-R1 연구 (2025)
보안 및 안전성
각주
각주
- ↑ Ashish Vaswani 외, 「Attention Is All You Need」, 2017년.
- ↑ OpenAI, 「Improving language understanding with unsupervised learning」, 2018년 6월 11일.
- ↑ Google Research, 「Open Sourcing BERT」, 2018년 11월 2일.
- ↑ OpenAI, 「Better language models and their implications」, 2019년 2월 14일.
- ↑ OpenAI, 「Language models are few-shot learners」, 2020년 5월 28일.
- ↑ Jordan Hoffmann 외, 「Training Compute-Optimal Large Language Models」, 2022년 3월.
- ↑ Meta, 「Introducing LLaMA」, 2023년 2월 24일.
- ↑ DeepSeek-AI, 「DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning」, 2025년 1월.
- ↑ Stanford HAI, 「The 2026 AI Index Report」, 2026년.
- ↑ William Fedus·Barret Zoph·Noam Shazeer, 「Switch Transformers」, 2021년.
- ↑ Microsoft Learn, 「LLM Fundamentals」.
- ↑ Patrick Lewis 외, 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」, 2020년.
- ↑ NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, 2024년 7월.
- ↑ OWASP, 「Top 10 for LLM Applications 2025」.