대규모 언어 모델이란 무엇인가요?
대규모 언어 모델(LLM)은 수십억 개의 매개변수를 가지고 매우 방대한 텍스트로 학습한 언어 모델로, 지시를 따르고 거의 모든 주제에 대해 유창한 글을 만들 수 있습니다. 잘 알려진 계열로 OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, Meta의 Llama가 있습니다.
LLM의 작동 방식
- 토큰: 글은 단어 조각인 토큰으로 나뉩니다. 영어에서 토큰 하나는 대략 단어의 4분의 3입니다.
- 트랜스포머 구조: 다음 토큰을 예측할 때 모델이 입력의 모든 토큰을 가늠하게 하는 어텐션 메커니즘을 가진 딥러닝 설계입니다.
- 매개변수: 모델이 학습하며 조정하는 숫자입니다. GPT-3(2020)는 1750억 개였습니다.
- 컨텍스트 윈도: 모델이 한 번에 고려할 수 있는 글의 양으로, 최근 모델에서는 몇 쪽에서 책 한 권 전체까지입니다.
LLM이 학습되는 방식
- 사전 학습: 모델이 방대한 텍스트(학습 데이터)에서 다음 토큰을 예측하는 법을 배웁니다.
- 미세 조정: 지시에 대한 좋은 답의 예시로 더 학습합니다.
- 피드백으로 학습: 사람이 답에 점수를 매기면 모델이 선호되는 답 쪽으로 조정됩니다. 사람 피드백을 통한 강화 학습(RLHF)이라는 방법입니다.
LLM, AI, GPT 비교
- AI는 분야 전체이며, LLM은 AI의 한 종류이자 생성형 AI의 일부입니다.
- GPT(generative pre-trained transformer)는 OpenAI의 LLM 계열입니다.
- ChatGPT는 GPT 모델 위에 만든 앱입니다. 그러니 ChatGPT는 대규모 언어 모델로 작동하며, Claude도 마찬가지입니다.
공개 모델과 비공개 모델
Llama와 Mistral의 일부 모델처럼 가중치를 공개해 누구나 실행할 수 있게 한 모델이 있고, GPT와 Claude처럼 제공사의 앱과 API로만 쓸 수 있는 모델이 있습니다.
학술적 글쓰기의 LLM
LLM은 바꿔 말하기, 요약, 설명에 강하고 사실에는 약합니다. 참고문헌을 지어낼 수 있습니다(AI 환각 참고). 그래서 학술 도구는 흔히 모델을 실제 출처에 연결합니다. 예를 들어 Papero의 주장 검토는 인용이 필요한 문장을 찾아 OpenAlex의 논문을 인용 후보로 제시합니다.
활용 사례: 에세이 AI, 논지는 내 것으로