언어 모델이란 무엇인가요?
언어 모델은 단어 열이 나올 가능성을 추정하는 시스템으로, 앞의 단어들을 보고 다음 단어를 예측할 수 있게 해 줍니다. 쉽게 말해 너무 많은 글을 보았기 때문에 보통 무엇이 다음에 오는지 아주 잘 짐작할 수 있습니다. 이 한 가지 능력을 단어마다 되풀이하는 것이 글을 만들어 내는 방식입니다.
간단한 예
“결과는 통계적으로”가 주어지면 언어 모델은 “보라색”보다 “유의했다”를 훨씬 가능성 높게 평가합니다. 휴대폰 키보드의 다음 단어 제안과 글쓰기 도구의 자동 완성이 이 원리로 작동합니다.
단어 세기에서 신경망까지
- N-그램 모델: 최초의 언어 모델은 짧은 단어열이 나타나는 빈도를 셌습니다. 클로드 섀넌은 1948년에 이 아이디어로 영어를 근사했습니다.
- 신경 언어 모델: 2000년대부터 신경망이 단어의 의미를 숫자로 배우면서, 비슷한 단어가 비슷한 예측을 받게 되었습니다.
- 트랜스포머: 2017년부터 모델이 긴 글의 모든 단어를 한꺼번에 가늠할 수 있게 되어 대규모 언어 모델로 이어졌습니다.
언어 모델의 유형
- 대규모 언어 모델: 수십억 개의 매개변수를 가진 범용 모델로, ChatGPT, Claude, Gemini 뒤의 모델이 그 예입니다.
- 소규모 언어 모델: 노트북이나 휴대폰에서 돌릴 수 있을 만큼 작고, 흔히 더 좁은 작업용으로 학습됩니다.
- 비전 언어 모델: 텍스트뿐 아니라 이미지도 다룹니다.
활용
- 텍스트 생성, 채팅 어시스턴트, 요약.
- 문법 검사와 번역.
- 음성 인식. 비슷한 소리 가운데 가장 그럴듯한 단어를 모델이 고릅니다.
- 검색. 질의를 의미로 문서와 짝짓는 일로, 자연어 처리의 일부입니다.
언어 모델이 할 수 없는 것
언어 모델은 그럴듯한 글을 예측할 뿐 사실을 확인하지 않습니다. 지식은 학습 데이터에서 오는데, 여기에는 기준 시점과 빈틈이 있으므로 자신 있는 오류와 지어낸 출처가 나올 수 있습니다(AI 환각 참고). 기댈 것은 무엇이든 확인하세요.
활용 사례: 에세이 AI, 논지는 내 것으로