O que é um grande modelo de linguagem?
Um grande modelo de linguagem (LLM) é um modelo de linguagem com bilhões de parâmetros, treinado com um conjunto de texto muito grande, capaz de seguir instruções e produzir texto fluente sobre quase qualquer assunto. Entre as famílias conhecidas estão o GPT da OpenAI, o Claude da Anthropic, o Gemini do Google e o Llama da Meta.
Como os LLMs funcionam
- Tokens: o texto é dividido em tokens, pedaços de palavras; em inglês, um token equivale a cerca de três quartos de uma palavra.
- Arquitetura transformer: um projeto de aprendizado profundo cujo mecanismo de atenção permite ao modelo ponderar cada token da entrada ao prever o próximo.
- Parâmetros: os números que o modelo ajusta enquanto aprende. O GPT-3 (2020) tinha 175 bilhões.
- Janela de contexto: a quantidade de texto que o modelo consegue considerar de uma vez, de algumas páginas a livros inteiros nos modelos recentes.
Como os LLMs são treinados
- Pré-treinamento: o modelo aprende a prever o próximo token em enormes quantidades de texto (seus dados de treinamento).
- Ajuste fino: ele é treinado mais com exemplos de boas respostas a instruções.
- Aprendizado com feedback: pessoas avaliam respostas e o modelo é ajustado em direção às preferidas, um método chamado aprendizado por reforço com feedback humano (RLHF).
LLM, IA e GPT
- A IA é todo o campo; um LLM é um tipo de IA e faz parte da IA generativa.
- GPT (generative pre-trained transformer) é a família de LLMs da OpenAI.
- O ChatGPT é um aplicativo construído sobre modelos GPT. Então sim, o ChatGPT roda em um grande modelo de linguagem, e o Claude também.
Modelos abertos e fechados
Alguns modelos, como o Llama e alguns da Mistral, publicam seus pesos para que qualquer pessoa possa executá-los; outros, como o GPT e o Claude, só estão disponíveis pelos aplicativos e pela API do provedor.
LLMs na escrita acadêmica
Os LLMs são fortes em reformular, resumir e explicar, e fracos em fatos: podem inventar referências (veja a alucinação da IA). Por isso, ferramentas acadêmicas costumam conectar o modelo a fontes reais. No Papero, por exemplo, a verificação de afirmações encontra frases que precisam de citação e oferece artigos do OpenAlex para citar.
Caso de uso: IA para redação que deixa o argumento com você